最新相機文章

Image credit: Engadget

Google 火力展示 Pixel 2 的视频稳定技术到底神在哪里

「机器学习」将是各大相机厂该向移动设备学习的重要课题。

Ross Wang
2017 年 11 月 13 日, 傍晚 07:04
Engadget
进入了 Pixel 世代的 Google 手机产品的相机,初代我们就已经注意到了它超神奇的强悍电子稳定表现,但感觉归感觉,却又说不出到底是厉害在哪里。如今随着 Pixel 2 的推出,Google 终于选择了炫耀说明他们的影像技术到底有何独到之处。例如先前我们已经看到了原厂对 Pixel 2,是如何通过 Dual Pixel 技术,在没有双摄头的辅助之下达成模拟景深拍摄的功能

谈完了这个「黑科技」,Google 则是在最近再针对这次更加强悍的视频防抖功能加以透析 -- 其实不仅是「光学+电子防抖」撑腰所带来的效果,更多的是机器学习所提供的更自然更先进的前瞻过滤(Lookahead filtering)功能所发挥的威能。往下阅读更近一步介绍。

其实早在初代 Pixel 手机,我们便已经见识过 Google 电子防抖的强悍,所以这次结合了 OIS 规格的 Pixel 2 的表现将更好,原本也是预料之中的事情(预料之外的大概就是除了相机以外的各种问题了吧)。不过在 Google 的技术解释之下,我们才知道通过机器学习在算法上的帮助,到底手机摄影,不... 该说是整个相机产业也许都将会因此有所颠覆。

视频、Google Pixel 2 的影像稳定效果比较。

Google 在 Pixel 2 上影像技术所主要参考的信息有二个重点,其一是搜集光学防抖与对焦信息与手机陀螺仪回传的动态信息,并通过机器学习分析来获得更好的影像结果;其二则是通过缓冲影像序列来处理影像以达成「预测」动态的效果 -- 有点像是那种可以之后再选择最佳瞬间的连拍照相功能,只是它把这个缓冲空间都用在了分析未来的影格来修正目前正在处理的影格之上。



在获得这些信息之后,Google 的影像技术将会分析这些动态并通过合成的方式,有效减少各种不自然的影像问题,包括预测拍摄动作以不必要的防震效果(平行运镜就只需要套用垂直的稳定),通过 Lookahead 技术来缓冲影格偏移以避免视频边界露馅等。

&

说真的,现有各大手机乃至于相机厂的 EIS 电子防抖其实已经有了一定的稳定效果了,但通过机器学习 Google 则是展现影像的各种可能性以及提供更自然的瑕疵修正方式。笔者认为这次 Pixel 2 在动态影像稳定技术上最威的地方有两点,其一是懂得在 OIS 抑制瞬间大幅度相机抖动发生影像抖动问题时,加上动态模糊效果来骗过人类的眼睛,让人以为那是视频的自然动态效果。

另一个则是可借由影像分析合成技术来有效抑制「卷帘快门」变形问题的应用(如下),一整个让原本必须要靠全域快门,或是必须不断加快感光元件读出速度来抑制问题的方式,有了软件方向的解法 -- 重点是效果看起来很不错啊!



当然,讲起来 Pixel 2 所利用的技术虽然能够带来更好的影像效果,但毕竟主要还是通过软件修正,所以依然还是会对影像品质有所牺牲。不过笔者以为,本来视频这种东西也算是从一开始就在「欺骗」人类的眼睛,让人以为是真正动态或真实的人事物出现在眼前。Google 这样利用深度学习等技术来达成更自然的防震乃至于变形问题的修正技术,实在是很值得当下所有的手机厂乃至于相机厂可以好好学习一下。

试想,假若能将此技术套用在画质更高的摄影机或片幅更大的相机上,理应可获得更大的补偿弹性并提供更好的影像品质。然而这其中的最关键 AI 人工智能与机器学习技术,到了移动设备与软件大都已经主打这些技术的现在,却好像还未有搭载类似技术的专门 / 专业相机产品诞生 -- 例如:佳能拥有 Dual Pixel 技术,却因为缺少深度学习与 HDR+ 技术而让 Google Pixel 2 抢先提供了景深模拟功能(还是相机厂比较希望卖大光圈镜?)。

这也让人感叹以往应该是引领影像技术的各大老相机厂,怎么到了移动为先的时代却似乎只仗着自己影像品质较好,并有着专业用户的拥戴 -- 别忘了,现在大部分的载体也都是移动设备了,要看出移动设备与专门相机的影像品质差别已经越来越难了,如何让使用者轻松拍出精彩的照片应该也是创做工具的重点之一吧。

讲起来,单是那相机上存在已久的场景判断功能,如果能连网并通过云端 AI 分析就能开启多少可能的应用了?只希望在 Google 通过移动设备的示范之下,能够点醒这些相机厂推出些更有意思的次世代产品了,不然一昧追求超快速连拍、超专业功能乃至于超强硬件技术,却忽略了新的软件与云端技术所能带来的各种可能,那真的是十分可惜的一件事啊。