不仅是深度学习的硬件,在研究与应用上也走在了很前面的 NVIDIA,稍早公开了一个可以将 30fps 视频转换为 240fps 的深度学习系统。目前可以拍摄 240fps 的相机与手机市面上并不少,但受限于慢动作视频的巨大资料流,大多都有拍摄时长,或是分辨率方面的限制。但更重要的,是慢动作模式通常都要预先开启,但真正重要的精彩镜头常常都是意外之下一瞬间发生的事,能拍到都是万幸了,就别说还要事先做好准备了。

过去类似让一般 30fps 视频也能做出 240fps 慢动作的效果的技术,都是用插帧的方式,从前后两个帧中像素的位移,来推算出中间帧像素的位置。问题是,这样做常常会显得动作很僵硬,并且转向会很突然,不滑顺。NVIDIA 在这当中导入了深度学习的技术,让 AI 比较过 11,000 部真正用慢动作摄影机拍下来的日常生活及运动视频以及它们的普通速度版,来学习如何自然地产生过渡。
这结果如何,可以参考上面的视频。小编觉得除了头髪的飘动略微有点不自然(原始的视频就无法追踪每根发丝的位置了,要无中生有大概有困难)之外,其他各种场景好像效果都还蛮拟真的呢?说不定再过几年,手机上就能有「事后慢动作」模式,就像现在的虚拟散景一样呢。