AI助力:英伟达开发普通视频慢动作平滑补帧新方法

  • 2018-09-26 11:37
  • cnBeta.COM

  当前市面上已经有不少支持超高帧率慢动作视频的旗舰智能机,但是该应用仍有着很大的局限性,因为时长、分辨率、帧速率三要素之间无法达到完美的平衡。另一方面,对已经录制的视频进行慢速回放的话,会产生令人不太愉悦的效果——因为软件会试图填充帧数,造成画面的移动不那么自然。好消息是,在人工智能技术的加持下,英伟达开发出了一种将普通视频“慢动作化”的新方法。

  据悉,Nvidia携手马萨诸塞州大学和加利福尼亚大学的研究人员,打造了这种可以将任何视频转换为慢动作、但又不牺牲播放平滑度的解决方案。

  这项技术将在本周举办的计算机视觉和模式年度参考会议上发布,其依赖于两个卷积神经网络(CNN),让它们协同工作,以确定物体在框架和帧间的移动位置。

  据悉,研究人员们借助Nvidia Tesla V100 GPU和cuDNN加速的PyTorch深度学习框架,用11000段240fps视频对这套系统进行了训练,最终让它可以填补慢动作视频中缺失的帧。

  如上方视频所示,即使是原始30fps的普通视频,也可以在慢放时实现更加平滑的播放。有趣的是,英伟达甚至携手YouTube知名频道主“Slow Mo Guys”来测试这项技术。

  实践表明,这项技术适用于对各种规格的视频进行慢速回放时的优化。当然,想要进一步进行AI慢放的话,将需要更长的时间去补帧。

  最后,尽管这项技术很有前景,但英伟达觉得它尚未做好向消费级市场推出的准备。在此之前,该公司仍需大量的优化,才能让系统做到实时运行。

  (原标题:AI助力:英伟达开发普通视频慢动作平滑补帧新方法|慢动作|补帧|英伟达)

头条推荐
图文推荐