AI智能抠图 (又叫无绿幕抠图、人像分割)是一种将视频分成两层或多层(通常是前景和背景)并生成决定图层混合的alpha 遮罩的技术。该技术在视频编辑中非常流行,因为它允许替换背景或单独处理图层。
当组合两个图像时,使用alpha 遮罩,也称为透明度贴图。在数字视频的情况下,alpha 遮罩是一系列图像。遮罩可以用作二进制蒙版,定义哪些图像部分是可见的。在更复杂的情况下,它可以实现图像的平滑混合,alpha 遮罩用作顶部图像的透明度贴图。自从电影制作诞生以来,电影制作就知道alpha matting 。遮罩是手工绘制的。如今,该过程可以通过计算机算法实现自动化。
基本的抠图问题定义如下:给定图像,计算前景、背景和 alpha matte ,使得等式成立。这个方程有平凡的解, ,是任何图像。因此,通常必须提供额外的trimap作为输入。trimap 指定了背景、前景和不确定的像素,这些像素将通过 matting 的方法分解为前景和背景。
从用户的角度来看,视频抠图方法的主要标准如下:
精确的边缘处理
时间稳定性
最少的用户干预
第一个已知的视频抠图方法于 2001 年开发。该方法利用光流进行三映射传播和分别应用于每个图像的贝叶斯图像抠图技术。
Video SnapCut 于 2009 年开发,后来作为 Roto Brush 工具并入 Adobe After Effects。该方法利用局部分类器在目标对象边界附近进行二值图像分割。使用光流将分割结果传播到下一帧,并应用图像抠图算法。
最后,在 2017 年开发了一种用于图像抠图的深度学习方法。
AI智能抠图是一个快速发展的领域,具有许多实际应用。然而,为了比较这些方法的质量,它们必须在基准上进行测试。基准测试由带有测试序列的数据集和结果比较方法组成。目前存在一个主要的视频抠图在线基准,它使用色度键控和定格动画进行地面实况估计。方法提交后,每个方法的评级来自客观指标。由于客观指标并不代表人类对质量的感知,因此需要进行主观调查以提供充分的比较。
方法 | 发展年份 | 排名位置 |
---|---|---|
深度图像抠图 | 2016 年 | 1 |
自适应 | 2016 年 | 2 |
基于学习 | 2009 年 | 3 |
稀疏采样 | 2016 年 | 4 |
封闭式 | 2008 年 | 5 |
1、抠图换背景
AI智能抠图的一个应用是背景抠图,它在在线视频通话、实时抠图直播中非常流行。
2、视频编辑
视频编辑软件中需要视频抠图方法,最常见的应用是将对象剪切并转移到另一个场景中。