编辑：时光
【新智元导读】最近，浙大研究团队实现了对视频中的人像进行改变，调整参数可以扩大或者缩小。视频可以瘦脸？来看看究竟怎么回事。
这是美国女演员詹妮弗·劳伦斯，左边是youtube上的一段原视频，右边则是「瘦脸」之后的她。
微圆的下巴变成了尖的，瓜子脸快成锥子脸了，似乎也显得老了一些。
既然能「瘦脸」，那是不是也可以「宽脸」呢？
没问题，而且效果拔群，都快要变成国字脸啦。
我们再来给小扎变一个：
一边是「宽脸」，一边是「瘦脸」，嘿，中间那个才是屏幕中熟悉的他。
变脸近年来，各大社交媒体流行短视频，如视频号、抖音、快手等等。
那么，除了自带美颜、滤镜功能之外，如何对视频中的人物肖像进行数字化修饰？
因为视频是动态性，技术恐怕没有平面美图那么简单。
最近，一项肖像视频编辑的研究发表，分享了这种视频人脸扩缩技术。
研究主要由浙江大学计算机辅助设计和图形学国家重点实验室人员完成，参与研究的还有英国巴斯大学。
论文链接：https://arxiv.org/abs/2205.02538
正如作者所言，「研究的目标是根据现实世界中的自然面部变形，通过编辑肖像面部的整体形状，生成高质量的肖像视频重塑结果。」
团队的训练环境为一台配有32GB内存的AMD Ryzen 9 3950X的台式电脑。
其中，OpenCV的光流法负责运动映射，并由StructureFlow框架进行平滑处理。人脸对齐网络负责特征点估计，而Ceres Solver用于解决优化问题。
与基线方法比较。给定一帧人像视频的框架，人像重塑方法会在鼻尖附近产生伪影，因为鼻子遮挡了侧面，而作者的方法可以使用相同的整形参数产生令人满意的结果。
与仅使用MLS的方法、只使用优化的方法和作者的方法相比较。
虽然，MLS方法仅确保了人脸边界的一致性和视频稳定性，网格优化在校正背景失真方面是有效的。
但是，作者的方法在背景分离、扭曲和人脸边界一致性方面取得了较好的效果。
通过与不固定轮廓网格点的方法和仅使用稀疏轮廓点映射的方法和作者的方法比较。
可以看出，作者提出的方法在性能方面取得了更好的效果，面部边界一致性和重塑一致性。
整个研究过程，主要包括2个阶段：稳定面部重构，以及连续视频重构。
在第一阶段，作者从整个视频估计面部刚性姿势变换。
然后，联合优化多个帧，进行准确的面部识别重构。
这样，这种方法就从重塑一张单眼图像扩展到重塑整个图像序列。
紧接着，在整个视频中恢复面部表情。
在第二阶段，作者首先重塑了重构的3D人脸，使用参数重塑模型人脸的权重变化。
然后，利用重构后的3D人脸引导视频帧的翘曲。
结果表明，作者提出的方法可以稳健地生成连贯的重塑肖像视频，而基于图像的方法很容易导致明显的闪烁伪影。
这种系统的一个有用部署是实现实时变形，必要的计算资源克服了「实时」变形的挑战。
如此，大大方便了社交媒体的肖像视频编辑和视觉效果。
这将在视频演讲、电商主播等方面有广阔的应用前景。
研究团队浙大计算机科学与技术学院的金小刚教授为论文通讯作者。
金小刚为教授、博导，他所在的CAD&CG实验室隶属于浙大计算机科学与技术学院。
他的研究主要聚焦在计算机动画、计算机图形学、计算机辅助几何设计等。
根据官网页面显示，他在电影特效模拟、布料动画和虚拟试穿、昆虫群模拟、交通模拟和自动驾驶等具体表现，也有着浓厚的研究兴趣。
另外，他还对人群与群组动画、隐式曲面建模与应用、创造性的建模、Sketch-Based建模、纹理合成等有所研究。
其合著的《计算机真实感图形的算法基础》一书获2001年国家科技图书二等奖。
参考资料：
http://www.cs.zju.edu.cn/csen/27059/list.htm
https://www.unite.ai/restructuring-faces-in-videos-with-machine-learning/