Zao 这个软件火了！原因可以看一下！

人脸定位

现在深度学习对于人脸识别和定位的研究技术已经非常成熟和精准了，其核心就是使用了卷积神经网络，即 CNN，不同的模型架构对于识别的准确率有不用的表现。

对于人脸的定位，一般是使用脸部的关键点定位的，这些点叫做 Landmarks。在一张人脸图像上，每张脸的轮廓和五官的位置都会被打上点，比如整个脸部的轮廓用一些点描出来，鼻子、眼睛、唇形同样用一些点描出来。

一般来说一张脸会用 68 个点来标记出来，每识别的模型接收一张人脸图像，输出这 68 个点的坐标，这样我们就可以实现人脸定位了。

现在现成的模型也很多了，比如 dlib，opencv 等开源工具包可以直接拿来使用了，如果要更精准地话可以使用更复杂的卷积神经网络模型来实现，大家可以了解下相关论文。

人脸生成

有了标记点以后，这个软件就可以把我们的人脸提取出来了，但是这有个问题，我们上传的是一张静态图片，总不能直接生硬地替换进去吧，比如我们上传的是一张正脸照片，那视频里的一些侧脸画面直接贴上那不就没法看了吗？

这时候就要用到另外一个核心技术叫做人脸生成技术，有了它我们就可以对人脸进行生成了，比如根据一张正脸图生成一张侧脸图。目前人脸生成技术主要有两种，有 GAN（生成对抗网络）和 VAE（变分自编码器），下面简单介绍一下它们的原理。

对于 GAN 来说，它叫做生成对抗网络，为什么叫对抗网络呢？是因为模型在训练的过程中一直有两个东西在做对抗，这俩东西分别叫 Generator（生成器）和 Discriminator（判别器）。前者主要负责生成一张人脸，越像越牛逼。后者主要负责判断分辨前者生成的人脸是不是真的，判定越准越牛逼。二者在这个过程中为了变得越来越牛逼，前者就会尽力去生成更像的人脸来欺骗后者，后者也会尽力去判别生成的人脸是不是真的来打击前者。这样二者在不断地训练和对抗过程中，前者生成的结果就会越来越好了。

对于 VAE 呢，它是通过一些无监督学习的方式将人脸信息进行压缩，由编码器把它表示成一个短向量，这些向量里就包含了人脸的基本信息，比如肤色、唇形等信息，这样整个模型就可以学习到人脸的共性。然后，解码器将向量解码，将其转换为某一特定的人脸。这样就等于经过一层中间向量完成了从一张人脸到另一张人脸的转换。

图像融合

最后的阶段就是图像融合了，也就是把生成的新的人脸和原来图像的背景融合，使之不会产生违和感。

在这个软件中，视频是由一帧一帧组成的，那么在转换的时候也需要一帧一帧处理，最后处理完成后再合成整个视频。

以上也就是我所了解到的变脸的一些方法。