最近参加百度飞桨顶会论文复现营论文阅读，对《First Order Motion Model for Image Animation》比较感兴趣，因此记录下阅读心得及后续的复现过程。
个人水平有限，如有错误，望不吝指正。
后续会根据复现过程增强和修正内容
目录
论文任务：
创新点：
应用场景：
模型框架：
动作提取部分
评价指标：
相关阅读：
前置内容：
相关论文：
论文任务： 给定图片，动作视频，将图片按中作视频中的动作进行动画化（image animation）
创新点： 不需要源图片的先验信息和标签信息
采用image inpainting生成无法通过图像扭曲得到的点
应用场景： 动作迁移、虚拟换衣、表情迁移
模型框架： 如下图所示，模型分为动作提取和结果生成两部分
文章图片
动作提取部分 输入原始图像S和驱动帧D，输出动作场和动作遮罩
其中，使用了过渡帧R，通过S、D与R建立过渡关联后，最终建立S、D间的关联
dense motion field，表示驱动帧D中的每个关键点到原始图像S的映射关系
occlusion mask，表示在生成图像中，相较于驱动帧D哪部分可以通过D扭曲得到，哪部分可以通过inpaint得到
文章图片
评价指标： 结果好于X2Face、Monkey-Net
文章图片
相关阅读：
前置内容： GAN：Generative Adversarial Nets
cGAN: Conditional Generative Adversarial Nets
Pixel2pixel：Image-to-Image Translation with Conditional Adversarial Net-works
相关论文： Monkey-Net：Animating arbitrary objects via deep motion transfer
X2face:Anetworkforcontrollingfacegeneration using images, audio, and pose codes
感谢百度飞桨与ai studio举办的论文复现营提供的各种资源及技术支持：
【阅读笔记|百度飞桨顶会论文复现营论文阅读——GAN方向】https://aistudio.baidu.com/aistudio/education/group/info/1340
推荐阅读
- paddle|动手从头实现LSTM
- 嵌入式电脑|Paddle Inference——基于python API在Jetson上部署PaddleSeg模型
- Paddle|在PaddlePaddle框架下通过两层全连接网络实现IRIS数据分类