***前言：***2017年GANs正如火如荼地发展，有CGANs、DCGANs等前辈珠玉在前，Pix2Pix GANs横空出世，在多种多模态任务上有着亮眼的表现，并且首次把U-net结构带到了深层次生成模型当中，非常有意义。本文用Pix2Pix GANs实现sketch-image这一跨模态任务。
文章图片
encoder-decoder：多模态基础 【手把手写深度学习|手把手写深度学习(10)（用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)）】现在很多多模态的任务，都是基于encoder-decoder的结构，或者attention机制。作为多模态生成任务的鼻祖，pix2pix gan的生成器使用了encoder-decoder的机制，并在此基础上，使用跳接层，改进成了一个Unet的结构，这应该是unet首次出现在生成任务中。
为什么要加入跳接层？输入和输出图像的外表面(surface appearance)应该不同而潜在的结构(underlying structure)应该相似，对于image translation的任务来说，输入和输出应该共享一些底层的信息，因此使用Unet这种跳层连接(skip connection)的方法。
从此unet变成了一种很优秀的具有生成能力的神经网络，为后面diffusion models大规
推荐阅读
- AI比赛教程|人工智能之自然语言处理技术总结与展望
- 目标检测|目标检测算法的分类和优缺点
- 百度飞桨|基于PaddleX的岩石识别
- 技术笔记|深度学习远程服务器配置
- 深度学习|详解深度学习之 Embedding
- java|Meta元宇宙OS要黄（300人研发团队解散，关闭VR/AR操作系统研发）
- 大数据|开始即结束，Meta元宇宙OS要黄（）
- 人工智能|Meta 被爆暂停 AR/VR 操作系统项目，元宇宙能否推进（）
- java|改名Meta俩月，脸书放弃虚拟现实操作系统（负责人跳槽谷歌）