手把手写深度学习|手把手写深度学习(10)(用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础))

***前言:***2017年GANs正如火如荼地发展,有CGANs、DCGANs等前辈珠玉在前,Pix2Pix GANs横空出世,在多种多模态任务上有着亮眼的表现,并且首次把U-net结构带到了深层次生成模型当中,非常有意义。本文用Pix2Pix GANs实现sketch-image这一跨模态任务。
手把手写深度学习|手把手写深度学习(10)(用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础))
文章图片

encoder-decoder:多模态基础 【手把手写深度学习|手把手写深度学习(10)(用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础))】现在很多多模态的任务,都是基于encoder-decoder的结构,或者attention机制。作为多模态生成任务的鼻祖,pix2pix gan的生成器使用了encoder-decoder的机制,并在此基础上,使用跳接层,改进成了一个Unet的结构,这应该是unet首次出现在生成任务中。
为什么要加入跳接层?输入和输出图像的外表面(surface appearance)应该不同而潜在的结构(underlying structure)应该相似,对于image translation的任务来说,输入和输出应该共享一些底层的信息,因此使用Unet这种跳层连接(skip connection)的方法。
从此unet变成了一种很优秀的具有生成能力的神经网络,为后面diffusion models大规

    推荐阅读