Colorful|Colorful Image Colorization 阅读笔记

摘要 给一个灰度图作为输入,本文会给图片产生一个似而非似的彩图颜色。这个问题约束不充分,所以以往的方法依赖于大量用户的交互或者尝试不饱和的颜色。我们提出了一个完全自动的方法产生丰富和真实的颜色。我们将它归于一个分类任务并且在训练时加入类别再均衡,增加了颜色的丰富性。整个系统在测试时实现为了一个前馈网络,用了100万的彩图去训练。我们使用“着色图灵测试”评估我们的算法,要求参与者在生成的和真实的彩图之间进行选择。我们的方法在试验时成功了愚弄了32%,比以往的方法都高了很多。此外,我们表明,颜色可以是一种强大的自我监督的特征学习的pretext task,作为cross-channel encoder。这种做法在特征学习上取得了state-of-the-art的结果。

1、介绍 以前的方式主要是用着色后的图像与ground truth对比,本文不是。

本文创新点: 我们为着色任务设计了一个新的损失函数。颜色预测是多模态的,很多物体都有着多种颜色。
我们在训练时为稀有颜色re-weight
【Colorful|Colorful Image Colorization 阅读笔记】我们通过采用annealed-mean的分配方式来生产最终的着色
本文贡献: 1.
a.构造适当的目标函数,解决多模态着色问题
b.新颖的测试方法
c.100万的数据集
2.
自监督模型

    推荐阅读