手把手教你在TensorFlow2.0中实现CycleGAN

责任编辑:

www.yabo24.app 1

原本是悠然地移动。

在上面的教程中,我们学习了如何从Pix2Pix中实现的生成器和鉴别器进一步实现CycleGAN,接下来的学习你可以尝试使用TensorFlow中的其他数据集。

二是,只依靠二维图像的空间信息,要学习视频的风格就很困难。

安装tensorflow_examples包,用于导入生成器和鉴别器。

最后吐个槽

在CycleGAN论文中也提到,将随机抖动和镜像应用到训练集中,这是避免过度拟合的图像增强技术。

你开花,我就开花

7、使用测试集生成图像

www.yabo24.app 2

循环一致性意味着结果接近原始输入。

RecycleGAN用奥巴马生成的川川,除了嘴皮子,脸的角度也在跟着变化。而中间的CycleGAN,只有嘴的动作比较明显。

www.yabo24.app 3

Recycle之道,时间知道

代码也快来了

!pip install -q git+

然后,看一下Recycle-GAN,是怎样在两段视频的图像之间,建立映射的。

通过安装tensorflow_examples包,从Pix2Pix中导入生成器和鉴别器。

这位选手,入选了ECCV 2018

小程序 | 全类别AI学习教程

Recycle-GAN,是一只无监督学习的AI。

6、训练

和喷气一般的云,学习了之后,就获得了急躁的节奏。

或许是怀着超越大前辈Cycle-GAN(来自朱俊彦团队)
的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

在循环一致性损失中,图像X通过生成器传递C产生的图像Y^,生成的图像Y^通过生成器传递F产生的图像X^,然后计算平均绝对误差X和X^。

不过在那之前,我们还是有许多资源可以欣赏。

AI社群 | 与优秀的人交流

原标题:视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV
2018

例如将一个句子和英语翻译成法语,再将其从法语翻译成英语后,结果与原始英文句子相同。

原本是日落:

www.yabo24.app 4

Pix2Pix是有成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency)
;RecycleGAN用的是视频流的时间信息

www.yabo24.app 5

另外,时间、空间信息的搭配食用,也能让AI更好地学到视频的风格特征

鉴别器和生成器的损失与Pix2Pix中的类似。

圆栗子 发自 凹非寺

有国外网友称赞太棒,表示很高兴看到TensorFlow
2.0教程中涵盖了最先进的模型。

—返回搜狐,查看更多

www.yabo24.app 6

第一局,先来看看换脸的效果:

CycleGAN,一个可以将一张图像的特征迁移到另一张图像的酷算法,此前可以完成马变斑马、冬天变夏天、苹果变桔子等一颗赛艇的效果。

www.yabo24.app 7

在这个教程中,我们主要学习马到斑马的图像转换,如果想寻找类似的数据集,可以前往:

论文请至这里观察:

也是目前大火的“换脸”技术的老前辈了。

效果怎么样?

www.yabo24.app 8

重要的是,视频里的时间信息唾手可得,无需寻觅。

鉴别器D_X区分图像X和生成的图像X,辨别器D_Y区分图像Y和生成的图像Y。

www.yabo24.app 9

2、输入pipeline

CMU的科学家们说,大家很快就可以看到代码了。

www.yabo24.app 10

三位选手对比一下

www.yabo24.app 11

www.yabo24.app 12

www.yabo24.app 13

针对这两个问题,CMU团队提出的方法,是利用时间信息(Temporal
Information) 来施加更多的限制,不良局部极小值的现象会减少。

www.yabo24.app,铜灵 发自 凹非寺

对抗损失(Adversarial Loss) ,朱俊彦团队的循环损失(Cycle Loss)
反复损失(Recurrent Loss)
,以及CMU团队自己造的“再”循环损失(Recycle Loss)
都用上,才是强大的损失函数

在CycleGAN中,因为没有用于训练的成对数据,因此无法保证输入X和目标Y在训练期间是否有意义。因此,为了强制学习正确的映射,CycleGAN中提出了“循环一致性损失”(cycle
consistency loss)。

看了黎明之前的视频,就跟着变了日出:

5、检查点

www.yabo24.app 14

初始化所有生成器和鉴别器的的优化: