幻颜AI团队最近测试了实时交互式面部替换,开发这种逼真的实时面部合成技术的主要目的是构建下一代虚拟助手和时尚头像,它们可以更高效、更大规模地制作,同时看起来非常逼真。
文章图片
本软件是一种实时深度计算技术,可以看着虚拟镜头并与许多名人和公众人物(如赵本山、热巴,杨幂等)交换他们的脸。
文章图片
在互联网上流传的 Deepfake 软件需要大量的数据收集和数天的针对个人的长时间训练才能获得高质量的结果而我们的解决方案是立即生效,无需任何训练即可立即将另一个人的脸插入到用户身上,并且换脸是实时的。
文章图片
l 这是GAN研究的延伸还是新技术?
这是一种新技术,它更类似于deepfake,因为它使用大量的源人脸(名人)训练数据,但它使用PA-GAN 来避免为每个新主题训练一个模型。
【人工智能|实时换脸技术——直播,视频通话|脸部交换程序】l 摄像头是标准的RGB摄像头还是RGBD(深度摄像头)?
我们使用标准的罗技(Logitech)网络摄像头,它只有 RGB。
l PA-GAN是此类基于图像的机器学习的一个非常丰富的研究方向,GAN的进展有多快?
我们只在通道的某些部分使用 GAN。所有处理都必须非常快,以便我们能够以 25 fps 的速度完成所有处理。
l 实时进行的能力主要问题是缺乏有关目标的任何训练数据吗?
实现实时的具有挑战性的部分与以下方面有关:
处理大量数据的能力,以及用更深的网络训练更好的模型
生成高分辨率帧的能力
并行化/调度任务的能力
对于每个来源人脸(名人),我们使用了数万帧。
l 你们的软件能处理很多头部以及表情的运动吗?
从我们演示的视频结果中可以看出,它还可以处理明显的头部运动的动作。
l 视频的演示过程中,灯光效果实现有多重要?
我们的软件可以自然地处理非常具有挑战性的照明条件。比如:拿一个不同颜色的灯泡,面部交换也会反映出照明条件的变化。
l 如果有人带着眼镜走路会怎样?
虽然薄框眼镜没问题,但厚框眼镜可能是个问题,因为我们的训练不包括戴眼镜的对象。
l 为什么没有一年过去了还迟迟没有上线?
原因有很多,除了基础的技术实现问题,如果我们可以实时换脸,不仅仅是使用现有的视频或照片,会发生什么?假设我们可以用别人的脸上网,虽然这会很有趣但是也会进一步推动道德界限。很多用户告诉我们“技术无罪,犯罪的是人”可是“快播”也算是前车之鉴。
对于像我们这样的小创业公司,一个小小的问题就能决定公司的“生死”,虽然2021碳排放都可以在中国的碳排放交易所正式交易了,但是肖像权可不行,也没有“肖像权交易所”。
l 准备什么时候上线呢?
不过好消息是今年(2021.12)我们会在内测结束之后,对软件进行商业运作(商用),不过在此我们会与多家律师事务所以及相关专业人员拟定严谨的“用户使用条款”,必须同意使用条款才能使用该软件,以免出现违规违法问题。
**关于后续:我们会在公众号持续更新一些测试视频,期待程序优化完成之后与大家见面。
关于权责:预订的公司,工作室或者个人,都需与公司签订用户使用协议,不得违法国家有关法律。**
推荐阅读
- 深度学习|真正的AI实时换脸技术——可用于直播换脸带货
- opengl|直播换脸后,我们来搞搞微信QQ聊天换脸!| avatarify
- AI换脸教程|deepfacelive实时AI换脸直播使用教程
- EE1612
- 芯片|第四期“一生一芯”来了,欢迎报名
- 人工智能|人工智能---深度学习从感知机到神经网络
- 感知机-梯度下降
- 算法|Python中机器学习神器——sklearn模块
- 量子计算|VQLS(变分量子算法解线性方程组)