您的当前位置:主页 > 建站 >

只用一张图,就能让二次元老婆动起来,宛如3

时间:2020-12-06

△ 笹木咲

△ 童田明治

只需输入一张静态的老婆,就能让她动起来,会张嘴会眨眼,还能左顾右盼,抬眼看天。似乎成了 3D 老婆。

而且,你想让妹子怎样动,姿态都可以定制。比方,巴望她一直对你wink,就调眼睛的参数:

这儿有一只造福人类的AI,作者是名叫Pramook Khungurn的 死宅 少年。

此宅因长时间沉浸虚拟偶像小姐姐,想到用深度学习自己做一只,成果成功了。

他把喜讯发上Reddit,7小时热度便打破200点。楼下有小伙伴发来贺电:

为了科学!

彻底无法辩驳。

既然如此,背面的科学究竟是怎样的?

咱们先大略了解一下,打造一只虚拟老婆,原本是个怎样的技能使命。

Pramook说,至少得有一个人物模型,ta的动作要能操控:

一种办法是做 3D模型 ,有些虚拟偶像 的确是这样诞生的。仅仅比较贵,需求人物设计师和3D建模师,一人很难完结。如果是没有艺术技能的一般人类,就更做不到了。

另一种是做 2D模型 ,本钱比较低,这种办法制作的VTuber更常见。2D人物的动作也会简略一些。

所以Pramook理解了,2D老婆更简单取得。但即使这样,2D模型仍是分红几个可动的部分,建模师要把这些部分的动作整合到一同,仍然十分耗时。

既然如此,作为一只合格的技能宅,当然要用 深度学习 ,把手动2D建模的繁琐过程跳过去,直接用一张静态图,生成会动的老婆了。

△ 来自waifulabs

少年打定主意之后,第一步便是要搞个数据集,才好练习算法:

这儿需求的是,标示好 姿态 的脸部数据集。

如果是实在人脸,就有EmotioNet这样的数据集可以用。但二次元应该还没有这样直接可用的数据集。

少年机敏地想到,尽管自己要的是2D老婆,但练习数据可以用 3D模型 来提取。了解初音的他,知道 MikuMikuDance 里边有很多的3D模型,所以下载了8000多个虚拟人物。

这些人物的动作都可以操控,只需想到一个姿态,就能烘托出一张这种姿态的图片来。

每个3D模型都可以得出成百上千张图,8000多个模型合在一同,便是很大的数据集了。

一个练习实例分三张图,第一张是原图 ,第二张是表情修改后的图 ,第三张是在第二张基础上转动了脸的朝向。

表情的改变,是由6个参数决议的:两个担任眼睛开闭,一个担任嘴巴开闭,还有三个担任脸部转向 。

关于我们
我们的服务
我们的案例
新闻动态
联系我们

公司服务热线