自拍卡通化,拯救动画师,StyleGAN再次玩出新花样

   日期:2020-10-01     浏览:100    评论:0    
核心提示:作者 | 高卫华出品 |AI科技大本营(ID:rgznai100)近日,基于StyleGAN模型的一个新应用引起了诸多网友的热捧,不仅如此,而且已有积极的爱好者进行了实现尝试。redd...

作者 | 高卫华

出品 | AI科技大本营(ID:rgznai100)

近日,基于StyleGAN模型的一个新应用引起了诸多网友的热捧,不仅如此,而且已有积极的爱好者进行了实现尝试。

reddit上的一个技术博主AtreveteTeTe使用StyleGAN模型混合将普通的人像照片卡通化,并通过First Order Motion模型生成了动画。

一阶运动模型:

https://github.com/AliaksandrSiarohin/first-order-model

他首先用卡通图像对StyleGAN2 FFHQ人脸模型(使现实的人看起来不存在的Nvidia的模型)进行了fine-tune操作,以将这些真实的面孔转换为它们的卡通版本。

模型混合发生在原始FFHQ模型与上面提到的fine-tune模型之间。控制宽泛细节的底层来自卡通模型,中间层和更精细的细节来自真实的人脸模型,这将在卡通形象的脸上生成逼真的细节。

以下即为一些示例图像,显示了源代码、基调和样式化:

AtreveteTeTe试图以此来解决一个关注度极高的问题:“卡通化人脸的最佳方法是什么?” 因此他建立了一个新的数据集和模型,以查看在不同层进行更多/更少模型训练和融合的结果。

他将奥巴马总统脸部的真实照片编码到原始FFHQ模型中,由新的混合网络生成卡通版奥巴马。

从左到右表示迁移学习的时间更长

不少网友表示,“卡通版简直是年轻时期的奥巴马!”

以下视频即为使用First Order Motion对奥巴马的卡通画像生成的动画:

奥巴马 生成动画视频 来源 | Tiktok

这是一些其他名人卡通化的效果图:

  

 

以下是对卡通化的Uma Thurman进行动画处理后的结果:

Uma Thurman 生成动画视频 来源 | Tiktok

AtreveteTeTe认为,这项应用可以帮助动漫、动画师在几分钟之内完成几个星期的任务,至少对低分辨率、在一定约束范围内的和带有某些伪造的人脸动画是可以实现的。

其他网友也纷纷对其发表了许多正面评论,“这个结果已经比那些糟糕的3D动画要好得多。”

AtreveteTeTe还提到,目前他进行的这项创新应用是基于Justin Pinkney和Doron Adler 在Toonify方面所做的工作下实现的。

借助AI技术可以将任何一张脸部的照片变成卡通版,而正是Toonify使用卷积神经网络所做到的。作者称,尽管他们在创建Toonify时使用了GAN,但在最终模型中并未使用这一模型。

网站链接:

https://deepai.org/machine-learning-model/toonify

在云端部署深度神经网络,可通过Toonify每小时对成千上万的图像进行卡通化。

实际上,混合GAN模型可以获得各种怪异而奇妙的效果。

StyleGAN 是2018 年底英伟达所提出的,当时是最先进的无条件生成模型 ,引起了大家的广泛关注。

而英伟达的最新论文《Analyzing and Improving the Image Quality of StyleGAN》,提出了新一代的 StyleGAN,通过对其生成效果的分析,对不完美的工作设计了改进和优化方法,图像效果和质量达到了更高层次。

除改进与优化外,新一代的StyleGAN 还开发了一个新玩法:把图像输入到模型中,如果能够完美复现,就说明这个东西是「Made in StyleGAN」,并非真实存在于世间的。

相关链接:

https://www.justinpinkney.com/

http://www.nathanshipley.com/gan

更多精彩推荐
  • 秋天的第一杯奶茶该买哪家?Python 爬取美团网红奶茶店告诉你

  • AI视觉大牛朱松纯担任北大AI研究院院长,提出通过构建大任务平台走向通用AI

  • 可租赁、可定制的虚拟人居然还能这么玩?9月25日来百度大脑人像特效专场一探究竟!

  • 面试一家公司俩不同岗位、技术经理只问婚姻经历:那些奇葩的面试经历

  • 荣耀与美团合作推出 “共享笔记本”;传腾讯建议推出美国版微信,已被否;Debian 10.6 稳定版发布|极客头条

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服