百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

一键让照片变表情包!腾讯混元联合港科大及清华推出肖像动画生成框架

ccwgpt 2024-10-03 18:49 41 浏览 0 评论

深圳商报?读创客户端记者 陈姝

图生视频又有新玩法。腾讯混元联合港科大、清华大学联合推出肖像动画生成框架“Follow Your Emoji”,可以通过人脸骨架信息生成任意风格的脸部动画,一键创建“表情包”。基于算法革新和数据积累,“Follow Your Emoji”可以支持对脸部进行精细化的控制,包括眉毛,眼珠,翻白眼等细节,动物表情包也可以轻松“拿捏”。

近年来,扩散模型展示了比旧的对抗式(GAN)方法更好的生成能力。一些方法利用强大的基础扩散模型进行高质量视频和图像生成, 但这些基础模型无法直接在动画过程中保留参考肖像的身份特征并有效地对肖像进行目标表情建模,导致视频结果显示出失真和不现实的伪影,特别是在动画化不常见领域肖像(如卡通、雕塑和动物)。这是肖像动画任务的主要挑战之一。

本研究中,研究员提出了一个新颖的基于扩散模型的肖像动画框架Follow-Your-Emoji。算法上有两大主要创新。

首先,引入了表情感知骨架这一表情控制信号,能够有效地引导动画生成。具体来看,研究员们通过肖像(面部)3D关键点来定位信息,由于3D关键点具有固有的规范属性,可以有效地将目标动作与参考肖像对齐,避免出现失真,导致生成的视频脸部变形。

其次,该研究还提出了一种面部细粒度损失函数,以帮助模型专注于捕捉微妙的表情变化和参考照片中肖像的详细外观。具体地,作者首先利用面部掩模和表情掩模与作者的表情感知信号,然后计算这些掩模区域中地面真实值和预测结果之间的空间距离,来实现表情包对原肖像的高度还原。

为了训练模型,本项研究还构建了一个高质量的表情训练数据集,其中包含18种夸张的表情和来自115位主体的20分钟真人视频。同时,研究采用了渐进式生成策略,使方法能够扩展到具有高保真度和稳定性的长期动画合成。

为了解决肖像动画领域缺乏基准测试的问题,研究还引入了一个名为EmojiBench的综合基准测试,其中包括410个各种风格的肖像动画视频,展示了广泛的面部表情和头部姿势。使用EmojiBench对Follow-YourEmoji进行了全面评估,评估结果表明,本方法在处理训练领域之外的肖像和动作时表现出色,与现有的基准方法相比,本方法在定量和定性上均表现更好,提供了出色的视觉保真度身份表现和精确的动作渲染。

相关推荐

自己动手写Android数据库框架_android开发数据库搭建

http://blog.csdn.net/feiduclear_up/article/details/50557590推荐理由关于Android数据库操作,由于每次都要自己写数据库操作,每次还得去...

谷歌开源大模型评测工具LMEval,打通谷歌、OpenAI、Anthropic

智东西编译|金碧辉编辑|程茜智东西5月28日消息,据科技媒体TheDecoder5月26日报道,当天,谷歌正式发布开源大模型评测框架LMEval,支持对GPT-4o、Claude3.7...

工信部:着力推动大模型算法、框架等基础性原创性的技术突破

工信部新闻发言人今日在发布会上表示,下一步,我们将坚持突出重点领域,大力推动制造业数字化转型,推动人工智能创新应用。主要从以下四个方面着力。一是夯实人工智能技术底座。通过科技创新重大项目,着力推动大模...

乒乓反复纠结“框架不稳定”的三个小误区

很多球友由于对框架的认知不清晰,往往会把“框架不稳定”当成一种心理负担,从而影响学球进度,其典型状态就是训练中有模有样,一旦进入实战,就像被捆住了手脚。通过训练和学习,结合“基本功打卡群”球友们交流发...

前AMD、英特尔显卡架构师Raja再战GPU,号称要全面重构堆栈

IT之家8月5日消息,知名GPU架构师拉贾科杜里(RajaKoduri)此前曾先后在AMD和英特尔的显卡部门担任要职。而在今日,由Raja创立的GPU软件与IP初创企...

三种必须掌握的嵌入式开发程序架构

前言在嵌入式软件开发,包括单片机开发中,软件架构对于开发人员是一个必须认真考虑的问题。软件架构对于系统整体的稳定性和可靠性是非常重要的,一个合适的软件架构不仅结构清晰,并且便于开发。我相...

怪不得别人3秒就知道软考案例怎么做能50+

软考高级统一合格标准必须三科都达到45分,案例分析也一直是考生头疼的一门,但是掌握到得分点,案例能不能50+还不是你们说了算吗?今天就结合架构案例考点,分享实用的备考攻略~一、吃透考点,搭建知识框架从...

UML统一建模常用图有哪些,各自的作用是什么?一篇文章彻底讲透

10万+爆款解析:9大UML图实战案例,小白也能秒懂!为什么需要UML?UML(统一建模语言)是软件开发的“蓝图”,用图形化语言描述系统结构、行为和交互,让复杂需求一目了然。它能:降低沟通成本避...

勒索软件转向云原生架构,直指备份基础设施

勒索软件组织和其他网络犯罪分子正越来越多地将目标对准基于云的备份系统,对久已确立的灾难恢复方法构成了挑战。谷歌安全研究人员在一份关于云安全威胁演变的报告中警告称,随着攻击者不断改进数据窃取、身份泄露和...

ConceptDraw DIAGRAM:释放创意,绘就高效办公新未来

在当今数字化时代,可视化工具已成为提升工作效率和激发创意的关键。ConceptDrawDIAGRAM,作为一款世界顶级的商业绘图软件,凭借其强大的功能和用户友好的界面,正逐渐成为众多专业人士的首选绘...

APP 制作界面设计教程:一步到位_app界面设计模板一套

想让APP界面设计高效落地,无需繁琐流程,掌握“框架搭建—细节填充—体验优化”三步法,即可一步到位完成专业级设计。黄金框架搭建是基础。采用“三三制布局”:将屏幕横向三等分,纵向保留三...

MCP 的工作原理:关键组件_mcp部件

以下是MCP架构的关键组件:MCP主机:像ClaudeDesktop、GitHubCopilot或旅行助手这样的AI智能体,它们希望通过MCP协议访问工具、资源等。MCP主机会...

软件架构_软件架构师工资一般多少

软件架构师自身需要是程序员,并且必须一直坚持做一线程序员。软件架构应该是能力最强的一群程序员,他们通常会在自身承接编程任务的同时,逐渐引导整个团队向一个能够最大化生产力的系统设计方向前进。软件系统的架...

不知不觉将手机字体调大!老花眼是因为“老了吗”?

现在不管是联系、交友,还是购物,都离不开手机。中老年人使用手机的时间也在逐渐加长,刷抖音、看短视频、发朋友圈……看手机的同时,人们也不得不面对“视力危机”——老花眼,习惯眯眼看、凑近看、瞪眼看,不少人...

8000通用汉字学习系列讲座(第046讲)

[表声母字]加(续)[从声汉字]伽茄泇迦枷痂袈笳嘉驾架咖贺瘸(计14字)嘉[正音]标准音读jiā。[辨形]上下结构,十四画。会意形声字,从壴从加,加也表声。注:从壴,字义与鼓乐有关;从加,字义与...

取消回复欢迎 发表评论: