一键让照片变表情包!腾讯混元联合港科大及清华推出肖像动画生成框架
ccwgpt 2024-10-03 18:49 31 浏览 0 评论
深圳商报?读创客户端记者 陈姝
图生视频又有新玩法。腾讯混元联合港科大、清华大学联合推出肖像动画生成框架“Follow Your Emoji”，可以通过人脸骨架信息生成任意风格的脸部动画，一键创建“表情包”。基于算法革新和数据积累，“Follow Your Emoji”可以支持对脸部进行精细化的控制，包括眉毛，眼珠，翻白眼等细节，动物表情包也可以轻松“拿捏”。
近年来，扩散模型展示了比旧的对抗式（GAN）方法更好的生成能力。一些方法利用强大的基础扩散模型进行高质量视频和图像生成， 但这些基础模型无法直接在动画过程中保留参考肖像的身份特征并有效地对肖像进行目标表情建模，导致视频结果显示出失真和不现实的伪影，特别是在动画化不常见领域肖像（如卡通、雕塑和动物）。这是肖像动画任务的主要挑战之一。
本研究中，研究员提出了一个新颖的基于扩散模型的肖像动画框架Follow-Your-Emoji。算法上有两大主要创新。
首先，引入了表情感知骨架这一表情控制信号，能够有效地引导动画生成。具体来看，研究员们通过肖像（面部）3D关键点来定位信息，由于3D关键点具有固有的规范属性，可以有效地将目标动作与参考肖像对齐，避免出现失真，导致生成的视频脸部变形。
其次，该研究还提出了一种面部细粒度损失函数，以帮助模型专注于捕捉微妙的表情变化和参考照片中肖像的详细外观。具体地，作者首先利用面部掩模和表情掩模与作者的表情感知信号，然后计算这些掩模区域中地面真实值和预测结果之间的空间距离，来实现表情包对原肖像的高度还原。
为了训练模型，本项研究还构建了一个高质量的表情训练数据集，其中包含18种夸张的表情和来自115位主体的20分钟真人视频。同时，研究采用了渐进式生成策略，使方法能够扩展到具有高保真度和稳定性的长期动画合成。
为了解决肖像动画领域缺乏基准测试的问题，研究还引入了一个名为EmojiBench的综合基准测试，其中包括410个各种风格的肖像动画视频，展示了广泛的面部表情和头部姿势。使用EmojiBench对Follow-YourEmoji进行了全面评估，评估结果表明，本方法在处理训练领域之外的肖像和动作时表现出色，与现有的基准方法相比，本方法在定量和定性上均表现更好，提供了出色的视觉保真度身份表现和精确的动作渲染。
相关推荐
- 阿里大数据技术架构师整理分享java面试核心知识点框架篇文档
-
前言本文是对Java程序员面试中常见的微服务、网络编程、分布式存储和分布式计算等必备知识点的总结，包括Spring原理及应用、SpringCloud原理及应用、Netty网络编程原理及应用、Zoo...
- 初探分布式Agent系统架构，及全新AutoGen框架下分布式Agent 体验
-
AIAgent（智能体）系统发展迅猛，且关注点已经不再局限在Agent的规划推理等基本能力，智能体系统在扩展性、互操作、安全性等工程化方面的挑战也越来越引起重视，比如最近的MCP和A2A。上一篇我们...
- 微软分布式云计算框架Orleans(2):容灾与集群(1)
-
在上一篇：微软分布式云计算框架Orleans(1)：HelloWorld，我们大概了解了Orleans如何运用，当然上一篇的例子可以说是简单且无效的，因为用了Orleans不可能只写一个Hello...
- 分布式光伏发电项目合作框架协议模板
-
分布式光伏发电项目合作框架协议模板复制链接-微信或浏览器打开-领取电子档：https://mp.weixin.qq.com/s/0QU_rZEDG0cuS1jxSlaOeA...
- 晶科科技:签署户用分布式光伏项目合作框架协议
-
晶科科技公告，公司近日与湖南新华水利电力有限公司（简称“湖南新华”）签署《关于户用分布式光伏项目合作框架协议》，公司拟与湖南新华在2024年—2026年内累计合作开展不低于6GW户用分布式光伏项目。每...
- 国人之光-分布式存储框架FastDFS入门篇
-
在这里插入图片描述一、分布式文件存储1.分布式文件存储的由来在我们的项目中有很多需要存储的内容出现，比如图片，视频，文件等等，在早期的时候用户量不大，产生的文件也不是很多，这时我们可以把文件和服务...
- 分布式计算框架——Hadoop（hadoop分布式计算框架是）
-
Hadoop是一个开源的分布式计算框架，旨在解决大规模数据集的存储和处理问题。它基于Google的MapReduce论文和Google文件系统（GFS），提供了一种可靠、可扩展的方式来处理海量数据。以...
- 坐读与行读 精读与泛览（读写坐立行）
-
【我是这样做学问的】作者：荣新江（北京大学历史学系教授）在大学里教书，如果有初入史学之门的学生问我这个问题，我会把做学问的一般方法讲给他们来听，这里面既有我自己的经验之谈，也有很多其他成功学者的治学之...
- 文言文实词“顾”的解析（高中文言文实词120个精编汇总）
-
文言文实词“顾”的解析A笔记栏（KeyNotes）核心知识点具体内容/例句/解析实词“顾”的本义与引申义-本义：回头看（形旁“页”与“头”相关，强调头部动作）例：“临行反顾”（临走时回头看）...
- 快期中考试了，串讲人教版七下道法，我的知识库清晰了好多…
-
自从道法上了主科赛道，已经不再是背书那么简单的了。开卷，更是加大了难度。不知道考的是啥，要翻到哪里抄。下周期中考试，出于各种原因，我给儿子班上的一些同学串讲了一下第一单元内容。从备考任务、梳理框架、单...
- 杜甫《佳人》的图像解读及其意义（杜甫《佳人》的图像解读及其意义概括）
-
杜甫《佳人》“天寒翠袖薄，日暮倚修竹”一句，凄丽动人，宋人据此作《天寒翠袖图》（现藏于北京故宫博物院）与《竹林仕女图》（现藏于美国费城艺术博物馆）。二图布局极为相似，当为同源画本。杜甫《佳人》诗因诗意...
- 窠字不读guǒ，不念cháo，窠怎么读，什么意思?窠臼是什么意思?
-
中午的学校食堂，热闹非凡。一位阿姨在窗口忙着打饭，勺子与餐盘的碰撞声“叮叮当当”。一位同学一边排队一边和身边的朋友讨论着下午的课程，话语声此起彼伏。打饭的声音和讨论声交织在充满期待的午休时光里。言归正...
- 字象字母B，又象眼镜镜框，这是个什么字?
-
字象字母B，又象眼镜镜框，这是个什么字？在《殷周金文集成》8498号金文中，有如图这样一个古文字，字形近似一个大写的英文字母B，也象一副框架眼镜的镜框，这是个什么古文字？容庚《金文编》、严志斌《商金文...
- 文言文实词“当”的解析（文言文实词"当"的解析研究）
-
文言文实词“当”的解析笔记栏（KeyContent）1.核心义项与语境解析c义项1：掌管、主持（dāng）例：“李斯为秦相，当政”（担任宰相，掌管政权）。搭配：当政、当权（强调权力或职位的执...
- 语文班主任:三年级下册单元知识点归纳，孩子期末复习的好帮手!
-
家人们，孩子步入三年级，语文学习难度直线上升，马上又到期末，复习压力是不是扑面而来别慌！作为班主任，今天给大家带来一份超实用的三年级下册单元知识点归纳，堪称孩子期末复习的王炸好帮手！三年级语文的知识...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)