小飞侠 - 2023年10月
type: channel
link: http://www.kexue.love/index.php/2023/10/
description: 爱科学-刘磊
items: 数字人技术调研
items: 多模态大模型分类总结

数字人技术调研
type: item
date: 2023-10-30T01:41:00+00:00
description: 一、数字人定义数字人是指以数字形式存在于数字空间中，具有拟人或真人的外貌、行为和特点的虚拟人物，也称之为虚拟形象、数字虚拟人、虚拟数字人等。数字人的核心技术 主要包括计算机图形学、动作捕捉、图像渲染、AI等。数字人可以打造更完美的人设，为品牌带来正向价值。互联网、金融、电商平台、消费品牌、汽车出行等领 域纷纷推出数字人，用于品牌营销、智能客服等方向。二、数字人分类数字人可以按照不同维度进行分类。1.人物图形资源的维度数字人可分为2D和3D两大类，2D、2.5D、3D这三种，2D是最常见的用一段语音去驱动一张照片，2.5D比2D多一些肢体动作，3D是UE建模2.外形上可分为2D真人、2D卡通、3D卡通、3D风格化、3D写实、3D超写实、3D高保真等多种。写实和风格化之间的显著区别是，写实你被限制使事物看起来“真实”，就是要强化他们的视觉语言。风格化里您可以自由发挥的形状和颜色，夸大或删除细节，在任何方向增强外观和感觉。这样做将打破现实的幻觉，因为它不再被视写实的，它将不属于我们的世界。3.驱动的维度可分为真人驱动和AI驱动两种。 根据商业和功能维度，可分为内容/IP型、功能服务型和虚拟分身等三种。三、技术开发流程1.人物形象采集(视频采集/3D扫描)(1)人物建模 建模技术发展推动外貌更接近人的超写实数字人制作门槛和周期进一步下降(2)物理仿真物理仿真算法迭代推动服装动态展示趋向真实(3)人物渲染渲染引擎的迭代发展和GPU算力的提升推动数字人渲染画面更加精细和实时化(4)声音建模1.素材采集(1)图片采集(2)视频采集(3)声音采集2.素材清洗(1)视频降噪(2)音频降噪(2)背景分离(3)人物提取3.数字人建模(1)动作捕捉模型肢体动作建模(2)面捕模型面部捕捉技术向更简单的硬件、更细腻的表情、更自动化的流程方向发展(3)嘴型模型嘴型和音频映射建模(4)ASR模型音频与文本建模(5)AI驱动模型AI驱动算法，通过语音驱动肢体动作、面部表情、嘴型细节关联映射，数据进行模型训练，得到相关模型，并智能合成4.结果合成(1)图像合成模型(2)语音合成(3)视频合成(4)3D渲染四、开源算法1.Gan方案的(1) Wav2Lip：优缺点：开源可复现https://github.com/Rudrabha/Wav2Lip(2)PaddleBoBo :不推荐优缺点：使用的Wav2Lip，只能在woindows系统https://github.com/JiehangXie/PaddleBoBo2.DiffusionDiffTalk：https://github.com/sstzal/DiffTalkDiffusionVideoEditing：https://github.com/DanBigioi/DiffusionVideoEditing3.NerfRAD-NeRF:https://github.com/ashawkey/RAD-NeRFER-NeRF: https://github.com/Fictionarry/ER-NeRF/tree/mainAD-NeRF: https://github.com/YudongGuo/ADhttps://github.com/OpenTalker/video-retalking其他开源方案：https://github.com/OpenTalker/video-retalking https://juejin.cn/post/7199809805363789882参考：http://www.ffner.com/2023726140734-9286.html?11https://zhuanlan.zhihu.com/p/648734603https://zhuanlan.zhihu.com/p/656328699

多模态大模型分类总结
type: item
date: 2023-10-10T01:16:00+00:00
description: 1.MiniGPT-51.5 CLIP1.8 PLIP2.BLIP3.BLIP-2参考内容：1.https://www.bilibili.com/read/cv25429299/>> X光影像路径：./data/Xray/861_1.png >> 用户：这是一张什么图？ >> XrayGLM：这张图片显示的是一张肺部检查的X光片。 >> 用户：请描述这张胸部X光片的诊断结果 >> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。 >> 用户：是否存在肺气肿？ >> XrayGLM：没有肺气肿。心脏大小正常，肺部清晰。没有发现急性心肺疾病的证据。 >> 用户：平时饮食该注意什么？ >> XrayGLM：饮食应该健康，均衡。建议增加蛋白质的摄入量， 因为蛋白质有助于维持肌肉和骨骼的健康。多食用蔬菜、水果、 全谷物以及健康的脂肪来源如橄榄油、鱼类等可以帮助获得足 够的维生素和矿物质。此外，避免过度饮酒或吸烟，这些习惯 可能会对心脏健康产生负面影响。