本套课程主要讲解高并发口型服务器开发的相关内容。 虚拟角色的口型一直是商业开发中难以避免的问题,即使项目不要求做到虚拟人的实时口型,但例如本地化游戏角色的口型动画,也必不可少的需要调教口型。 现在的虚拟人技术方向都是离线方向,比如离线大模型,离线语言识别语言合成,离线口型服务器等,离线是一种趋势,即使为其他公司做外包,离线的虚拟人技术价格往往高于在线的虚拟人技术价格。
课程信息
教学总时长约20小时,使用软件:unreal engine。
适用行业:游戏引擎;难易度:高级。
交流答疑
对于课程内容相关的疑问,提供有交流群,不但可以在群里与同学交流,分享资料,与教程内容有关的技术问题还可以进入答疑专区寻求帮助。老师一般会在2个工作日内为您解答。
课程目录
第一章:audio2face安装和使用
0101_如何安装Audio2Face
0102_安装Metahuman资产角色
0103_Audio2Face同步UEMetahuman口型
0104_实时捕获麦克风驱动口型
第二章:嵌入式http服务器开发
0201_口型服务器实现逻辑和流程的讲解
0202_准备基础代码结构
0203_架构Mongoose基础框架
0204_监听http客户端发送请求
0205_回调和回复客户端
0206_HTTP服务器暴露蓝图
0207_HTTP服务器蓝图测试
第三章:A2F插件框架
0301_ALT服务器协议原理
0302_精简的HTTP架构
0303_A2F基础框架完成
0304_获取A2F服务器状态
0305_通过蓝图获取口型服务器状态
0306_封装HTTP同步调用方法
0307_如何自己配置口型服务器调用
0308_口型服务器配置参数讲解
0309_自定义服务器的端口和IP
第四章:A2F实例获取和设置
0401_介绍本章内容
0402_封装读取服务器USD
0403_测试服务器USD读取情况
0404_获取实例
0405_获取实例的帧数
0406_设置实例的帧数
0407_获取服务器实例的设置名字
0408_获取服务器实例设置
0409_设置服务器实例设置
0410_上传设置后奔溃问题
第五章:A2E情绪处理
0501_获取情绪的名称
0502_获取指定帧的情绪权重
0503_设置的情绪权重
0504_开启服务器流
0505_获取A2E表情设置
0506_设置A2E表情设置
第六章:A2F播放器操作
0601_获取播放器实例
0602_获取播放器根部
0603_设置播放器根部
0604_追踪音频
0605_追踪当前的音频
0606_设置要播放的音频
0607_获取播放器的范围
0608_设置播放器的范围
0609_作业-剩下播放器功能扩展
0610_播放器功能扩展作业
第七章:LiveLink与口型BlendShapes导出
0701_获取BlendShape结算器
0702_导出-作业
0703_获取LiveLink流设置
0704_设置LiveLink流设置
0705_导出Blendshapes
0706_BS导出后HTTP返回空问题
第八章:流式和BS初始化
0801_服务器的BS流程
0802_架构流式和BS框架格局
0803_A2F配置架构
0804_动态配置启动地址
0805_通过程序启动服务器
0806_如何判断服务器准备好了
0807_口型服务器初始化
0808_测试BS服务器和LiveLink流式服务器初始化
第九章:BlendShapes导出
0901_服务器生成口型BlendShapeJson数据流程
0902_服务器缓存音频数据和设置
0904_生成BlendShape的Json在服务器
0905_对象蓝图化流和BlendShape
0906_异步初始化和执行
0907_异步通知主线程调用代理
0908_蓝图测试服务器生成BS流程
0909_导出BlendShape数据错误
0910_口型和音频不一致问题
第十章:口型的流式开发
1001_流式服务器演示
1002_流式激活和流程
1003_蓝图测试流式
十一章:Python实现流式和BS生成
1101_Python实现BlendShape数据导出
1102_测试Python生成的BlendShape数据
1103_测试Python流式同步生成
十二章:BlendShapes嵌入式服务器开发
1201_口型服务器消息处理的队列原理
1202_准备口型服务器基础框架
1203_快速建立服务器配置系统
1204_准备A2F服务器管理
1205_整体服务器框架流程搭建
1206_判定绑定的端口是否有意义
1207_启动HTTP服务器初始化
1208_客户端向HTTP服务器发送请求
1209_对HTTP服务器插件扩展
1210_解析客户端的ATL请求数据
1211_测试客户端数据解析结果
十三章:流式嵌入式服务器开发
1301_BlendShape任务队列
1302_BS服务器回复客户端奔溃问题
1303_测试BS客户端和服务器生成效果
1304_流式口型服务器架构
1305_测试流式口型服务器
十四章:高并发HTTP服务器封装
1401_关于uWebSocket整合说明
1402_测试原生的httplib
1403_httplib整合到UE5
1404_HTTPServer插件文件结构
1405_架构HTTPRunnable多线程
1406_绑定动作方法
1407_支持HTTPS的整合
1408_HTTP和HTTPS生成工厂
1409_HTTP客户端封装
1410_HTTP各类请求封装
1411_HTTPlib客户端接下来的安排
十五章:高并发下的BS口型服务器开发
1501_整合口型高并发HTTP服务器
1502_服务器提取MultipartFormData
1503_服务器提取二进制数据
1504_高并发的任务执行队列设计
1505_向客户端回调整合
1506_高并发下的BlendShape获取
十六章:高并发下的流式口型服务器开发
1601_高并发下的流式口型生成框架
1602_高并发下的流式测试
十七章:口型服务器部署
1701_口型服务器打包好的功能演示
1702_服务器部署和客户端插件安装
1703_LiveLink和face关联问题
多端支持
课程支持ios及Android端设备播放,您只需要登录各大手机应用平台,搜索“ABOUTCG学院“下载安装应用。
课程要求
本教学需要您对基础的3D概念和术语有一定的了解,比如Polygon,Edge,FaceAxis,Space,Map等。