用 RL 在 15 分钟内训练人形角色运动
一种新的实用方法实现了训练控制策略，用于双足角色，通过强化学习在创纪录的时间内完成。该方法利用单张 RTX 4090 GPU 的强大性能，在一刻钟内完成整个过程，这相对于传统的数天等待是一个重大进步。🚀
技术基础：并行化和优化
这种速度的核心在于执行大规模并行模拟。物理引擎被优化以直接在 GPU 上运行，同时执行数千个环境以以前所未有的速度收集经验数据。为了处理这种规模，应用了特定调整以避免数值不稳定性，例如修改模拟间隔。使用 off-policy 算法变体如 FastSAC 和 FastTD3 可以高效重用旧数据，最大化神经网络在每个周期中的学习。策略通过直接观察角色的状态及其环境来训练。
稳定性和速度的关键：- GPU 模拟： 将物理移到图形卡上允许并行化数千个实例。
- 快速算法： 采用 FastSAC 或 FastTD3 来重用过去的经验，并用更少的新数据学习更多。
- 最小奖励： 设计简单但有效的奖励信号，引导期望行为而不 sobrecargar 学习。
真正的挑战不再是等待数天让 AI 训练，而是确保在模拟结束前准备好角色的资产。
鲁棒性和动画管道中的应用
该系统不仅快速，还学习到鲁棒且适应性强的控制。在训练过程中，应用了强烈的域随机化，这意味着角色在可变动态、不平坦地形和外部推力下练习。这种多样暴露教会它恢复平衡并在不可预测条件下移动。一个直接应用是训练一个全身控制器来跟随参考的人类动作捕捉数据，桥接 mocap 数据与真实物理模拟之间的差距。
适用于 foro3d.com 社区的应用：- 程序化动画： 将这些控制器集成到管道中，以自动生成物理上可信的运动。
- 预览工具： 在高级 rigging 阶段使用该系统，快速测试给定骨骼的角色如何移动。
- 研究与开发： 开启关于如何应用这些 AI 技术来解决复杂动画和实时模拟问题的讨论。
数字动画的新范式
这种方法论代表了构想和制作角色动画方式的变革。通过将训练时间从数天减少到几分钟，它成为一个互动且实用的工具。主要障碍不再是计算能力或等待，而是模型的艺术和技术准备。对于动画师和开发者来说，这意味着能够以前所未有的敏捷性迭代和测试复杂的运动行为，将人工智能无缝集成到创意工作流程中。🤖