为一种特定的人体姿势创建不同的合成身体形状以进行训练姿势分类

Question

我正在写硕士论文，其中涉及跟踪歌唱姿势以提供姿势反馈。具体来说，我使用姿势图像（例如从 YOLOv8 Pose 等关键点检测模型派生的姿势图像）来对各种歌唱姿势进行分类。

我的目标之一是为每个姿势（一个视频中的每一帧）生成具有不同体型的合成数据，这样我就可以针对不同类型的人（不同性别、身高、体型（例如，胖或瘦））训练我的模型）——并使模型对体型差异更加鲁棒。

示例：

有人对如何根据姿势图像创建合成身体形状有经验或想法吗？理想情况下，我希望能够：

1. 调整体型（例如胖、瘦）。
2. 改变身高和身体比例
3. 模拟不同性别。

我研究了 Blender，但我不确定它是否提供了一种方法来加载特定姿势的图像并将其转换为具有该精确姿势的合成身体形状，以改变身体形状、性别等。

在我的项目中，唱歌姿势中的每个动作都非常微妙，因此我需要具有不同体形的高精度合成姿势。因此，在生成身体形状之前具有姿势估计功能的工具会更合适。

Answer 1

我将广泛介绍必要的步骤。每一项都需要冗长的解释，但由于 Blender 的庞大社区，您将能够找到深入解释所有这些的教程。

Body：有两种方法可以解决这个问题

1. 创建混合形状来改变体型和比例。
2. 训练模型以根据您的参数创建身体网格。微软有一篇关于这方面的paper，虽然只针对面孔，但会给你一个想法。作者之前的一篇论文更深入地研究了细节

姿势：提取姿势（最好是3D姿势）后，使用逆运动学将关键点的位置应用到身体上。我不确定，但姿势可能是生成身体模型的参数，以使用我上面提到的第二种方法假设姿势。

如果您愿意使用其他工具来生成数据，请检查 Unity 的 synthetic human repo。