README_CN.md

简介

English | 简体中文

MMHuman3D 是一款基于 PyTorch 的人体参数化模型的开源工具箱，是 OpenMMLab 项目的成员之一。

主分支代码目前支持 PyTorch 1.7 以上的版本。

如果您对多视角动作捕捉感兴趣，请参考XRMoCap了解更多详情。

mmhuman3d.demo.mp4

主要特性

• 使用模块化的框架复现流行的算法

  MMHuman3D 重新实现了流行的算法，帮助用户只需一行代码即可完成复现。模块化的框架适合快速验证：用户可以在不修改代码的情况下调试不同的超参数甚至神经网络结构。

• 通过一个统一的数据规范 HumanData 支持多种数据集

  通过一个规范工具箱，我们将所有的支持的数据集都对齐到统一的数据格式 HumanData . 我们同时也提供预处理完成的数据文件。

• 多功能可视化工具箱

  一整套可微的可视化工具支持人体参数化模型的渲染（包括部分分割，深度图以及点云）和传统 2D/3D 关键点的可视化。

最新进展

• 2023-04-05: MMHuman3D v0.11.0 已经发布. 主要更新包括:
  • 增加 ExPose 推理
  • 增加 PyMAF-X 推理
  • 支持 CLIFF
• 2022-10-12: MMHuman3D v0.10.0 已经发布. 主要更新包括:
  • 支持调用本地摄像头实时渲染
  • 更新数据载入脚本，进而实现训练加速
  • 加入balanced MSE 损失函数，可进一步提升HMR训练精度
• 2022-07-08: MMHuman3D v0.9.0 已经发布. 主要更新包括:
  • 支持 SMPL-X 估计方法 ExPose，同时重建脸、手、身体
  • 支持新的人体参数化模型 STAR
  • 开源 GTA-Human 数据集，以及 SPIN-FT (51.98 mm) 和 PARE-FT (46.84 mm) 基线! (官方开源)
  • 重构配准管线并提升SPIN至 57.54 mm

基准与模型库

更多详情可见 模型库。

已支持的人体参数化模型:

(click to collapse)

• SMPL (SIGGRAPH Asia'2015)
• SMPL-X (CVPR'2019)
• MANO (SIGGRAPH ASIA'2017)
• FLAME (SIGGRAPH ASIA'2017)
• STAR (ECCV'2020)

已支持的算法：

(click to collapse)

• SMPLify (ECCV'2016)
• SMPLify-X (CVPR'2019)
• HMR (CVPR'2018)
• SPIN (ICCV'2019)
• VIBE (CVPR'2020)
• HybrIK (CVPR'2021)
• PARE (ICCV'2021)
• DeciWatch (ECCV'2022)
• SmoothNet (ECCV'2022)
• ExPose (ECCV'2020)
• BalancedMSE (CVPR'2022)
• ExPose (ECCV'2020)
• PyMAF-X (arXiv'2022)
• CLIFF (ECCV'2022)

已支持的数据集：

(click to collapse)

• 3DPW (ECCV'2018)
• AGORA (CVPR'2021)
• AMASS (ICCV'2019)
• COCO (ECCV'2014)
• COCO-WholeBody (ECCV'2020)
• CrowdPose (CVPR'2019)
• EFT (3DV'2021)
• GTA-Human (arXiv'2021)
• Human3.6M (TPAMI'2014)
• InstaVariety (CVPR'2019)
• LSP (BMVC'2010)
• LSP-Extended (CVPR'2011)
• MPI-INF-3DHP (3DC'2017)
• MPII (CVPR'2014)
• Penn Action (ICCV'2012)
• PoseTrack18 (CVPR'2018)
• SURREAL (CVPR'2017)
• UP3D (CVPR'2017)
• FreiHand (ICCV'2019)
• EHF (CVPR'2019)
• Stirling/ESRC-Face3D (FG'2018)

我们将跟进学界的最新进展，并支持更多算法和框架。

如果您对MMHuman3D有任何功能需求，请随时在愿望清单中留言。

快速入门

请参考快速入门文档学习 MMHuman3D 的基本使用。

许可

该项目采用 Apache 2.0 license 开源协议。部分支持的算法可能采用了额外协议。

引用

如果您觉得 MMHuman3D 对您的研究有所帮助，请考虑引用它：

@misc{mmhuman3d,
    title={OpenMMLab 3D Human Parametric Model Toolbox and Benchmark},
    author={MMHuman3D Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmhuman3d}},
    year={2021}
}

参与贡献

我们非常欢迎用户对于 MMHuman3D 做出的任何贡献，可以参考 CONTRIBUTION.md 文件了解更多细节。

致谢

MMHuman3D是一款由不同学校和公司共同贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。 我们希望该工具箱和基准测试可以为社区提供灵活的代码工具，供用户复现现有算法并开发自己的新模型，从而不断为开源社区提供贡献。

OpenMMLab的其他项目

• MMCV: OpenMMLab 计算机视觉基础库
• MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
• MMClassification: OpenMMLab 图像分类工具箱与测试基准
• MMDetection: OpenMMLab 检测工具箱与测试基准
• MMDetection3D: OpenMMLab 新一代通用3D目标检测平台
• MMSegmentation: OpenMMLab 语义分割工具箱与测试基准
• MMAction2: OpenMMLab 新一代视频理解工具箱与测试基准
• MMTracking: OpenMMLab 一体化视频目标感知平台
• MMPose: OpenMMLab 姿态估计工具箱与测试基准
• MMEditing: OpenMMLab 图像视频编辑工具箱
• MMOCR: OpenMMLab 全流程文字检测识别理解工具包
• MMGeneration: OpenMMLab 新一代生成模型工具箱
• MMFlow: OpenMMLab 光流估计工具箱与测试基准
• MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
• MMHuman3D：OpenMMLab 人体参数化模型工具箱与测试基准
• MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
• MMRazor: OpenMMLab 模型压缩工具箱与测试基准
• MMDeploy:OpenMMLab 模型部署框架

欢迎加入 OpenMMLab 社区

扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号，扫描下方微信二维码添加喵喵好友，进入 MMHuman3D 微信交流社群。【加好友申请格式：研究方向+地区+学校/公司+姓名】

我们会在 OpenMMLab 社区为大家

• 📢 分享 AI 框架的前沿核心技术
• 💻 解读 PyTorch 常用模块源码
• 📰 发布 OpenMMLab 的相关新闻
• 🚀 介绍 OpenMMLab 开发的前沿算法
• 🏃 获取更高效的问题答疑和意见反馈
• 🔥 提供与各行各业开发者充分交流的平台

干货满满 📘，等你来撩 💗，OpenMMLab 社区期待您的加入 👬