English | 简体中文
nndeploy是一款基于工作流的多端AI部署框架，让AI算法部署变得像搭积木一样简单！
采用可视化工作流设计，内置丰富的算法节点，用户只需拖拽操作即可快速构建专业AI应用，无需编写复杂代码。
支持Python/C++自定义节点开发，无需前端代码，自动集成到可视化界面
构建的工作流可一键导出JSON配置文件，支持Python/C++ API加载运行。集成主流推理引擎和深度优化策略，确保最佳性能，支持一次开发多端部署，覆盖Linux、Windows、macOS、Android、iOS全平台。
pip install --upgrade nndeploy# 方法一：仅使用内置节点
nndeploy-app --port 8000
# 方法二：使用用户自定义节点
nndeploy-app --port 8000 --plugin plugin1.py plugin2.py - 命令参数说明
--port：指定Web服务端口号（默认为8000）--plugin：加载用户自定义插件文件（可选参数，如果没有该参数，仅使用内置节点）- Python插件：参考Python插件模板写法
- C++插件：参考C++插件模板写法
- 可以同时加载多个插件：
--plugin plugin1.py plugin2.so
启动成功后，打开 http://localhost:8000 即可访问工作流界面。
在可视化界面中完成工作流的搭建后，可将其保存为JSON文件（例如workflow.json），然后可以使用以下命令执行该工作流：
nndeploy-run-json --json-file workflow.json --plugin plugin.py- API加载运行JSON配置文件
需要 Python 3.10 及以上版本。默认包含 PyTorch 和 ONNXRuntime 两个推理后端，如需使用更多推理后端（如 TensorRT、OpenVINO、ncnn、MNN 等），请采用开发者模式
使用
nndeploy-clean可清理过期的后端资源。
- 可视化工作流：通过拖拉拽操作就能部署AI算法，前端可视化调节AI算法的所有节点参数，快速预览算法调参后的效果
- 自定义节点：支持Python/C++自定义节点，无需前端代码，无缝集成到可视化界面
- 算法组合：灵活组合不同算法，快速构建创新AI应用
- 一键部署：搭建好的工作流可导出为JSON，Python/C++直接调用，从开发到生产环境无缝衔接
-
13种推理引擎无缝集成：一套工作流，多端部署。通过零抽象成本接入了13种主流推理框架，覆盖云端、桌面、移动、边缘等全平台
推理框架 适用场景 状态 PyTorch 研发调试、快速原型 ✅ ONNXRuntime 跨平台推理 ✅ TensorRT NVIDIA GPU高性能推理 ✅ OpenVINO Intel CPU/GPU优化 ✅ MNN 阿里推出的移动端推理引擎 ✅ TNN 腾讯推出的移动端推理引擎 ✅ ncnn 腾讯推出的移动端推理引擎 ✅ CoreML iOS/macOS原生加速 ✅ AscendCL 华为昇腾AI芯片推理框架 ✅ RKNN 瑞芯微NPU推理框架 ✅ SNPE 高通骁龙NPU推理框架 ✅ TVM 深度学习编译栈 ✅ 自研推理框架 定制化推理需求 ✅ -
并行优化：支持串行、流水线并行、任务并行等执行模式
-
内存优化：零拷贝、内存池、内存复用等优化策略
-
高性能优化：内置C++/CUDA/Ascend C/SIMD等优化实现的节点
针对以下AI算法，开发了40+节点，并制作了工作流模板，让你能够立即体验和使用各种AI功能：
| 应用场景 | 可用模型 |
|---|---|
| 图像分类 | ResNet, MobileNet, EfficientNet, PPLcNet, GhostNet, ShuffleNet, SqueezeNet |
| 目标检测 | YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv11, YOLOx |
| 目标追踪 | FairMot |
| 图像分割 | RBMGv1.4, PPMatting, Segment Anything |
| 生成模型 | Stable Diffusion 1.5 |
| 大语言模型 | QWen-0.5B |
| 换脸 | deep-live-cam |
可视化界面实时调整检测参数，无需修改代码即可观察效果变化，支持一键切换到TensorRT等推理引擎实现高性能部署。
可视化搭建检测+分割+分类工作流，支持多推理框架切换和并行模式，实现一次搭建、多端部署。
通过拖拽操作组合人脸检测、换脸算法、人像分割等AI功能，无需编写代码，参数调整1-2秒看到效果。让产品经理、设计师、非AI开发者快速将创意变成原型。
会持续开发的节点，如果你有需要部署的算法，请通过issue告诉我们
在 GitHub 上给 nndeploy Star，并立即收到新版本的通知。
-
欢迎加入技术交流群！微信：Always031856（请简单备注个人信息^_^）
-
感谢以下项目：TNN、FastDeploy、opencv、CGraph、CThreadPool、tvm、mmdeploy、FlyCV、oneflow、flowgram.ai、deep-live-cam。
-
感谢HelloGithub推荐
