README_CN.md

简体中文 | English

飞桨高性能图像分割开发套件，端到端完成从训练到部署的全流程图像分割应用。

最新动态

• [2024-06-27] 💥 飞桨低代码开发工具 PaddleX 3.0 重磅更新！
  • 丰富的模型产线：精选 68 个优质飞桨模型，涵盖图像分类、目标检测、图像分割、OCR、文本图像版面分析、时序分析等任务场景；
  • 低代码开发范式：支持单模型和模型产线全流程低代码开发，提供 Python API，支持用户自定义串联模型；
  • 多硬件训推支持：支持英伟达 GPU、昆仑芯、昇腾和寒武纪等多种硬件进行模型训练与推理。PaddleSeg支持的模型见 模型列表

• [2023-10-29] 🔥 PaddleSeg 2.9版本发布！详细发版信息请参考Release Note。
  • 增加对多标签分割Multi-label segmentation，提供数据转换代码及结果可视化，实现对一系列语义分割模型的多标签分割支持。
  • 发布轻量视觉大模型MobileSAM，实现更快速的SAM推理。
  • 支持量化蒸馏训练压缩功能Quant Aware Distillation Training Compression，对PP-LiteSeg、PP-MobileSeg、OCRNet、SegFormer-B0增加量化训练压缩功能，提升推理速度。
• [2023-09-01] 🔥🔥 飞桨AI套件 PaddleX 发布全新版本，围绕飞桨精选模型提供了一站式、全流程、高效率的开发平台，希望助力AI技术快速落地、使人人成为AI Developer！欢迎大家使用和共建。
• [2022-04-11] PaddleSeg 2.8版本发布视觉大模型Segment Anything Model、轻量级语义分割SOTA模型PP-MobileSeg、工业质检全流程解决方案QualityInspector v0.5、通用的全景分割解决方案PanopticSeg v0.5。
• [2022-11-30] PaddleSeg 2.7版本发布实时人像抠图模型PP-MattingV2、3D医疗影像分割方案MedicalSegV2、轻量级语义分割模型RTFormer。
• [2022-07-20] PaddleSeg 2.6版本发布实时人像分割SOTA方案PP-HumanSegV2、高性能智能标注工具EISeg v1.0正式版、ImageNet分割伪标签数据预训练方法PSSL，开源PP-MattingV1代码和预训练模型。
• [2022-04-20] PaddleSeg 2.5版本发布超轻量级语义分割模型PP-LiteSeg，高精度抠图模型PP-MattingV1，3D医疗影像开发套件MedicalSegV1，交互式分割工具EISeg v0.5。
• [2022-01-20] PaddleSeg 2.4版本发布交互式分割工具EISeg v0.4，超轻量级人像分割方案PP-HumanSegV1，以及大规模视频会议数据集PP-HumanSeg14K。

简介

PaddleSeg是基于飞桨PaddlePaddle的端到端图像分割套件，内置45+模型算法及140+预训练模型，支持配置化驱动和API调用开发方式，打通数据标注、模型开发、训练、压缩、部署的全流程，提供语义分割、交互式分割、Matting、全景分割四大分割能力，助力算法在医疗、工业、遥感、娱乐等场景落地应用。

特性

• 高精度：跟踪学术界的前沿分割技术，结合高精度训练的骨干网络，提供45+主流分割网络、150+的高质量预训练模型，效果优于其他开源实现。

• 高性能：使用多进程异步I/O、多卡并行训练、评估等加速策略，结合飞桨核心框架的显存优化功能，大幅度减少分割模型的训练开销，让开发者更低成本、更高效地完成图像分割训练。

• 模块化：源于模块化设计思想，解耦数据准备、分割模型、骨干网络、损失函数等不同组件，开发者可以基于实际应用场景出发，组装多样化的配置，满足不同性能和精度的要求。

• 全流程：打通数据标注、模型开发、模型训练、模型压缩、模型部署全流程，经过业务落地的验证，让开发者完成一站式开发工作。

技术交流

• 飞桨低代码开发工具（PaddleX）—— 面向国内外主流AI硬件的飞桨精选模型一站式开发工具。包含如下核心优势：

  • 【产业高精度模型库】：覆盖10个主流AI任务 40+精选模型，丰富齐全。
  • 【特色模型产线】：提供融合大小模型的特色模型产线，精度更高，效果更好。
  • 【低代码开发模式】：图形化界面支持统一开发范式，便捷高效。
  • 【私有化部署多硬件支持】：适配国内外主流AI硬件，支持本地纯离线使用，满足企业安全保密需要。

• PaddleX官网地址：https://aistudio.baidu.com/intro/paddlex

产品矩阵

模型	组件		特色案例
语义分割模型 PP-LiteSeg PP-MobileSeg DeepLabV3P OCRNet MobileSeg ANN Att U-Net BiSeNetV1 BiSeNetV2 CCNet DANet DDRNet DecoupledSeg DeepLabV3 DMNet DNLNet EMANet ENCNet ENet ESPNetV1 ESPNetV2 FastFCN Fast-SCNN GCNet GINet GloRe GSCNN HarDNet HRNet-FCN HRNet-Contrast ISANet PFPNNet PointRend PotraitNet PP-HumanSeg-Lite PSPNet PSSL SegFormer SegMenter SegNet SETR SFNet STDCSeg U2Net UNet UNet++ UNet3+ UperNet RTFormer UHRNet TopFormer MscaleOCRNet-PSA CAE MaskFormer ViT-Adapter HRFormer LPSNet SegNeXt K-Net 交互式分割模型 EISeg RITM EdgeFlow 图像抠图模型 PP-MattingV2 PP-MattingV1 DIM MODNet PP-HumanMatting RVM 全景分割 Mask2Former Panoptic-DeepLab	骨干网络 HRNet ResNet STDCNet MobileNetV2 MobileNetV3 ShuffleNetV2 GhostNet LiteHRNet XCeption VIT MixVIT Swin Transformer TopTransformer HRTransformer MSCAN 损失函数 Binary CE Loss Bootstrapped CE Loss Cross Entropy Loss Relax Boundary Loss Detail Aggregate Loss Dice Loss Edge Attention Loss Focal Loss MultiClassFocal Loss GSCNN Dual Task Loss KL Loss L1 Loss Lovasz Loss MSE Loss OHEM CE Loss Pixel Contrast CE Loss Point CE Loss RMI Loss Connectivity Loss 评估指标 mIoU Accuracy Kappa Dice AUC_ROC	支持数据集 ADE20K Cityscapes COCO Stuff Pascal VOC EG1800 Pascal Context SUPERVISELY OPTIC DISC SEG CHASE_DB1 HRF DRIVE STARE PP-HumanSeg14K PSSL 数据增强 Flipping Resize ResizeByLong ResizeByShort LimitLong ResizeRangeScaling ResizeStepScaling Normalize Padding PaddingByAspectRatio RandomPaddingCrop RandomCenterCrop ScalePadding RandomNoise RandomBlur RandomRotation RandomScaleAspect RandomDistort RandomAffine	分割一切模型 SegmentAnything 模型选型工具 PaddleSMRT 人像分割模型 PP-HumanSegV1 PP-HumanSegV2 3D医疗分割模型 VNet UNETR nnFormer nnUNet-D TransUNet SwinUNet Cityscapes打榜模型 HMSA CVPR冠军模型 MLA Transformer 领域自适应 PixMatch

产业级分割模型库

高精度语义分割模型

高精度模型，分割mIoU高、推理算量大，适合部署在服务器端GPU和Jetson等设备。

模型名称	骨干网络	Cityscapes精度mIoU(%)	V100 TRT推理速度(FPS)	配置文件
FCN	HRNet_W18	78.97	24.43	yml
FCN	HRNet_W48	80.70	10.16	yml
DeepLabV3	ResNet50_OS8	79.90	4.56	yml
DeepLabV3	ResNet101_OS8	80.85	3.2	yml
DeepLabV3	ResNet50_OS8	80.36	6.58	yml
DeepLabV3	ResNet101_OS8	81.10	3.94	yml
OCRNet 🌟	HRNet_w18	80.67	13.26	yml
OCRNet	HRNet_w48	82.15	6.17	yml
CCNet	ResNet101_OS8	80.95	3.24	yml

测试条件：

• V100上测速条件：针对Nvidia GPU V100，使用PaddleInference预测库的Python API，开启TensorRT加速，数据类型是FP32，输入图像维度是1x3x1024x2048。

轻量级语义分割模型

轻量级模型，分割mIoU中等、推理算量中等，可以部署在服务器端GPU、服务器端X86 CPU和移动端ARM CPU。

模型名称	骨干网络	Cityscapes精度mIoU(%)	V100 TRT推理速度(FPS)	骁龙855推理速度(FPS)	配置文件
PP-LiteSeg 🌟	STDC1	77.04	69.82	17.22	yml
PP-LiteSeg 🌟	STDC2	79.04	54.53	11.75	yml
BiSeNetV1	-	75.19	14.67	1.53	yml
BiSeNetV2	-	73.19	61.83	13.67	yml
STDCSeg	STDC1	74.74	62.24	14.51	yml
STDCSeg	STDC2	77.60	51.15	10.95	yml
DDRNet_23	-	79.85	42.64	7.68	yml
HarDNet	-	79.03	30.3	5.44	yml
SFNet	ResNet18_OS8	78.72	10.72	-	yml

测试条件：

• V100上测速条件：针对Nvidia GPU V100，使用PaddleInference预测库的Python API，开启TensorRT加速，数据类型是FP32，输入图像维度是1x3x1024x2048。
• 骁龙855上测速条件：针对小米9手机，使用PaddleLite预测库的CPP API，ARMV8编译，单线程，输入图像维度是1x3x256x256。

超轻量级语义分割模型

超轻量级模型，分割mIoU一般、推理算量低，适合部署在服务器端X86 CPU和移动端ARM CPU。

模型名称	骨干网络	ADE20K精度mIoU(%)	骁龙855推理延时(ms)	参数量(M)	配置文件
TopFormer-Base	TopTransformer-Base	38.28	480.6	5.13	config
PP-MobileSeg-Base	StrideFormer-Base	41.57	265.5	5.62	config
TopFormer-Tiny	TopTransformer-Tiny	32.46	490.3	1.41	config
PP-MobileSeg-Tiny	StrideFormer-Tiny	36.39	215.3	1.61	config

测试条件:

• 针对小米9手机，使用PaddleLite预测库的CPP API，ARMV8编译，单线程，输入图像维度是1x3x512x512。测试模型在带有最后一个argmax算子的条件下进行测试。

模型名称	骨干网络	Cityscapes精度mIoU(%)	V100 TRT推理速度(FPS)	骁龙855推理速度(FPS)	配置文件
MobileSeg	MobileNetV2	73.94	67.57	27.01	yml
MobileSeg 🌟	MobileNetV3	73.47	67.39	32.90	yml
MobileSeg	Lite_HRNet_18	70.75	10.5	13.05	yml
MobileSeg	ShuffleNetV2_x1_0	69.46	37.09	39.61	yml
MobileSeg	GhostNet_x1_0	71.88	35.58	38.74	yml

测试条件：

• V100上测速条件：针对Nvidia GPU V100，使用PaddleInference预测库的Python API，开启TensorRT加速，数据类型是FP32，输入图像维度是1x3x1024x2048。
• 骁龙855上测速条件：针对小米9手机，使用PaddleLite预测库的CPP API，ARMV8编译，单线程，输入图像维度是1x3x256x256。

使用教程

入门教程

• 安装说明
• 快速体验
• 20分钟快速上手PaddleSeg
• 模型库

基础教程

• 准备数据集

  • 准备公开数据集
  • 准备自定义数据集
  • EISeg 数据标注

• 准备配置文件

• 模型训练

• 模型评估

• 模型预测

• 模型导出

  • 导出预测模型
  • 导出ONNX模型

• 模型部署

  • FastDeploy部署
  • Paddle Inference部署(Python)
  • Paddle Inference部署(C++)
  • Paddle Lite部署
  • Paddle Serving部署
  • Paddle JS部署
  • 推理Benchmark

进阶教程

• 训练技巧

• 模型压缩

  • 量化
  • 蒸馏
  • 裁剪
  • 自动压缩

• 常见问题汇总

欢迎贡献

• API文档
• 二次开发教程
  • 配置文件详解
  • 如何创造自己的模型
• 模型贡献
  • 提交PR说明
  • 模型PR规范

特色能力

• 交互式分割
• 图像抠图
• 人像分割
• 3D医疗分割
• Cityscapes打榜模型
• 全景分割
• CVPR冠军模型
• 领域自适应

产业实践范例

• 使用PP-HumanSegV2进行人像分割
• 使用PP-HumanSegV1进行人像分割
• 使用PP-LiteSeg进行遥感道路分割
• PaddleSeg实战之人脸部件分割与变妆
• PaddleSeg实战之小数据集3D椎骨分割
• PaddleSeg实战之车道线图像分割
• PaddleSeg动态图API使用教程
• 10分钟上手PaddleSeg
• 车路协同：交互式分割技术在智慧建图中的应用和实践
• 基于PaddleSeg的美甲预览机
• 基于PaddleSeg的钢筋长度超限监控

更多范例项目可参考：『图像分割经典项目集』用PaddleSeg能做什么？

许可证书

本项目的发布受Apache 2.0 license许可认证。

社区贡献

• 非常感谢jm12138贡献U²-Net模型。
• 非常感谢zjhellofss（傅莘莘）贡献Attention U-Net模型，和Dice loss损失函数。
• 非常感谢liuguoyu666贡献U-Net++模型。
• 非常感谢yazheng0307 (刘正)贡献快速开始教程文档。
• 非常感谢CuberrChen贡献STDC (rethink BiSeNet) PointRend，和 Detail Aggregate损失函数。
• 非常感谢stuartchen1949贡献 SegNet。
• 非常感谢justld(郎督)贡献 UPerNet, DDRNet, CCNet, ESPNetV2, DMNet, ENCNet, HRNet_W48_Contrast, BiSeNetV1, FastFCN, SECrossEntropyLoss 和PixelContrastCrossEntropyLoss。
• 非常感谢Herman-Hu-saber(胡慧明)参与贡献 ESPNetV2。
• 非常感谢zhangjin12138贡献数据增强方法 RandomCenterCrop。
• 非常感谢simuler 贡献 ESPNetV1。
• 非常感谢ETTR123(张恺) 贡献 ENet，PFPNNet。

学术引用

如果我们的项目在学术上帮助到你，请考虑以下引用：

@misc{liu2021paddleseg,
      title={PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation},
      author={Yi Liu and Lutao Chu and Guowei Chen and Zewu Wu and Zeyu Chen and Baohua Lai and Yuying Hao},
      year={2021},
      eprint={2101.06175},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{paddleseg2019,
    title={PaddleSeg, End-to-end image segmentation kit based on PaddlePaddle},
    author={PaddlePaddle Authors},
    howpublished = {\url{https://github.com/PaddlePaddle/PaddleSeg}},
    year={2019}
}