CenterNet 是一种 anchor-free 的目标检测网络，不仅可以用于目标检测，还可以用于其他的一些任务，如姿态识别或者 3D 目标检测等等。
文档: CenterNet论文
参考repo: CenterNet
- 支持BM1684X(x86 PCIe、SoC)和BM1684(x86 PCIe、SoC、arm PCIe)
- 支持FP32、FP16(BM1684X)、INT8模型编译和推理
- 支持基于BMCV预处理和sail的C++推理
- 支持基于BMCV和opencv预处理的Python推理
- 支持单batch和多batch模型推理
- 支持图片测试
如果您使用BM1684芯片，建议使用TPU-NNTC编译BModel，Pytorch模型在编译前要导出成torchscript模型或onnx模型；如果您使用BM1684X芯片，建议使用TPU-MLIR编译BModel，Pytorch模型在编译前要导出成onnx模型。具体可参考centernet模型导出。
同时，您需要准备用于测试的数据集，如果量化模型，还要准备用于量化的数据集。
本例程在scripts目录下提供了相关模型和数据的下载脚本download.sh，您也可以自己准备模型和数据集，并参考4. 模型编译进行模型转换。
# 安装unzip，若已安装请跳过，非ubuntu系统视情况使用yum或其他方式安装
sudo apt install unzip
chmod -R +x scripts/
./scripts/download.sh下载的模型包括：
./models
├── BM1684
│ ├── centernet_fp32_1b.bmodel # 使用TPU-NNTC编译，用于BM1684的FP32 BModel，batch_size=1
│ ├── centernet_int8_1b.bmodel # 使用TPU-NNTC编译，用于BM1684的INT8 BModel，batch_size=1
│ └── centernet_int8_4b.bmodel # 使用TPU-NNTC编译，用于BM1684的INT8 BModel，batch_size=4
├── BM1684X
│ ├── centernet_fp32_1b.bmodel # 使用TPU-MLIR编译，用于BM1684X的FP32 BModel，batch_size=1
│ ├── centernet_fp16_1b.bmodel # 使用TPU-MLIR编译，用于BM1684X的FP16 BModel，batch_size=1
│ ├── centernet_int8_1b.bmodel # 使用TPU-MLIR编译，用于BM1684X的INT8 BModel，batch_size=1
│ └── centernet_int8_4b.bmodel # 使用TPU-MLIR编译，用于BM1684X的INT8 BModel，batch_size=4
│── torch
│ ├── ctdet_coco_dlav0_1x.pth
│ └── ctdet_coco_dlav0_1x.torchscript.pt # trace后的torchscript模型
└── onnx
├── centernet_1b.onnx
├── centernet_4b.onnx # 导出的onnx动态模型
└── dlav0_qtable # mlir量化需要的保留精度的层
下载的数据包括：
./datasets
├── test # 测试图片
├── coco.names # coco类别名文件
├── coco128 # coco128数据集，用于模型量化
└── coco
├── val2017_1000 # coco val2017_1000数据集
└── instances_val2017_1000.json # coco val2017_1000数据集标签文件，用于计算精度评价指标
导出的模型需要编译成BModel才能在SOPHON TPU上运行，如果使用下载好的BModel可跳过本节。如果您使用BM1684芯片，建议使用TPU-NNTC编译BModel；如果您使用BM1684X芯片，建议使用TPU-MLIR编译BModel。
模型编译前需要安装TPU-NNTC，具体可参考TPU-NNTC环境搭建。安装好后需在TPU-NNTC环境中进入例程目录。
- 生成FP32 BModel
使用TPU-NNTC将trace后的torchscript模型编译为FP32 BModel，具体方法可参考《TPU-NNTC开发参考手册》的“BMNETP 使用”(请从算能官网相应版本的SDK中获取)。
本例程在scripts目录下提供了TPU-NNTC编译FP32 BModel的脚本，请注意修改gen_fp32bmodel_nntc.sh中的torchscript模型路径、生成模型目录和输入大小shapes等参数，并在执行时指定BModel运行的目标平台（支持BM1684和BM1684X），如：
./scripts/gen_fp32bmodel_nntc.sh BM1684执行上述命令会在models/BM1684/下生成centernet_fp32_1b.bmodel文件，即转换好的FP32 BModel。
- 生成INT8 BModel
使用TPU-NNTC量化torchscript模型的方法可参考《TPU-NNTC开发参考手册》的“模型量化”(请从算能官网相应版本的SDK中获取)，以及模型量化注意事项。
本例程在scripts目录下提供了TPU-NNTC量化INT8 BModel的脚本，请注意修改gen_int8bmodel_nntc.sh中的torchscript模型路径、生成模型目录和输入大小shapes等参数，在执行时输入BModel的目标平台，如：
./scripts/gen_int8bmodel_nntc.sh BM1684上述脚本会在models/BM1684下生成centernet_int8_1b.bmodel等文件，即转换好的INT8 BModel。
模型编译前需要安装TPU-MLIR，具体可参考TPU-MLIR环境搭建。安装好后需在TPU-MLIR环境中进入例程目录。使用TPU-MLIR将onnx模型编译为BModel，具体方法可参考《TPU-MLIR快速入门手册》的“3. 编译ONNX模型”(请从算能官网相应版本的SDK中获取)。
- 生成FP32 BModel
本例程在scripts目录下提供了TPU-MLIR编译FP32 BModel的脚本，请注意修改gen_fp32bmodel_mlir.sh中的onnx模型路径、生成模型目录和输入大小shapes等参数，并在执行时指定BModel运行的目标平台（支持BM1684X），如：
./scripts/gen_fp32bmodel_mlir.sh bm1684x执行上述命令会在models/BM1684X/下生成centernet_fp32_1b.bmodel文件，即转换好的FP32 BModel。
- 生成FP16 BModel
本例程在scripts目录下提供了TPU-MLIR编译FP16 BModel的脚本，请注意修改gen_fp16bmodel_mlir.sh中的onnx模型路径、生成模型目录和输入大小shapes等参数，并在执行时指定BModel运行的目标平台（支持BM1684X），如：
./scripts/gen_fp16bmodel_mlir.sh bm1684x执行上述命令会在models/BM1684X/下生成centernet_fp16_1b.bmodel文件，即转换好的FP16 BModel。
- 生成INT8 BModel
本例程在scripts目录下提供了量化INT8 BModel的脚本，请注意修改gen_int8bmodel_mlir.sh中的onnx模型路径、生成模型目录和输入大小shapes等参数，在执行时输入BModel的目标平台（支持BM1684X），如：
./scripts/gen_int8bmodel_mlir.sh bm1684x上述脚本会在models/BM1684X下生成centernet_int8_1b.bmodel等文件，即转换好的INT8 BModel。
注：int8模型有提供qtable，即保留精度不量化的层，一般指定centernet的最后几层，包括relu、conv等，详情可参考models/onnx/dlav0_qtable中内容，按照实际模型结构的层名添加。
首先，参考C++例程或Python例程推理要测试的数据集，生成预测的json文件，注意修改数据集(datasets/coco/val2017_1000)和相关参数(conf_thresh=0.35)。
然后，使用tools目录下的eval_coco.py脚本，将测试生成的json文件与测试集标签json文件进行对比，计算出目标检测的评价指标，命令如下：
# 安装pycocotools，若已安装请跳过
pip3 install pycocotools
# 请根据实际情况修改程序路径和json文件路径
python3 tools/eval_coco.py --gt_path datasets/coco/instances_val2017_1000.json --result_json results/centernet_fp32_1b.bmodel_val2017_1000_bmcv_python_result.json在coco2017val_1000数据集上，精度测试结果如下：
| 测试平台 | 测试程序 | 测试模型 | AP@IoU=0.5:0.95 | AP@IoU=0.5 |
|---|---|---|---|---|
| BM1684 PCIe | centernet_opencv.py | centernet_fp32_1b.bmodel | 0.302 | 0.487 |
| BM1684 PCIe | centernet_opencv.py | centernet_int8_1b.bmodel | 0.294 | 0.484 |
| BM1684 PCIe | centernet_bmcv.py | centernet_fp32_1b.bmodel | 0.255 | 0.409 |
| BM1684 PCIe | centernet_bmcv.py | centernet_int8_1b.bmodel | 0.249 | 0.405 |
| BM1684 PCIe | centernet_sail.pcie | centernet_fp32_1b.bmodel | 0.297 | 0.481 |
| BM1684 PCIe | centernet_sail.pcie | centernet_int8_1b.bmodel | 0.290 | 0.476 |
| BM1684 PCIe | centernet_bmcv.pcie | centernet_fp32_1b.bmodel | 0.268 | 0.430 |
| BM1684 PCIe | centernet_bmcv.pcie | centernet_int8_1b.bmodel | 0.258 | 0.422 |
| BM1684X PCIe | centernet_opencv.py | centernet_fp32_1b.bmodel | 0.302 | 0.487 |
| BM1684X PCIe | centernet_opencv.py | centernet_fp16_1b.bmodel | 0.302 | 0.487 |
| BM1684X PCIe | centernet_opencv.py | centernet_int8_1b.bmodel | 0.299 | 0.485 |
| BM1684X PCIe | centernet_bmcv.py | centernet_fp32_1b.bmodel | 0.258 | 0.421 |
| BM1684X PCIe | centernet_bmcv.py | centernet_fp16_1b.bmodel | 0.258 | 0.422 |
| BM1684X PCIe | centernet_bmcv.py | centernet_int8_1b.bmodel | 0.257 | 0.419 |
| BM1684X PCIe | centernet_sail.pcie | centernet_fp32_1b.bmodel | 0.296 | 0.480 |
| BM1684X PCIe | centernet_sail.pcie | centernet_fp16_1b.bmodel | 0.296 | 0.480 |
| BM1684X PCIe | centernet_sail.pcie | centernet_int8_1b.bmodel | 0.294 | 0.477 |
| BM1684X PCIe | centernet_bmcv.pcie | centernet_fp32_1b.bmodel | 0.268 | 0.429 |
| BM1684X PCIe | centernet_bmcv.pcie | centernet_fp16_1b.bmodel | 0.268 | 0.430 |
| BM1684X PCIe | centernet_bmcv.pcie | centernet_int8_1b.bmodel | 0.264 | 0.425 |
测试说明：
- SoC和PCIe的模型精度一致；
- AP@IoU=0.5:0.95为area=all对应的指标；
- bmcv的精度略低于其他，主要是预处理的一些方法与源码有差异；
- batch_size=4和batch_size=1的模型精度一致。
使用bmrt_test测试模型的理论性能：
# 请根据实际情况修改要测试的bmodel路径和devid参数
bmrt_test --bmodel models/BM1684/centernet_fp32_1b.bmodel测试结果中的calculate time就是模型推理的时间，多batch size模型应当除以相应的batch size才是每张图片的理论推理时间。
测试各个模型的理论推理时间，结果如下：
| 测试模型 | calculate time(ms) |
|---|---|
| BM1684/centernet_fp32_1b.bmodel | 46.2 |
| BM1684/centernet_int8_1b.bmodel | 22.5 |
| BM1684/centernet_int8_4b.bmodel | 8.1 |
| BM1684X/centernet_fp32_1b.bmodel | 55.1 |
| BM1684X/centernet_fp16_1b.bmodel | 9.2 |
| BM1684X/centernet_int8_1b.bmodel | 4.4 |
| BM1684X/centernet_int8_4b.bmodel | 4.0 |
测试说明：
- 性能测试结果具有一定的波动性；
calculate time已折算为平均每张图片的推理时间；- SoC和PCIe的测试结果基本一致。
参考C++例程或Python例程运行程序，并查看统计的解码时间、预处理时间、推理时间、后处理时间。C++例程打印的预处理时间、推理时间、后处理时间为整个batch处理的时间，需除以相应的batch size才是每张图片的处理时间。
在不同的测试平台上，使用不同的例程、模型测试datasets/coco/val2017_1000，性能测试结果如下：
| 测试平台 | 测试程序 | 测试模型 | decode_time | preprocess_time | inference_time | postprocess_time |
|---|---|---|---|---|---|---|
| BM1684 SoC | centernet_opencv.py | centernet_fp32_1b.bmodel | 15.33 | 40.37 | 59.70 | 822.85 |
| BM1684 SoC | centernet_opencv.py | centernet_int8_1b.bmodel | 15.46 | 40.83 | 44.46 | 812.17 |
| BM1684 SoC | centernet_opencv.py | centernet_int8_4b.bmodel | 15.32 | 39.22 | 28.77 | 842.73 |
| BM1684 SoC | centernet_bmcv.py | centernet_fp32_1b.bmodel | 3.03 | 2.61 | 50.53 | 820.98 |
| BM1684 SoC | centernet_bmcv.py | centernet_int8_1b.bmodel | 3.04 | 2.25 | 26.18 | 827.04 |
| BM1684 SoC | centernet_bmcv.py | centernet_int8_4b.bmodel | 2.89 | 2.11 | 11.79 | 851.17 |
| BM1684 SoC | centernet_sail.soc | centernet_fp32_1b.bmodel | 3.48 | 1.87 | 46.94 | 1350.56 |
| BM1684 SoC | centernet_sail.soc | centernet_int8_1b.bmodel | 3.53 | 1.29 | 23.11 | 1352.22 |
| BM1684 SoC | centernet_sail.soc | centernet_int8_4b.bmodel | 3.24 | 1.01 | 8.46 | 1352.32 |
| BM1684 SoC | centernet_bmcv.soc | centernet_fp32_1b.bmodel | 5.46 | 1.47 | 46.27 | 1179.17 |
| BM1684 SoC | centernet_bmcv.soc | centernet_int8_1b.bmodel | 5.42 | 1.46 | 22.51 | 1180.33 |
| BM1684 SoC | centernet_bmcv.soc | centernet_int8_4b.bmodel | 5.37 | 1.50 | 7.9 | 1189.37 |
| BM1684X SoC | centernet_opencv.py | centernet_fp32_1b.bmodel | 15.31 | 40.02 | 71.32 | 817.13 |
| BM1684X SoC | centernet_opencv.py | centernet_int8_1b.bmodel | 15.37 | 40.12 | 19.9 | 802.71 |
| BM1684X SoC | centernet_opencv.py | centernet_int8_4b.bmodel | 15.23 | 38.37 | 18.32 | 836.56 |
| BM1684X SoC | centernet_bmcv.py | centernet_fp32_1b.bmodel | 2.98 | 1.99 | 60.61 | 817.42 |
| BM1684X SoC | centernet_bmcv.py | centernet_int8_1b.bmodel | 2.99 | 1.99 | 8.97 | 801.77 |
| BM1684X SoC | centernet_bmcv.py | centernet_int8_4b.bmodel | 2.80 | 1.84 | 8.15 | 841.5 |
| BM1684X SoC | centernet_sail.soc | centernet_fp32_1b.bmodel | 2.9 | 1.63 | 57.1 | 1356.13 |
| BM1684X SoC | centernet_sail.soc | centernet_int8_1b.bmodel | 2.92 | 1.63 | 5.6 | 1357.22 |
| BM1684X SoC | centernet_sail.soc | centernet_int8_4b.bmodel | 2.64 | 1.57 | 5.08 | 1358.17 |
| BM1684X SoC | centernet_bmcv.soc | centernet_fp32_1b.bmodel | 4.77 | 0.75 | 56.53 | 1184.43 |
| BM1684X SoC | centernet_bmcv.soc | centernet_int8_1b.bmodel | 4.8 | 0.75 | 4.99 | 1185.35 |
| BM1684X SoC | centernet_bmcv.soc | centernet_int8_4b.bmodel | 4.47 | 0.68 | 4.52 | 1185.1 |
测试说明：
- 时间单位均为毫秒(ms)，统计的时间均为平均每张图片处理的时间；
- 性能测试结果具有一定的波动性，建议多次测试取平均值；
- BM1684/1684X SoC的主控CPU均为8核 ARM A53 42320 DMIPS @2.3GHz，PCIe上的性能由于CPU的不同可能存在较大差异；
- 图片分辨率对解码时间影响较大，推理结果对后处理时间影响较大，不同的测试图片可能存在较大差异；
- 对4batch模型，cpp的预处理、推理、后处理时间应除以4才是平均每张图片的操作时间（sail后处理除外）。
请参考FAQ查看一些常见的问题与解答。