Skip to content

Latest commit

 

History

History
226 lines (189 loc) · 13.3 KB

README.md

File metadata and controls

226 lines (189 loc) · 13.3 KB

C3D

1. 简介

C3D是使用三维卷积进行视频动作识别的开荒者，论文链接：Learning Spatiotemporal Features with 3D Convolutional Networks。

本例程对MMAction的C3D_UCF101模型进行了移植，在相同的预处理流程下可以做到精度对齐。

2. 特性

  • 支持BM1684X(x86 PCIe、SoC)和BM1684(x86 PCIe、SoC、arm PCIe)
  • 支持FP32、FP16(BM1684X)、INT8模型编译和推理
  • 支持基于BMCV和OpenCV预处理的C++推理
  • 支持基于OpenCV预处理的Python推理
  • 支持单batch和多batch模型推理
  • 支持视频文件夹测试

3. 准备模型与数据

建议使用TPU-MLIR编译BModel，Pytorch模型在编译前要导出成onnx模型。

本例程在scripts目录下提供了所有相关的模型和数据集的下载脚本download.sh，您也可以自己准备模型和数据集，并参考4. 模型转换进行模型转换。

如果您有自己训练的Pytorch C3D模型，您可以参考tools/c3d_transform.py，自行修改源模型路径和模型网络的层名，确保能够加载您的参数，以成功转换torchscript和onnx模型。同时，您需要准备用于测试的数据集，如果量化模型，还要准备用于量化的数据集。

# 安装unzip，若已安装请跳过，非ubuntu系统视情况使用yum或其他方式安装
sudo apt install unzip
chmod -R +x scripts/
./scripts/download.sh

执行后，模型保存在models，数据集在datasets

下载的模型包括：

./models
├── BM1684
│   ├── c3d_fp32_1b.bmodel   # 使用TPU-MLIR编译，用于BM1684的FP32 BModel，batch_size=1
│   ├── c3d_fp32_4b.bmodel   # 使用TPU-MLIR编译，用于BM1684的FP32 BModel，batch_size=4
│   ├── c3d_int8_1b.bmodel   # 使用TPU-MLIR编译，用于BM1684的INT8 BModel，batch_size=1
│   └── c3d_int8_4b.bmodel   # 使用TPU-MLIR编译，用于BM1684的INT8 BModel，batch_size=4
├── BM1684X
│   ├── c3d_fp32_1b.bmodel   # 使用TPU-MLIR编译，用于BM1684X的FP32 BModel，batch_size=1
│   ├── c3d_fp32_4b.bmodel   # 使用TPU-MLIR编译，用于BM1684X的FP32 BModel，batch_size=4
│   ├── c3d_fp16_1b.bmodel   # 使用TPU-MLIR编译，用于BM1684X的FP16 BModel，batch_size=1
│   ├── c3d_fp16_4b.bmodel   # 使用TPU-MLIR编译，用于BM1684X的FP16 BModel，batch_size=4
│   ├── c3d_int8_1b.bmodel   # 使用TPU-MLIR编译，用于BM1684X的INT8 BModel，batch_size=1
│   └── c3d_int8_4b.bmodel   # 使用TPU-MLIR编译，用于BM1684X的INT8 BModel，batch_size=4
│── torch
│   └── c3d_ucf101.pt        # trace后的torchscript模型
└── onnx
    └── c3d_ucf101.onnx      # 导出的onnx动态模型

下载的数据包括：

./datasets/UCF_test_01       #UCF101的一个测试子集。

4. 模型编译

导出的模型需要编译成BModel才能在SOPHON TPU上运行，如果使用下载好的BModel可跳过本节。建议使用TPU-MLIR编译BModel。

模型编译前需要安装TPU-MLIR，具体可参考TPU-MLIR环境搭建。安装好后需在TPU-MLIR环境中进入例程目录。使用TPU-MLIR将onnx模型编译为BModel，具体方法可参考《TPU-MLIR快速入门手册》的“3. 编译ONNX模型”(请从算能官网相应版本的SDK中获取)。

  • 生成FP32 BModel

​本例程在scripts目录下提供了TPU-MLIR编译FP32 BModel的脚本，请注意修改gen_fp32bmodel_mlir.sh中的onnx模型路径、生成模型目录和输入大小shapes等参数，并在执行时指定BModel运行的目标平台（支持BM1684/BM1684X），如：

./scripts/gen_fp32bmodel_mlir.sh bm1684
#or
./scripts/gen_fp32bmodel_mlir.sh bm1684x

​执行上述命令会在models/BM1684或models/BM1684X/下生成c3d_fp32_1b.bmodel等文件，即转换好的FP32 BModel。

  • 生成FP16 BModel

​本例程在scripts目录下提供了TPU-MLIR编译FP16 BModel的脚本，请注意修改gen_fp16bmodel_mlir.sh中的onnx模型路径、生成模型目录和输入大小shapes等参数，并在执行时指定BModel运行的目标平台（支持BM1684X），如：

./scripts/gen_fp16bmodel_mlir.sh bm1684x

​执行上述命令会在models/BM1684X/下生成c3d_fp16_1b.bmodel等文件，即转换好的FP16 BModel。

  • 生成INT8 BModel

​本例程在scripts目录下提供了量化INT8 BModel的脚本，请注意修改gen_int8bmodel_mlir.sh中的onnx模型路径、生成模型目录和输入大小shapes等参数，在执行时输入BModel的目标平台（支持BM1684/BM1684X），如：

./scripts/gen_int8bmodel_mlir.sh bm1684
#或
./scripts/gen_int8bmodel_mlir.sh bm1684x

​上述脚本会在datasets/下生成cali_set_npy/量化数据集，在models/BM1684或models/BM1684X/下生成c3d_int8_1b.bmodel等文件，即转换好的INT8 BModel。

如果您不使用本例程的数据集，本例程在tools目录下提供了准备npy数据的python脚本，用户可以根据脚本自己准备npy格式量化数据集。

cd tools
python3 c3d_npy.py --input_path ../datasets/UCF_test_01 #for tpu-mlir

执行后，会在datasets目录下产生cali_set_npy文件夹，可以作为量化模型使用的数据集。

5. 例程测试

6. 精度测试

6.1 测试方法

首先，参考C++例程或Python例程推理要测试的数据集，生成预测的json文件。 然后，使用tools目录下的eval_ucf.py脚本，将测试生成的json文件与测试集标签json文件进行对比，计算出准确率信息，命令如下：

# 请根据实际情况修改程序路径和json文件路径
python3 tools/eval_ucf.py --gt_path datasets/ground_truth.json --result_json cpp/c3d_bmcv/results/c3d_fp32_1b.bmodel_bmcv_cpp.json

6.2 测试结果

根据本例程提供的数据集，测试结果如下：

测试平台 测试程序 测试模型 ACC
BM1684 PCIe c3d_opencv.py c3d_fp32_1b.bmodel 0.715
BM1684 PCIe c3d_opencv.py c3d_int8_1b.bmodel 0.704
BM1684 PCIe c3d_opencv.pcie c3d_fp32_1b.bmodel 0.715
BM1684 PCIe c3d_opencv.pcie c3d_int8_1b.bmodel 0.704
BM1684 PCIe c3d_bmcv.pcie c3d_fp32_1b.bmodel 0.715
BM1684 PCIe c3d_bmcv.pcie c3d_int8_1b.bmodel 0.700
BM1684X PCIe c3d_opencv.py c3d_fp32_1b.bmodel 0.715
BM1684X PCIe c3d_opencv.py c3d_fp16_1b.bmodel 0.715
BM1684X PCIe c3d_opencv.py c3d_int8_1b.bmodel 0.713
BM1684X PCIe c3d_opencv.pcie c3d_fp32_1b.bmodel 0.715
BM1684X PCIe c3d_opencv.pcie c3d_fp16_1b.bmodel 0.715
BM1684X PCIe c3d_opencv.pcie c3d_int8_1b.bmodel 0.713
BM1684X PCIe c3d_bmcv.pcie c3d_fp32_1b.bmodel 0.715
BM1684X PCIe c3d_bmcv.pcie c3d_fp16_1b.bmodel 0.715
BM1684X PCIe c3d_bmcv.pcie c3d_int8_1b.bmodel 0.713

测试说明：

  1. batch_size=4和batch_size=1的模型精度一致；
  2. 在不同平台或系统下，opencv解码.avi格式的视频存在差异，可能导致精度也有细微差异。

7. 性能测试

7.1 bmrt_test

使用bmrt_test测试模型的理论性能：

# 请根据实际情况修改要测试的bmodel路径和devid参数
bmrt_test --bmodel models/BM1684/c3d_fp32_1b.bmodel

测试结果中的calculate time就是模型推理的时间，多batch size模型应当除以相应的batch size才是理论推理时间。 测试各个模型的理论推理时间，结果如下：

测试模型 calculate time(ms)
BM1684/c3d_fp32_1b.bmodel 64.4
BM1684/c3d_fp32_4b.bmodel 50.8
BM1684/c3d_int8_1b.bmodel 29.3
BM1684/c3d_int8_4b.bmodel 7.7
BM1684X/c3d_fp32_1b.bmodel 75.4
BM1684X/c3d_fp32_4b.bmodel 70.1
BM1684X/c3d_fp16_1b.bmodel 9.4
BM1684X/c3d_fp16_4b.bmodel 7.0
BM1684X/c3d_int8_1b.bmodel 5.5
BM1684X/c3d_int8_4b.bmodel 4.2

测试说明：

  1. 性能测试结果具有一定的波动性；
  2. calculate time已折算为每个视频平均推理时间；
  3. SoC和PCIe的测试结果基本一致。

7.2 程序运行性能

参考C++例程或Python例程运行程序，并查看统计的视频解码时间、预处理时间、推理时间、后处理时间。C++例程打印的预处理时间、推理时间、后处理时间为整个batch处理的时间，需除以相应的batch size才是每个视频平均处理时间。

在不同的测试平台上，使用不同的例程、模型测试datasets/UCF_test_01，性能测试结果如下：

测试平台 测试程序 测试模型 decode_time preprocess_time inference_time postprocess_time
BM1684 SoC c3d_opencv.py c3d_fp32_1b.bmodel 75.50 31.57 62.01 0.09
BM1684 SoC c3d_opencv.py c3d_fp32_4b.bmodel 51.94 28.81 53.65 0.03
BM1684 SoC c3d_opencv.py c3d_int8_1b.bmodel 71.45 30.89 49.61 0.10
BM1684 SoC c3d_opencv.py c3d_int8_4b.bmodel 53.06 28.57 24.26 0.03
BM1684 SoC c3d_bmcv.soc c3d_fp32_1b.bmodel 79.53 3.59 55.30 0.02
BM1684 SoC c3d_bmcv.soc c3d_fp32_4b.bmodel 80.08 3.48 46.63 0.02
BM1684 SoC c3d_bmcv.soc c3d_int8_1b.bmodel 79.15 3.62 42.70 0.02
BM1684 SoC c3d_bmcv.soc c3d_int8_4b.bmodel 79.99 3.45 17.25 0.02
BM1684 SoC c3d_opencv.soc c3d_fp32_1b.bmodel 77.03 26.20 55.33 0.01
BM1684 SoC c3d_opencv.soc c3d_fp32_4b.bmodel 76.81 26.12 46.64 0.02
BM1684 SoC c3d_opencv.soc c3d_int8_1b.bmodel 75.70 26.87 42.74 0.01
BM1684 SoC c3d_opencv.soc c3d_int8_4b.bmodel 75.11 26.93 17.28 0.02
BM1684X SoC c3d_opencv.py c3d_fp32_1b.bmodel 71.15 31.44 82.23 0.10
BM1684X SoC c3d_opencv.py c3d_fp32_4b.bmodel 70.88 39.35 77.09 0.03
BM1684X SoC c3d_opencv.py c3d_fp16_1b.bmodel 67.98 31.05 16.01 0.10
BM1684X SoC c3d_opencv.py c3d_fp16_4b.bmodel 69.1 39.06 13.93 0.03
BM1684X SoC c3d_opencv.py c3d_int8_1b.bmodel 68.46 31.10 12.09 0.10
BM1684X SoC c3d_opencv.py c3d_int8_4b.bmodel 70.55 39.08 11.26 0.03
BM1684X SoC c3d_bmcv.soc c3d_fp32_1b.bmodel 77.05 2.30 75.31 0.02
BM1684X SoC c3d_bmcv.soc c3d_fp32_4b.bmodel 76.47 2.26 70.30 0.02
BM1684X SoC c3d_bmcv.soc c3d_fp16_1b.bmodel 76.55 2.30 9.27 0.02
BM1684X SoC c3d_bmcv.soc c3d_fp16_4b.bmodel 76.62 2.25 6.95 0.02
BM1684X SoC c3d_bmcv.soc c3d_int8_1b.bmodel 77.35 2.31 5.37 0.02
BM1684X SoC c3d_bmcv.soc c3d_int8_4b.bmodel 76.69 2.23 4.22 0.02
BM1684X SoC c3d_opencv.soc c3d_fp32_1b.bmodel 72.81 26.76 75.31 0.02
BM1684X SoC c3d_opencv.soc c3d_fp32_4b.bmodel 73.38 26.42 70.30 0.02
BM1684X SoC c3d_opencv.soc c3d_fp16_1b.bmodel 73.70 26.86 9.27 0.02
BM1684X SoC c3d_opencv.soc c3d_fp16_4b.bmodel 73.85 26.52 6.95 0.02
BM1684X SoC c3d_opencv.soc c3d_int8_1b.bmodel 73.34 26.72 5.37 0.02
BM1684X SoC c3d_opencv.soc c3d_int8_4b.bmodel 73.87 26.36 4.22 0.02

测试说明：

  1. 时间单位均为毫秒(ms)，统计的时间均为每个视频平均处理时间；
  2. 性能测试结果具有一定的波动性，建议多次测试取平均值；
  3. BM1684/1684X SoC的主控CPU均为8核 ARM A53 42320 DMIPS @2.3GHz，PCIe上的性能由于CPU的不同可能存在较大差异；
  4. 帧分辨率对解码时间影响较大，不同的测试视频可能存在较大差异。

8. FAQ

请参考FAQ查看一些常见的问题与解答。