【功能模块】
版本:商用版5.0.2
amct版本:0.5.0
样例:https://github.com/ultralytics/yolov5
【操作步骤&问题现象】
方法a,使用amct:
1、已训练pt文件转为rgb_v11.onnx模型,大小为135m,v11代表使用onnx: opset 11,使用如下命令
amct_onnx calibration --model ./rgb_v11.onnx --save_path ./rgb_v11 --input_shape "images:1,3,768,1344" --data_dir "./data" --data_types "float32"
其中"./data"中的文件为 input_float32_1x3x768x1344.bin,依赖训练图片resize而成,非随机数据。该命令运行成功后生成rgb_v11_deploy_model.onnx,大小为34.9m。
2、运用
atc --model=./rgb_v11_deploy_model.onnx --framework=5 --output=rgb_v11_deploy --soc_version=ascend310 --input_shape="images:1,3,768,1344" --insert_op_conf=aipp_v5.cfg --enable_small_channel=1 --buffer_optimize=l2_optimize
生成rgb_v11_deploy.om文件,大小为38.1m
3、昇腾310上推理该rgb_v11_deploy.om模型,一张像素大小为1920 * 1080的jpeg图片,耗时89 ms,包括数据预处理、推理、后处理。
方法b,未使用amct:
1、已训练pt文件转为rgb_v11.onnx模型,大小为135m,v11代表使用onnx: opset 11,模型同方法a1,使用如下命令
atc --model=./rgb_v11.onnx --framework=5 --output=rgb_v11 --soc_version=ascend310 --input_shape="images:1,3,768,1344" --insert_op_conf=aipp_v5.cfg --enable_small_channel=1 --buffer_optimize=l2_optimize
生成rgb_v11.om文件,大小为69.9m
2、昇腾310上推理rgb_v11.om模型,一张像素大小为1920 * 1080的jpeg图片,图片同方法3,耗时92 ms,与a3中的89ms相比,减少了3ms,推理时间几乎没有改变。包括数据预处理、推理、后处理,代码同a3。
【截图信息】
【日志信息】(可选,上传日志内容或者附件)
759 bytes,下载次数:0
您好,相关信息分析确认后回复
昨天 17:54
你好,从你的描述来看是使用amct推理的时长是89ms,没有使用的推理时长是92ms,所以你的问题是没有使用amct的推理时长变长吗
1 小时前
我之前也尝试用amct量化模型,最后也是速度基本没有提升,差距很小