建议使用以下浏览器,以获得最佳体验。 ie 9.0 以上版本 chrome 31 谷歌浏览器 firefox 30 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想
选择版块
主题:1528帖子:6338

问题处理中

【 问题求助-网络精度/性能调优】

【昇腾310】【amct工具】使用amct成功转yolov5.onnx后,推理时间几乎没有改变

昨天 17:09 151

【功能模块】

版本:商用版5.0.2

amct版本:0.5.0

样例:https://github.com/ultralytics/yolov5


【操作步骤&问题现象】

方法a,使用amct:

1、已训练pt文件转为rgb_v11.onnx模型,大小为135m,v11代表使用onnx: opset 11,使用如下命令

amct_onnx calibration --model ./rgb_v11.onnx --save_path ./rgb_v11 --input_shape "images:1,3,768,1344"  --data_dir "./data"  --data_types "float32"

其中"./data"中的文件为 input_float32_1x3x768x1344.bin,依赖训练图片resize而成,非随机数据。该命令运行成功后生成rgb_v11_deploy_model.onnx,大小为34.9m。

2、运用

atc --model=./rgb_v11_deploy_model.onnx --framework=5 --output=rgb_v11_deploy --soc_version=ascend310 --input_shape="images:1,3,768,1344" --insert_op_conf=aipp_v5.cfg --enable_small_channel=1 --buffer_optimize=l2_optimize

生成rgb_v11_deploy.om文件,大小为38.1m

3、昇腾310上推理该rgb_v11_deploy.om模型,一张像素大小为1920 * 1080的jpeg图片,耗时89 ms,包括数据预处理、推理、后处理。



方法b,未使用amct:

1、已训练pt文件转为rgb_v11.onnx模型,大小为135m,v11代表使用onnx: opset 11,模型同方法a1,使用如下命令

atc --model=./rgb_v11.onnx --framework=5 --output=rgb_v11  --soc_version=ascend310 --input_shape="images:1,3,768,1344" --insert_op_conf=aipp_v5.cfg --enable_small_channel=1 --buffer_optimize=l2_optimize

生成rgb_v11.om文件,大小为69.9m

2、昇腾310上推理rgb_v11.om模型,一张像素大小为1920 * 1080的jpeg图片,图片同方法3,耗时92 ms,与a3中的89ms相比,减少了3ms,推理时间几乎没有改变。包括数据预处理、推理、后处理,代码同a3。

【截图信息】


【日志信息】(可选,上传日志内容或者附件)


    759 bytes,下载次数:0

回复3

1 0
2022/6/21 17:46

您好,相关信息分析确认后回复

昨天 17:54

好的
... 展开
1 0
2022/6/21 17:57

你好,从你的描述来看是使用amct推理的时长是89ms,没有使用的推理时长是92ms,所以你的问题是没有使用amct的推理时长变长吗

1 小时前

抱歉,标题打错了。但是按照效果来看,只减少了3ms时间,几乎没啥改善。
... 展开
0 1
2022/6/22 09:43

我之前也尝试用amct量化模型,最后也是速度基本没有提升,差距很小

上划加载中
直达楼层
全部回复
正序浏览
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 4008云顶国际网站的解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

【昇腾310】【amct工具】使用amct成功转yolov5.onnx后,推理时间几乎没有改变-4008云顶国际网站

您已采纳当前回复为最佳回复

发帖: 1粉丝: 0

151 3
[网络精度/性能调优] 【昇腾310】【amct工具】使用amct成功转yolov5.onnx后,推理时间几乎没有改变

【功能模块】

版本:商用版5.0.2

amct版本:0.5.0

样例:https://github.com/ultralytics/yolov5


【操作步骤&问题现象】

方法a,使用amct:

1、已训练pt文件转为rgb_v11.onnx模型,大小为135m,v11代表使用onnx: opset 11,使用如下命令

amct_onnx calibration --model ./rgb_v11.onnx --save_path ./rgb_v11 --input_shape "images:1,3,768,1344"  --data_dir "./data"  --data_types "float32"

其中"./data"中的文件为 input_float32_1x3x768x1344.bin,依赖训练图片resize而成,非随机数据。该命令运行成功后生成rgb_v11_deploy_model.onnx,大小为34.9m。

2、运用

atc --model=./rgb_v11_deploy_model.onnx --framework=5 --output=rgb_v11_deploy --soc_version=ascend310 --input_shape="images:1,3,768,1344" --insert_op_conf=aipp_v5.cfg --enable_small_channel=1 --buffer_optimize=l2_optimize

生成rgb_v11_deploy.om文件,大小为38.1m

3、昇腾310上推理该rgb_v11_deploy.om模型,一张像素大小为1920 * 1080的jpeg图片,耗时89 ms,包括数据预处理、推理、后处理。



方法b,未使用amct:

1、已训练pt文件转为rgb_v11.onnx模型,大小为135m,v11代表使用onnx: opset 11,模型同方法a1,使用如下命令

atc --model=./rgb_v11.onnx --framework=5 --output=rgb_v11  --soc_version=ascend310 --input_shape="images:1,3,768,1344" --insert_op_conf=aipp_v5.cfg --enable_small_channel=1 --buffer_optimize=l2_optimize

生成rgb_v11.om文件,大小为69.9m

2、昇腾310上推理rgb_v11.om模型,一张像素大小为1920 * 1080的jpeg图片,图片同方法3,耗时92 ms,与a3中的89ms相比,减少了3ms,推理时间几乎没有改变。包括数据预处理、推理、后处理,代码同a3。

【截图信息】


【日志信息】(可选,上传日志内容或者附件)


759 bytes,下载次数:0

分享文章到朋友圈

分享文章到微博
您已采纳当前回复为最佳回复

发帖: 31粉丝: 50

级别 : 版主,版块专家

发表于2022年06月21日 17:46:36

您好,相关信息分析确认后回复

评论
昨天 17:54

好的

... 查看全部
您已采纳当前回复为最佳回复

发帖: 0粉丝: 7

级别 : 版主,版块专家

发表于2022年06月21日 17:57:08

你好,从你的描述来看是使用amct推理的时长是89ms,没有使用的推理时长是92ms,所以你的问题是没有使用amct的推理时长变长吗

评论
1 小时前

抱歉,标题打错了。但是按照效果来看,只减少了3ms时间,几乎没啥改善。

... 查看全部
您已采纳当前回复为最佳回复

发帖: 5粉丝: 0

发表于2022年06月22日 09:43:30

我之前也尝试用amct量化模型,最后也是速度基本没有提升,差距很小

您需要登录后才可以回帖 | 立即注册

推荐阅读

邀请回答
您可以邀请3位专家
您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200
网站地图