回答

收藏

[评测分享] 【研华AMD嵌入式主板AIMB-2210】02:图像分类模型性能测试

板卡试用 板卡试用 7 人阅读 | 0 人回复 | 2025-11-07

本帖最后由 eefocus_4150358 于 2025-11-7 16:13 编辑

1. 测试硬件
板卡:AIMB-2210R-00A1
电源:交流输入100~240V  8-4A 60/50HZ  额定功率350W ATX电源
内存:16G DDR5 5600MHZ
硬盘:256G SATA固态硬盘
操作系统:Windows 11 Pro

2. 模型和数据集准备
(1)模型部署参考ResNet50模型部署(上一篇帖子:/forum/fo ... 1&extra=#pid1575473);
(2)将ResNet50型量化为INT8格式;
(3)ImageNet LSVRC 2012 Validation Set (Object Detection)(包含5万张验证集图片)。

3. 测试参数
使用上一篇帖子准备好的环境和模型,不进行图像分类,而是直接进行推理来获取各项性能指标。
吞吐率使用FPS(每秒钟处理的图片数量)来映射为吞吐率指标,token吞吐率则在吞吐率的基础上用基础吞吐率*token数来计算,其中token数用处理的像素点数量来代替。
吞吐率计算(推理次数/测试时间)如下。

计算token数。

Token吞吐率。


4 测试过程
(1)快速测试
输入指令:python performance_benchmark_fixed.py --model models/resnet50_int8.onnx --device both --duration 10
(参数说明:both代表分别在cpu、npu上进行性能测试,duration 10代表测试时间大概在10秒左右)



(2)详细测试
将duration参数设置为60,整个测试时间大概在2-3分钟。
输入指令:python performance_benchmark_fixed.py --model models/resnet50_int8.onnx --device both --duration 60



任务管理器界面展示NPU的利用率如下。



在进行吞吐率和token吞吐率测试时,NPU的利用率维持在93%左右。




分享到:
回复

使用道具 举报

您需要登录后才可以回帖 注册/登录

本版积分规则

关闭

站长推荐上一条 /3 下一条