【研华AMD嵌入式主板AIMB-2210】02：图像分类模型性能测试

eefocus_4150358

1. 测试硬件
板卡：AIMB-2210R-00A1
电源：交流输入100~240V  8-4A 60/50HZ  额定功率350W ATX电源
内存：16G DDR5 5600MHZ
硬盘：256G SATA固态硬盘
操作系统：Windows 11 Pro

2. 模型和数据集准备
（1）模型部署参考ResNet50模型部署（上一篇帖子：/forum/fo ... 1&extra=#pid1575473）；
（2）将ResNet50型量化为INT8格式；
（3）ImageNet LSVRC 2012 Validation Set (Object Detection)（包含5万张验证集图片）。

3. 测试参数
使用上一篇帖子准备好的环境和模型，不进行图像分类，而是直接进行推理来获取各项性能指标。
吞吐率使用FPS（每秒钟处理的图片数量）来映射为吞吐率指标，token吞吐率则在吞吐率的基础上用基础吞吐率*token数来计算，其中token数用处理的像素点数量来代替。
吞吐率计算（推理次数/测试时间）如下。

计算token数。

Token吞吐率。

4 测试过程
（1）快速测试
输入指令：python performance_benchmark_fixed.py --model models/resnet50_int8.onnx --device both --duration 10
（参数说明：both代表分别在cpu、npu上进行性能测试，duration 10代表测试时间大概在10秒左右）

（2）详细测试
将duration参数设置为60，整个测试时间大概在2-3分钟。
输入指令：python performance_benchmark_fixed.py --model models/resnet50_int8.onnx --device both --duration 60

任务管理器界面展示NPU的利用率如下。

在进行吞吐率和token吞吐率测试时，NPU的利用率维持在93%左右。