深度探秘：瑞芯微 RK3568J 视频图像处理框架全解析

陈工-创龙科技

瑞芯微RK3568J产品简介

RK3568J是瑞芯微四核ARM Cortex-A55@1.8GHz工业旗舰处理器。 创龙科技基于RK3568J所设计的工业核心板（SOM-TL3568）板载的CPU、ROM、RAM、电源、晶振、连接器等所有元器件均采用国产工业级方案，国产化率达100%！

图 1

此外，这款国产工业评估板（TL3568-EVM）接口资源丰富，支持4K视频解码、1080P视频编码、多屏异显，内置1TOPS高性能NPU以及8M ISP，还支持3路Ethernet、3路CAN、5路USB3.0、3路RS485、SDIO等，凭借其出色的性能及丰富的外设接口成为国内众多工业客户的不二之选！

RK3568J视频图像处理特点

多种视频输入：支持 MIPI RX CSI2 和 DVP 接口，兼容多种视频输入模式。

高性能ISP：支持Dual Pipe ISP，对4K分辨率的多路摄像头输入处理丝滑便捷。

强大多屏显示：支持三个独立显示输出，可实现多屏异显。

高清视频编解码：支持 4K@60fps H.264/H.265 解码及 1080P@60fps 编码。

强悍图形引擎：支持 2D/3D 图形处理加速，支持 OpenGLES 1.1/2.0/3.2。

高效AI单元：高达 1 TOPS 算力 NPU，支持多种深度学习框架。

图 2

视频图像输入

表 1

ISP图像处理
Dual Pipe ISP，从DVP/CSI接收Camera图像并进行图像处理。
（1）输入接口：最多同时支持3路接入：MIPI CSI x2 + DVP x1。
（2）分辨率：最高支持4096x2304分辨率。

视频图像输出
VOP简介
VOP2会从内存中读取视频数据和UI数据进行处理（缩放、裁剪、图层叠加等），然后将数据发送到不同显示接口进行图像的显示。
RK3568处理器支持3个VOP，可同时支持三个显示屏显示功能，最高支持分辨率如下表所示。

表 2

视频图像输出接口
VOP2及显示输出接口配置如下图所示。

图 3

TL3568-EVM评估板（基于RK3568J）有4个视频输出接口：HDMI OUT，TFT LCD，MIPI LCD，LVDS LCD。默认提供以下配置的测试，其它配置需要修改Linux设备树。
配置一：

表 3        

配置二：

表 4

视频图像编解码
视频解码

表 5

视频编码

表 6

JPEG解码
（1）最高支持8176 x 8176分辨率；
（2）性能可达每秒7600万像素。
JPEG编码
（1）最高支持8192 x 8192分辨率；
（2）性能可达每秒9000万像素。
图形引擎
Mali-G52 1-Core-2EE
Mali-G52 1-Core-2EE支持2D/3D图形处理加速。主要特性如下：
3D API支持：OpenGLES 1.1/2.0/3.2，Vulkan1.0/1.1。
RGA2-Enhance
（1）输入：
ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YVYU422/YVYU420/YUV422SP 10bit/YUV420SP 10bit，最大8192x8192；
（2）输出：
ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUV400/Y4/YVYU422/YVYU420，最大4096x4096；
（3）旋转：0/90/180/270度；
（4）Alpha Blending功能支持：per pixel alpha和fading。

神经网络处理单元
NPU(Neural Process Unit)
（1）算力1 TOPS；
（2）支持INT8，INT16，FP16和BFP16；
（3）支持的深度学习框架：TensorFlow，Caffe，Tflite，Pytorch，Onnx NN，MXNet，Keras、Darknet等。

瑞芯微RK3568J典型应用领域

图 4

查看更多瑞芯微RK3568J相关的案例演示，各位工程师可以通过公众号（Tronlong创龙科技）查看，快来试试吧！