转载自：《rk3588使用npu进行模型转换和推理，加速AI应用落地》
🍉零、引言
博主在瑞芯微RK3588的开发板上跑了deepsort跟踪算法，从IP相机中的server拉取rtsp视频流，但是fps只有1.2，和放PPT一样卡顿，无法投入实际应用。本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是Arm的手机gpu，没有Nvidia的cuda，所以这条路行不通。那么转过来，使用开发板自带的NPU进行加速推理，岂不是更加可行，而且它本身就是深度学习嵌入式板子，[......]
import cv2
import numpy as np
import onnxruntime as ort
def load_model(model_path):
"""加载ONNX模型"""
session = ort.InferenceSession(model_path)
return session
def preprocess_image(image_path):
image = cv2.imread(image_path)[......]
#include <opencv2/opencv.hpp>
#include <onnxruntime/onnxruntime_cxx_api.h>
#include <vector>
#include <iostream>
int main() {
// load onnx model
Ort::Env env(OrtLoggingLevel::ORT_LOGGING_LEVEL_WARNING, "test"[......]
模型是MobileNet v3 small + 微调分类器，pyTorch训练后导出onnx模型
pom：
<dependencies>
<dependency>
<groupId>com.microsoft.onnxruntime</groupId>
<artifactId>onnxruntime</artifactId>
<version>[......]
有4 张红色的牌和4 张蓝色的牌，主持人先拿任意两张，再分别在 A、B、C 三人额头上贴任意两张牌，A、
B、C 三人都可以看见其余两人额头上的牌，看完后让他们猜自己额头上是什么颜色的牌，A 说不知道，B
说不知道，C 说不知道，然后 A 说知道了。
请教如何推理，A 是怎么知道的。如果用程序，又怎么实现呢？
以下推理很NB，转载自：http://topic.csdn.net/u/20100426/11/b47952ac-47f6-45bd-8874-6d36f8996870.htm[......]