原文转载自《rk3588对npu的再探索，yolov5使用rknn模型推理教程》
🍉零、引言
本文完成于2022-07-02 22:22:27。 博主刚开始在瑞芯微ITX-3588J-8K的开发板上跑了官方的yolov5目标检测算法，检测了ip相机rtsp视频流，但是每帧处理需要833ms左右，和放PPT一样。本来想使用tensorrt进行加速推理，但前提需要cuda，rk的板子上都是arm的手机gpu，没有nvidia的cuda，所以不能这样适配。那么转过来，使用开发板自带的NPU进行加速[......]
思路：使用模型的特征提取层，转化成向量，然后比对向量的距离(比如cos)
import torch
import torchvision.models as models
import torchvision.transforms as transforms
from PIL import Image
# load model & feature only
model = models.mobilenet_v3_small(pretrained=True)
mode[......]
device = "cuda" if torch.cuda.is_available() else "cpu"
print(device)
# create data
weight = 0.6
bias = 0.4
start = 0
end = 1
ste[......]