yolov8目标检测 部署瑞芯微rk3588记录

news/2024/5/28 4:06:24/ 标签: YOLO, 目标检测, 人工智能, rk3588, rk3588部署, yolov8
1. 前置条件

本地电脑系统,ubuntu20.04

训练代码:

训练代码下载的ultralytics官方代码

SHA:6a2fddfb46aea45dd26cb060157d22cf14cd8c64

训练代码仅做数据修改,类别修改,代码结构未做任何修改

需要准备的代码:

pt转onnx :

git clone https://github.com/airockchip/ultralytics_yolov8.git
cd ultralytics_yolov8
git checkout 5b7ddd8f821c8f6edb389aa30cfbc88bd903867b

onnx转rknn:

#环境所需要的包
https://github.com/airockchip/rknn-toolkit2/releases/tag/v1.6.0#转换所需要的代码
https://github.com/airockchip/rknn_model_zoo/releases/tag/v2.0.0

rknn仿真和板卡上所需要的代码

#和onnx转rknn是一个代码
https://github.com/airockchip/rknn_model_zoo/releases/tag/v2.0.0
2. pt转onnx

这里参照这位大佬的方案,rk3588's yolov8 model conversion from pt to rknn | Memories,这里只取他pt转onnx的部分,如下图部分

步骤跟他的一模一样,使用他制作的镜像环境,我本地试过,不使用他的环境也行,可以使用训练代码的环境进行导出,我本地用conda创建的一个python=3.9的环境,安装的最新的pytorch和ultralytics。

使用他给的链接拉取的转换代码后,需要修改的地方只有一处,如图所示,改成自己模型的名字,mode:export

然后将自己的pt模型放到下载的ultralytics_yolov8根目录下,如图所示

按照他的教程执行,主要这一句export 一定要执行!!!,执行完后会在pt文件同级目录下会生成的onnx文件,如上图所示,我执行完之后,生成了drone.onnx

3. onnx转rknn
3.1. rknn环境安装
  • 我的本地电脑系统为ubuntu20.04,下载rknn_toolkit2的1.6.0版本(这里和板卡上使用的toolkit2-2.0.0 版本不一致,但是可以正常推理,一致的版本我还没试过),下载地址

Release v1.6.0 · airockchip/rknn-toolkit2 · GitHub

  • rknn环境安装
#下载toolkit2代码后解压,使用conda创建一个python=3.9的环境
conda create -n npu-test python=3.9#激活环境,安装必要的库
conda activate npu-test#进入到1.6版本的rknn-toolkit2文件夹下
cd rknn-toolkits-1.6.0/rknn-toolkits/packages#依赖库安装
pip install -r requirements_cp39-1.6.0.txt -i https://pypi.tuna.tsinghua.edu.cn/simple#这里使用清华源安装会比较快,但是一般情况会报一个错误,有一个库下载不下来,如下图

继续在这里输入以下内容进行安装,tf-es那一坨从终端里面进行复制,避免敲错了

pip install tf-estimator-nightly==2.8.0.dev2021122109 -i https://pypi.org/simple

执行完后,如图所示,tf-es就安装成功了

紧接着再继续安装requirements中的剩余的依赖库,重新执行

pip install -r requirements_cp39-1.6.0.txt -i https://pypi.tuna.tsinghua.edu.cn./simple

所有库都安装好以后,开始安装rknn包,进入到下载的1.6.0版本的rknn-toolkit2文件夹下

cd rknn-toolkits-1.6.0/rknn-toolkits/packagespip install rknn_(按Tab自动弹出来)-cp39(按Tab补充完整) .whl

安装完成后,如下图所示,则表示rknn环境已经安装好了

3.2. rknn模型转换
  • 下载rknn_model_zoo,我使用的是2.0.0的版本

Release v2.0.0: Support RK3576 and RKNPU1 · airockchip/rknn_model_zoo · GitHub

  • 下载完成后解压,进入目录rknn_model_zoo/examples/yolov8/model,修改coco_80_labels_list.txt内容,修改为自己模型对应的类别

因为我只有2类别,人和车,所以我把文件修改为以下内容 (一定要和训练的时候训练集名字对应)

  • 开始转换

激活rknn虚拟环境

conda activate npu-test

进入到下载的rknn_model_zoo中yolov8的示例中

cd rknn_model_zoo/examples/yolov8/python

如图所示

此时拷贝第2步中转换的onnx模型路径,我是把转换得到的onnx拷贝到该路径下的,

rknn_model_zoo/examples/yolov8/model

然后执行以下命令开始转换,

python convert.py ../model/drone.onnx rk3588

如下图开始转换

等待片刻,导出完成,如图所示

转换完成后会在onnx文件同目录下得到一个名为yolov8.rknn模型

4. 板卡环境配置
3.1 rk3588板卡环境

rk3588的系统为Linux系统,版本为 ubuntu20.04

3.2 npu2 驱动版本

连接上板卡输入 dmesg | grep -i rknpu,如图所示,npu驱动版本为 0.8.8

在rknn_toolkit2 doc的官方文档中01_Rockchip_RKNPU_Quick_Start_RKNN_SDK_V2.0.0beta0_CN.pdf

中建议驱动版本大于 0.9.2,但是由于没找到对应的驱动版本,手里的版本驱动只有 0.7.2和 0.8.8两个版本, 都测试过,均可完成正常推理。

3.3 npu环境

进入板卡系统,输入以下指令

查询 rknn server版本

strings /usr/bin/rknn_server | grep -i "rknn_server version"

查询 librknnrt.so库版本

string /usr/lib/librknnrt.so | grep -i "librknnrt version"

注意:二者的版本必须一致

若输出不一致,需要做以下处理,下载rknn_toolkit2,我使用的是rknn_toolkit2-v2.0.0版本

Release v2.0.0-beta0: Update RK3562/RK3566/RK3568/RK3576/RK3588/RV1103/RV1106 NPU SDK to V2… · airockchip/rknn-toolkit2 · GitHub

  • 将下载下来的文件拷贝到板卡上,将下面对应文件拷贝对板卡的对应位置
sudo cp rknn-toolkit2/rknpu/runtime/Linux/rknn_server/aarch64/usr/bin/* /usr/bin/
sudo cp rknn-toolkit2/rknpu/runtime/Linux/librnkk_api/aarch64//* /usr/lib/

  • 给rknn_server赋予可执行权限
sudo chmod +x /usr/bin/rknn_server
sudo chmod +x /usr/bin/start_rknn.sh
sudo chmod +x /usr/bin/restart_rknn.sh
  • 紧接着重启服务
cd /usr/bin
./restart_rknn.sh

如图所示,打印出版本后,就可以用ctrl+c关闭掉

若开始使用strings查询版本不一致,或者没有打印或者版本过低,此时再查询板卡npu版本,二者版本一致才行

5. adb仿真

adb仿真就是使用在电脑上配置上rk环境,然后使用typeC连接电脑和板卡,使用电脑环境仿真rk板卡的推理,目的是验证rknn模型是否正常,如果能正常推理,说明rknn的整个转换过程是正常的,否则就是找rknn转换问题了,如果上述步骤都是正常进行的,这adb仿真可以略过

心得:踩坑半个月,一直没找到无法正常推理的原因,也不知道是模型转换问题还是c++代码问题,所以找到rknn_model_zoo说明文档,尝试使用adb连接仿真,最后发现官方download下来的onnx转换rknn后可以推理,但是自己的模型转换rknn就不行,才发现是自己转换的onnx模型不对,这样才一步一步找原因,最后才找到正确的转换方法。

  • 本地电脑安装adb
sudo apt install adb
  • 查询板卡device id
adb devices

执行完后,如果连接正常,如下图会打印设备的device id,复制该id,下面会使用

adb仿真还是使用第3步骤中的rknn_model_zoo,进入目录rknn_model_zoo/examples/yolov8/python,修改yolov8.py代码,CLASSES修改为自己模型的类别, coco_id_list修改为自己模型对应的序号,我这里就是二分类,我的修改内容如图所示

搜索main函数,还需要修改以下内容

--model_path那一行 default修改为 自己导出的rknn模型的绝对路径

--target那一行 default修改为 rk588

--device_id那一行, default修改为上一步中复制下来的device id

--img_show那一行, default修改为 True, 仿真时候会显示仿真的推理结果

将待测试的图片放到py文件的上一级的model路径下,如图所示

然后在电脑端,conda进入第3步创建rknn虚拟环境中,执行python yolov8.py,如果顺利的话,执行完就会在电脑上显示推理结果,能正常推理的话,表示rknn模型无误,可以进行下一步的c++板卡部署。

注意:如果这里报错了,进入板卡终端,进入/usr/bin目录下,执行./restart_rknn.sh 不关闭,然后再在电脑端进入rknn虚拟环境,再执行python yolov8.py进行仿真推理

6. 板卡c++部署
  • 修改源码

现将第3步中用到的rknn_model_zoo推送到板卡中,修改rknn_model_zoo中关于yolov8的代码,修改代码的路径为: /rknn_model_zoo/examples/yolov8/cpp/postprocess.h

第12行代码,#define OBJ_CLASS_NUM 修改为自己需要检测的目标类别数量

我自己需要检测两类,所以这里我修改为 #define OBJ_CLASS_NUM 2,如图所示

  • 开始编译

进入rknn_model_zoo根目录下,执行以下命令开始编译

先给脚本权限

chmod 777 build-linux.sh

再编译

./build-linux.sh -t rk3588 -a aarch64 -d yolov8
  • 编译完成后会在跟目录下生成install文件夹

一直按Tab直到进入最里面文件夹,我本地的路径为:

rknn_model_zoo/install/rk3588_linux_aarch64/rknn_yolov8_demo

该路径下,有一个可执行文件rknn_yolov8_demo以及一个model和一个lib文件夹内,修改model下的coco文本文件,修改为自己需要检测目标类别

  • 开始推理
./rknn_yolov8_demo [rknn路径] [图片路径]

执行完成后,会在rknn_yolov8_demo下生成out.png文件,将该图片导出到电脑可以验证推理是否正确


http://www.ppmy.cn/news/1424617.html

相关文章

【网站项目】驾校报名小程序

🙊作者简介:拥有多年开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件,帮助大学选题。赠送开题报告模板&#xff…

华为校园公开课走入上海交大,鸿蒙成为专业核心课程

4月12日,华为校园公开课在中国上海交通大学成功举办,吸引了来自计算机等相关专业的150余名学生参加。据了解,由吴帆、陈贵海、过敏意、吴晨涛、刘生钟等教授在中国上海交通大学面向计算机系本科生开设的《操作系统》课程,是该系学…

Day04 - React 第四天

学习react的第四天&#xff0c;持续更新中 关注不迷路&#xff01;&#xff01;&#xff01; 组件三大核心之——Ref ref多种形式 字符串形式 回调形式 createRef 字符串形式 class Perosn extends React.Component {render() {return (<div><input ref"ipnp…

R语言影像批量镶嵌与裁剪——mosaic

你有中国不同省份的影像&#xff0c;想要拼接镶嵌成完整的中国影像 镶嵌一 library("raster") library("sp") library("rgdal") library("rgeos") library("…

Django中间件路由映射自动加/斜杠问题原因及分析

输入 http://127.0.0.1:8000/main/index/ 输入 http://127.0.0.1:8000/main/index 路由定义情况 urlpatterns [path("index/", views.index) ]可以发现我在输入URL的index路由时&#xff0c;如果没有和Django定义的路由匹配规则一样的话&#xff0c;浏览器自…

【机器学习】数据变换---小波变换特征提取及应用案列介绍

引言 在机器学习领域&#xff0c;数据变换是一种常见且重要的预处理步骤。通过对原始数据进行变换&#xff0c;我们可以提取出更有意义的特征&#xff0c;提高模型的性能。在众多数据变换方法中&#xff0c;小波变换是一种非常有效的方法&#xff0c;尤其适用于处理非平稳信号和…

(十六)call、apply、bind介绍、区别和实现

函数中的this指向&#xff1a; 函数中的this指向是在函数被调用的时候确定的&#xff0c;也就是执行上下文被创建时确定的。在一个执行上下文中&#xff0c;this由调用者提供&#xff0c;由调用函数的方式来决定。 类数组对象arguments&#xff1a; arguments只在函数&#…

Adobe Premiere Pro将加入AI生成式功能,以提高视频编辑的效率;OpenAI宣布在东京设立亚洲首个办事处

&#x1f989; AI新闻 &#x1f680; Adobe Premiere Pro将加入AI生成式功能&#xff0c;以提高视频编辑的效率 摘要&#xff1a;Adobe宣布&#xff0c;将为Premiere Pro引入由生成式AI驱动的新功能&#xff0c;以提高视频编辑的效率。这些功能包括“生成扩展”&#xff0c;能…

ArrayList,Vector,LinkedList内存解析

1.ArrayList (1). 特点 : 实现了List接口&#xff0c;存储有序的&#xff0c;可重复的数据.底层使用Object[]数组存储.线程不安全.(底层方法未用synchronized修饰.) (2). 版本解析 : <i> : JDK7版本 ArrayList<String> list &#xff1d;new ArrayList<&…

OV通配符证书:安全、便捷的网络认证新选择

OV通配符证书&#xff0c;即组织验证型通配符证书&#xff0c;其最大特点在于其通配符功能。这意味着&#xff0c;一个OV通配符证书可以覆盖同一主域名下的多个子域名&#xff0c;大大简化了证书管理和维护的复杂性。无论是大型企业还是个人网站&#xff0c;都可以通过OV通配符…

服务器上部署GPU版的milvus向量数据库

1、安装docker compose 我们可以从 Github 上下载它的二进制包来使用&#xff0c;最新发行的版本地址&#xff1a; https://github.com/docker/compose/releases sudo curl -L "https://github.com/docker/compose/releases/download/v2.6.0/docker-compose-$(uname -s)…

「GO基础」在Windows上安装Go编译器并配置Golang开发环境

文章目录 1、安装Go语言编译程序1.1、下载GoLang编译器1.2、安装GoLang编译器 2、配置Golang IDE运行环境2.1、配置GO编译器2.1.1、GOROOT 概述2.1.2、GOROOT 作用2.1.2、配置 GOROOT 2.2、配置GO依赖管理2.2.1、Module管理依赖2.2.2、GOPATH 管理依赖 2.3、运行GO程序2.3.1、创…

什么是PE 格式

2024年4月19日&#xff0c;周五下午 PE&#xff08;Portable Executable&#xff09;格式是一种 Windows 操作系统中常见的可执行文件和对象文件格式。它是微软公司为 Windows NT 操作系统引入的一种文件格式&#xff0c;用于存储可执行程序、动态链接库&#xff08;DLL&#x…

全栈外包接单/远程工作(TS, React, Vue, Java, 移动端)

个人介绍 我毕业于中国某一本院校计算机专业&#xff0c;曾在北京大型软件公司从事Java开发多年&#xff0c;主要服务于全国各大头部985/211院校。后来为扩宽职业路径&#xff0c;转向了Ts全栈&#xff0c;现专注于远程外包接单工作&#xff0c;致力于打造一个能为客户带来优质…

binary tree Leetcode 二叉树算法题

144.二叉树的前序遍历 前序遍历是&#xff1a;根-左-右 所以记录序列的的时候放在最前面 递归 class Solution {List<Integer> ans new ArrayList<>();public List<Integer> preorderTraversal(TreeNode root) {if(root null) return ans;ans.add(root…

CSS实现弹性盒子保持水平和垂直居中

弹性盒子 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head> &…

C语言 | Leetcode C语言题解之第32题最长有效括号

题目&#xff1a; 题解&#xff1a; int longestValidParentheses(char* s) {int n strlen(s);int left 0, right 0, maxlength 0;for (int i 0; i < n; i) {if (s[i] () {left;} else {right;}if (left right) {maxlength fmax(maxlength, 2 * right);} else if (…

MySQL慢SQL优化方案汇总

⛰️个人主页: 蒾酒 &#x1f525;系列专栏&#xff1a;《mysql经验总结》 &#x1f30a;山高路远&#xff0c;行路漫漫&#xff0c;终有归途 目录 写在前面 优化思路 避免查询不必要的列 分页优化 索引优化 JOIN优化 排序优化 UNION 优化 写在最后 写在前面 本…

【LeetCode热题100】【贪心算法】跳跃游戏

题目链接&#xff1a;55. 跳跃游戏 - 力扣&#xff08;LeetCode&#xff09; 数组的元素表示可以跳的最大长度&#xff0c;要判断能不能跳到最后 不断更新可以跳到的最远距离&#xff0c;如果当前的位置大于可跳最远距离&#xff0c;说明不行 class Solution { public:bool …

[python3] 字符串匹配的`多模式匹配`算法

在Python 3中&#xff0c;你可以使用第三方库ahocorasick来实现Aho-Corasick算法。Aho-Corasick算法是一种用于字符串匹配的多模式匹配算法&#xff0c;可以高效地在一个文本中搜索多个关键词。 首先&#xff0c;你需要安装ahocorasick库。你可以使用pip来进行安装&#xff1a…