[發明專利]一種基于全景視覺的農業機械遠程輔助駕駛系統及方法

在審

• 申請號: 202210402919.8
• 申請日: 2022-04-18
• 公開（公告）號: CN114782810A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 劉立超;薛晨;方旭;陳黎卿;張春嶺;王韋韋
• 申請（專利權）人: 安徽農業大學;合肥綜合性國家科學中心人工智能研究院（安徽省人工智能實驗室）
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/56;G06V20/58;G06T7/80;G06T7/73;G06T5/50;G06T3/40;G06N3/08;G05D1/00;G01S15/931;H04L67/025;H04N5/232;H04N5/247;G06V10/82
• 代理公司: 北京保識知識產權代理事務所(普通合伙) 11874
• 代理人: 姚天健

1.一種基于全景視覺的農業機械遠程輔助駕駛系統，包括農業機械本體(10)和遠程控制室，其特征在于：所述農業機械本體(10)上安裝有魚眼攝像機(1)和超聲波雷達(2)，所述魚眼攝像機(1)和超聲波雷達(2)均設置有六個，分別固定安裝在農業機械本體(10)的正前方、左前方、右前方、正后方、左后方、右后方；所述農業機械本體(10)上還固定安裝有指令接收裝置、指令發送裝置和駕駛狀態切換裝置；所述遠程控制室與農業機械本體(10)之間進行通信連接，所述遠程控制室中安裝有遠程駕駛裝置，所述遠程駕駛裝置包括有方向盤(3)、油門踏板(4)、檔位(5)、座椅(6)、手剎(7)、剎車踏板(8)、離合器踏板(9)、操作臺(11)、切換按鈕(12)、狀態指示燈和全景屏幕(16)，所述狀態指示燈包括黃燈(13)、綠燈(14)和紅燈(15)。

2.根據權利要求1所述的一種基于全景視覺的農業機械遠程輔助駕駛系統，其特征在于，所述遠程控制室中還安裝有遠程駕駛系統，所述遠程駕駛系統與遠程駕駛裝置相匹配，所述遠程駕駛系統包括有信息獲取模塊、信號發送模塊、信號接收模塊和駕駛狀態切換模塊；

所述信息獲取模塊，與魚眼攝像機(1)相匹配，通過接收由六個魚眼攝像機(1)組成的全景拍攝系統拍攝的360°全景照片來獲取農業機械本體(10)駕駛位置及周邊環境情況；

所述信號發送模塊，與指令發送裝置相匹配，當農業機械本體(10)的自動駕駛系統工作狀態需要切換時，通過信號發送模塊向遠程控制室發送駕駛狀態切換信號；

所述信號接收模塊，與指令接收裝置相匹配，用于接收農業機械本體(10)向遠程控制室發送的駕駛狀態切換信號；

所述駕駛狀態切換模塊，與駕駛狀態切換裝置相匹配，用于響應駕駛狀態切換制定，將農業機械本體(10)由自動駕駛狀態切換至遠程手動駕駛狀態。

3.根據權利要求1-2中任一所述的一種基于全景視覺的農業機械遠程輔助駕駛系統所使用的一種基于全景視覺的農業機械遠程輔助駕駛方法，其特征在于，包括以下步驟：

S1、在農業機械本體(10)的正前方、左前方、右前方、正后方、左后方、右后方上安裝魚眼攝像機(1)和超聲波雷達(2)，并將其調整好角度；

S2、通過農業機械本體(10)上固定安裝的六個魚眼攝像機(1)采集農業機械本體(10)周圍的環境狀態，確保每個魚眼攝像機(1)都能檢測到60°畫面，實現360°無死角無盲區拍攝，魚眼攝像機(1)的俯仰視場角為0～60°，前后視場角為0～180°，然后通過全景拼接算法將六張魚眼攝像機(1)拍攝的原始圖像合并為一張全景鳥瞰圖；

S3、獲得全景圖像后利用超聲波雷達(2)來檢測農業機械本體(10)周圍的障礙物信息；

S4、利用YOLO V5算法對障礙物進行目標檢測，YOLO V5的輸入使用拼接數據增強來提高目標檢測精度；

S5、當農業機械本體(10)遇到復雜情況而無法做出判斷時，將農業機械本體(10)由自動駕駛狀態切換為遠程手動駕駛狀態，切換為遠程手動駕駛狀態后，遠程控制室中的駕駛員開始執行相應指令，對農業機械本體(10)進行遠程駕駛操作，可以識別判斷后，再將駕駛狀態切換為自動駕駛狀態運行。