[發明專利]基于全景圖像及人機交互的自動泊車方法及裝置

在審

• 申請號: 202110772359.0
• 申請日: 2021-07-08
• 公開（公告）號: CN113320474A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 陳凱;趙青才
• 申請（專利權）人: 長沙立中汽車設計開發股份有限公司
• 主分類號: B60R1/00
• 分類號: B60R1/00;B60W30/06
• 代理公司: 北京律譜知識產權代理事務所(普通合伙) 11457
• 代理人: 黃云鐸

1.一種基于全景圖像及人機交互的自動泊車方法，其特征在于：

步驟1、提供一個人機交互的界面，駕駛員啟動自動泊車后，系統利用安裝在車輛上的魚眼攝像頭采集的視頻畫面生成全景環視圖像，并在全景圖像中進行空車位檢測與識別；

步驟2、搜索到停車位時，界面提示駕駛員確認是否可以停車；

步驟3、當駕駛員確認是合適的停車位，開始進行路徑規劃，利用從全景檢測中得到的精確的車位參數，再結合車輛自身的參數，精準地計算出路徑規劃中最優的停車路徑；在檢測到停車位時，直接在人機交互界面上顯示車位的方框，不同顏色線條的方框可以代表停車位是否合適可用，駕駛員通過在界面上操作確認此時的停車位是否能夠停車；

步驟4、人機交互界面通過CAN網絡信號與底層控制模塊通訊，假如在自動泊車過程中有危險情況發生，駕駛員可以通過踩剎車立即中止自動泊車，以此來保證安全性。待危險排除后，駕駛員可以通過交互界面繼續完成自動泊車。若一切正常，則駕駛員在界面中看到車輛沿著規劃的停車路徑成功入位。

2.根據權利要求1所述的基于全景圖像及人機交互的自動泊車方法，其特征在于：步驟1中，通過4顆魚眼攝像頭采集視頻畫面生成的全景圖像直接顯示在人機交互界面中，駕駛員可以通過全景圖像實時觀察車輛四周的環境情況。

3.一種基于全景圖像及人機交互的自動泊車裝置，包括全景環視圖像生成單元、車載中控顯示單元、服務器處理單元、路徑規劃模塊、底層控制模塊；其特征在于：

所述的服務器處理單元連接全景環視圖像生成單元并與車載中控大屏雙向連接；

全景環視圖像生成單元包括4顆方位視場角至少為180°的魚眼攝像頭，前攝像頭安裝在車輛進氣格柵車標下方，兩側攝像頭安裝車輛后視鏡下方，后攝像頭安裝在牌照架上方，將拍攝到車輛前后左右四副廣角圖像處理生成顯示車輛周圍場景的360°無縫拼接的俯視圖，并發送至服務器處理單元；

車載中控顯示單元用于顯示全景圖像中的車位檢測情況，其中空車位標記為藍色框，非空車位標記為紅色框；

路徑規劃模塊利用車位檢測中得到停車位與車輛的位置關系參數以及全景圖像中得到避免碰撞的約束條件，根據車輛的軸距、最小轉彎半徑參數計算得到最優泊車路徑；

底層控制模塊根據一般自動泊車工況的低速要求設計車輛速度，再利用路徑規劃模塊計算的最優泊車路徑確定轉向盤的轉角，通過can總線傳輸到車輛的底層控制器，從而完成自動泊車整個過程。

4.根據權利要求3所述的基于全景圖像及人機交互的自動泊車裝置，其特征在于：

全景環視圖像生成單元利用安裝在車輛上的4顆方位視場角至少為180度的魚眼攝像頭采集的視頻畫面，通過魚眼圖像畸變校正、角點檢測、逆透視變換、圖像拼接、圖像融合形成全景圖像；其中：

魚眼圖像畸變校正是根據各魚眼攝像頭的內部結構和建立的畸變模型，標定得到攝像頭參數和畸變矯正參數，得到從魚眼圖像到畸變矯正圖像的映射關系；

角點檢測是在各個魚眼攝像頭所抓取的圖像中，檢測標定布角點；

透視變換是根據測量場景得到的理想角點位置以及檢測得到的實際角點位置，將來自不同魚眼攝像頭的圖像，投影到同一坐標系下變成鳥瞰圖，建立由矯正圖到鳥瞰圖的映射關系；

圖像拼接是對來自相鄰的攝像頭轉換得到的鳥瞰圖中重疊區域進行特征點匹配，將車廂所有攝像頭鳥瞰圖拼接成車廂全景鳥瞰圖，最后生成整車全景鳥瞰圖與各攝像頭魚眼畸變圖的映射關系，生成并保存查找表；

圖像融合是在全景鳥瞰圖中相鄰攝像頭圖像接縫處，劃定過渡區域，采用加權融合的方法，消除拼接縫；最終生成全景環視圖像。

5.根據權利要求3所述的基于全景圖像及人機交互的自動泊車裝置，其特征在于：

服務器處理單元包括接口模塊、圖像處理模塊。接口模塊用于接收全景生成單元傳輸的全景圖像和發送空車位檢測結果至車載中控顯示單元；

圖像處理模塊包括車位檢測子模塊和空車位分類子模塊；

車位檢測子模塊利用基于卷積神經網絡的檢測器檢測車位的頭部和標志點；然后再根據幾何關系對標志點進行配對以確定入口線的兩個可見端點，以及確定車位的方向；最后根據車位的類型、車位入口線的兩個可見端點、車位的先驗知識確定完整的車位；

空車位分類子模塊用于將車位檢測子模塊檢測到的車位進行正則化處理，然后利用基于卷積神經網絡的分類器確定車位是否為空車位。