[發明專利]根據駕駛員狀態自動調整駕駛員輔助裝置的方法和裝置

有效

• 申請號: 202010075360.3
• 申請日: 2020-01-22
• 公開（公告）號: CN111507171B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 金桂賢;金镕重;金鶴京;南云鉉;夫碩焄;成明哲;申東洙;呂東勛;柳宇宙;李明春;李炯樹;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V40/10;G06V10/82;G06N3/0475;B60R16/037
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李光輝;馬芬

1.一種根據駕駛員狀態調整駕駛員輔助裝置的位置的方法，其特征在于，包括：

步驟(a)，當獲取駕駛員坐在車輛的駕駛座上并啟動所述車輛之后的、所述駕駛員的至少一個上半身圖像和至少一個下半身圖像時，執行將所述上半身圖像與所述下半身圖像輸入到姿勢預測網絡中的過程，從而使所述姿勢預測網絡，(i)獲取位于所述上半身圖像和所述下半身圖像中的、與所述駕駛員相對應的一個以上的身體關鍵點，(ii)參考所述身體關鍵點計算所述駕駛員的至少一個身體部位的長度，(iii)參考所述駕駛員的已計算的所述身體部位的長度調整所述駕駛座的位置；以及

步驟(b)，所述車輛在所述駕駛座的位置已調整的狀態下行駛時，位置調整裝置執行，過程(i)，將所述上半身圖像輸入到人臉檢測器中，使所述人臉檢測器，在所述上半身圖像上檢測所述駕駛員的至少一個面部；過程(ii)，將所述面部輸入到眼睛檢測器中，使所述眼睛檢測器，在所述面部中檢測所述駕駛員的至少一個眼部；過程(iii)，在所述檢測到的眼部中將與所述駕駛員的至少一個眼睛相對應的2D坐標與已調整的駕駛座的位置輸入到3D坐標轉換器中，從而使所述3D坐標轉換器，參考所述駕駛座的位置和所述眼睛的2D坐標生成所述駕駛員的所述眼睛的3D坐標，并參考所述眼睛的所述3D坐標調整所述車輛的至少一個鏡子的至少一個位置；

其中，在所述步驟(a)中，

所述位置調整裝置，使所述姿勢預測網絡，(i)通過特征提取器從所述上半身圖像和所述下半身圖像中提取一個以上的特征，分別生成一個以上的特征張量，(ii)通過關鍵點熱圖和部分親和力字段提取器，分別生成與每個所述特征張量相對應的一個以上的關鍵點熱圖和一個以上的部分親和力字段，(iii)通過關鍵點分組層從每個所述關鍵點熱圖中提取一個以上的關鍵點，參考每個所述部分親和力字段，分別對已提取的關鍵點進行分組生成與所述駕駛員相對應的所述身體關鍵點。

2.根據權利要求1所述的根據駕駛員狀態調整駕駛員輔助裝置的位置的方法，其特征在于，

所述位置調整裝置，使所述姿勢預測網絡，通過所述特征提取器的至少一個卷積層，將至少一個卷積運算分別使用于所述上半身圖像和所述下半身圖像中，生成每個所述特征張量。

3.根據權利要求1所述的根據駕駛員狀態調整駕駛員輔助裝置的位置的方法，其特征在于，

所述位置調整裝置，使所述姿勢預測網絡，通過所述關鍵點熱圖和部分親和力字段提取器的全卷積網絡或至少一個1×1卷積層，對每個所述特征張量使用至少一個全卷積運算或至少一個1×1卷積運算，從而分別生成與每個所述特征張量相對應的所述關鍵點熱圖和所述部分親和力字段。

4.根據權利要求1所述的根據駕駛員狀態調整駕駛員輔助裝置的位置的方法，其特征在于，

所述位置調整裝置，使所述姿勢預測網絡，通過所述關鍵點分組層，提取每個所述關鍵點熱圖中的每個最高點，作為與每個所述關鍵點熱圖相對應的每個所述關鍵點。

5.根據權利要求4所述的根據駕駛員狀態調整駕駛員輔助裝置的位置的方法，其特征在于，

所述位置調整裝置，使所述姿勢預測網絡，通過所述關鍵點分組層，參考每個所述部分親和力字段，分別連接已提取的關鍵點對中具有最高相互連接概率的對，從而對已提取的關鍵點進行分組。

6.根據權利要求1所述的根據駕駛員狀態調整駕駛員輔助裝置的位置的方法，其特征在于，

在所述步驟(b)中，

所述位置調整裝置，使所述人臉檢測器，(i)通過卷積層對所述上半身圖像使用至少一個卷積運算，生成至少一個特征圖，(ii)通過區域生成網絡生成與所述特征圖上的一個以上的對象相對應的一個以上的建議框，(iii)通過池化層，對與所述特征圖上的所述建議框相對應的一個以上的區域使用至少一個池化運算，生成至少一個特征矢量，(iv)通過全連接層，對所述特征矢量使用至少一個全連接運算生成至少一個全連接輸出值，(v)對所述全連接層的所述全連接輸出值，使用分類運算和回歸運算，分別輸出關于所述對象的類別信息和回歸信息之后，通過分類層和回歸層，檢測所述上半身圖像上的所述駕駛員的所述面部，其中，每個所述對象對應于每個所述建議框。