[發明專利]一種灑水車的視覺主動行人避讓及水壓自適應控制方法

有效

• 申請號: 202011198244.7
• 申請日: 2020-10-31
• 公開（公告）號: CN112395961B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 續欣瑩;楊斌超;謝剛;程蘭;張喆
• 申請（專利權）人: 太原理工大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/40;G06V10/25;G06V10/26;G06V10/56;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G05D1/02
• 代理公司: 太原市科瑞達專利代理有限公司 14101
• 代理人: 王思俊

1.一種灑水車視覺主動行人避讓及水壓自適應控制方法，其特征在于包括如下步驟：

S1：分別對雙目視覺設備的左側攝像頭的采集圖像L和右側攝像頭的采集圖像R進行歸一化處理得到Q1*Q1像素大小的圖像,Q1為實數；其中，所述左側攝像頭的采集圖像L和右側攝像頭的采集圖像R是在同一場景下從雙目攝像頭拍攝得到的視頻中按照大于30幀進行均勻采集獲得的圖像；

S2：計算雙目圖像匹配代價，通過左側攝像頭的采集圖像L和右側攝像頭的采集圖像R的RGB三個通道的像素點絕對差均值C_AV和左側攝像頭的采集圖像L和右側攝像頭的采集圖像R的局部區域n*m灰度值編碼計算的比特串差值C_BIT，將絕對差均值和比特串差值加權求和后得到雙目圖像匹配代價C_SUM；

C_SUM(p，d)＝ρ(C_BIT(p，d)，V_BIT)+ρ(C_AV(p，d)，V_AV)

其中，V_AV、V_BIT為加權值，n、m、V_AV、V_BIT均為實數；p為左側攝像頭的采集圖像L當前像素點，d為是視覺差，M為當前像素點的像素值，Xor(x,y)為對x、y進行異或運算并統計為1的個數，u、v為當前局部區域的像素坐標，n′為局部區域n/2向下取整，m′為m/2向下取整，C_bit為左側攝像頭的采集圖像L和右側攝像頭的采集圖像R局部區域n*m的灰度值進行編碼計算局部區域比特串；為比特位的逐位連接運算,ξ運算則由下公式定義：

S3：計算雙目匹配代價聚合，通過最小化全局優化函數進行代價聚合獲得最佳視覺差，得到視覺差圖像；其中全局優化函數的權值由約束條件條件下的超像素分割結果決定；計算雙目匹配代價聚合的步驟：

ⅰ、對于最小化全局優化函數F(D)，一個像素的視覺差得到最優化視覺差，全局優化函數通過超像素分割得到先驗權值，對左側攝像頭的采集圖像L和右側攝像頭的采集圖像R的分別進行超像素分割，屬于同一像素塊的W₂權值為W₁，不屬于同一像素塊的W₂權值為W₃,W₃與超像素分割的像素灰度差值動態調整，W₁、W₂、W₃為不同像素塊的權重系數，均為實數；

其中，F(D)為全局優化函數，D_p為采集圖像L當前像素點p的視覺差值，α為布爾運算，N_p為左側攝像頭的采集圖像L當前像素點p的周圍8個像素點；

ⅱ、對于每個超像素聚類的中心周圍若干個方向的像素點進行約束條件下的聚類搜索；對于每個聚類的中心點，搜索其像素點周圍若干個方向的像素點，然后對于滿足約束條件的像素點進行聚類；以像素點左側為例，判斷當前超像素聚類中心點d1和左側中心點d2的空間距離是否小于閾值s1，s1為設定的像素空間距離閾值，是實數，中心點K個方向的顏色差值低于閾值c1且空間距離小于s2的像素點并聚合，c1是實數；

D_space(d1,d2)＜s1,

D_color(d1,d2)＜c1,

D_space＜s2

其中，D_space(d1,d2)和D_color(d1,d2)分別為d1和d2兩個像素點的空間距離和顏色差值；

S4：得到歸一化處理的圖像分別送入神經網絡模型進行行人預測；其中，所述的神經網絡模型是在相關數據集訓練下得到的最佳行人檢測神經網絡模型；

S5:行人檢測神經網絡的主干網絡通過若干一定大小的卷積核提取若干大小的特征圖層，融合網絡將若干大小的特征圖層通過上采樣融合獲得若干融合特征圖，決策單元根據融合特征圖預測行人目標、目標邊界框及坐標；

S6：分別對左側攝像頭的采集圖像L和右側攝像頭的采集圖像R預測的行人目標邊界框進行一致性檢驗，交并比大于一定閾值則為準確結果，得到行人的二維坐標；

S7:將行人的二維坐標和視覺差圖像得到的視差轉化為行人的三維坐標信息，并提取其深度信息進行中位值濾波算法，采集若干次距離進行排序濾波得到準確的深度信息；將所述的深度信息送入PID算法實時自適應控制水壓大小；

S8：行人檢測結果和實時視頻以及相關控制參數通過串口傳輸方式發送到駕駛室的監控設備，相關控制操作通過監控設備以串口傳輸方式發送到水壓控制單元。

2.根據權利要求1所述的一種灑水車視覺主動行人避讓及水壓自適應控制方法，其特征在于所述神經網絡模型包括：

A、行人檢測神經網絡是在相關數據集訓練下得到的最佳行人檢測模型；神經網絡結構包括主干網絡、兩個以上的融合網絡、決策單元，各個融合網絡的參數獨立；

B、主干網絡提取輸入圖像的像素值轉化為R、G、B分別為紅、綠、藍三個顏色通道，三個顏色通道的數據，通過卷積操作提取一系列圖像特征，得到多尺度特征圖像，并將不同尺度的特征圖輸出到融合網絡進行處理，得到多尺度融合特征圖像，決策單元對于得到的多尺度融合特征圖進行預測，最后得到預測結果；

C、決策單元包括目標邊界框預測、坐標預測、行人預測，邊界框預測通過邏輯回歸預測至少2個邊界框，通過計算預測邊界框與真實標注框的交并比值最大的預測邊界框作為最終預測邊界框，通過計算最終預測邊界框的中心點坐標值得到坐標預測值，通過二元交叉熵損失得到行人類別預測；

D、神經網絡的損失函數為坐標預測值方差、邊界框預測值方差、包含行人的置信度方差、不包含行人的置信度方差、行人類別概率方差的方差和；

E、所述輸入圖像分割為T*T個網格，T值為13或26，每個單元格負責檢測網格內的行人目標，在網絡中分別輸出2層特征圖，通過原始圖像分別進行32倍、16倍下采樣得到，其大小為13*13或26*26；總的預測特征圖為2個特征圖通過矩陣上采樣算法的特征融合，每層預測值為T*T*2*(4+1+1)大小的張量，其中2指每層預測邊界框數量，其邊界框大小由K-means聚類算法得到，4為邊框大小x，y，w，h，其中x，y，w，h均為實數,1為置信度,1為行人類別；

F、神經網絡卷積核為1*3、3*1或1*5，5*1的形式，以加快訓練速度和減少參數變量，同時增加網絡層數。