[發明專利]一種面向助盲場景的拓撲語義地圖構建方法

在審

• 申請號: 202211315077.9
• 申請日: 2022-10-26
• 公開（公告）號: CN115880397A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 曹政才;孫伊揚;馬哲;牟洪民;石胤斌;張港;夏霽
• 申請（專利權）人: 北京化工大學
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06T7/66;G06T5/30;G06T5/00;G06V30/148;G06V30/19;G06V30/422
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種面向助盲場景的拓撲語義地圖構建方法，其特征在于，包括：

步驟1：對攝像頭采集的平面布局圖圖像進行檢測、校正與提取的預處理操作；

步驟2：采用基于神經網絡聚類算法的非監督性圖像分割網絡與OCR文字識別網絡相結合的方法，對預處理后的圖像進行語義分割，提取出布局圖中的可通行區域；

步驟3：計算生成可通行區域中的交叉路口節點，通過閾值分割法提取房間節點，通過加權距離構造連通關系矩陣；采用PaddlePaddle平臺的OCR文字識別網絡檢測房間名稱后以加權距離為準則分別將房間名稱、房間節點、最近交叉口節點進行匹配，最后結合Floyd算法生成任意兩房間節點間的包含方向角度指引信息的規劃路徑。

2.根據權利要求1所述的一種面向助盲場景的拓撲語義地圖構建方法，其中：

在步驟1中，具體包含以下步驟：

步驟1.1：采用現有的矩形檢測算法檢測圖像中包含地圖區域邊界的最大矩形框，得到該矩形框的四角坐標；

步驟1.2：采用透視變換Perspective Transform以步驟1.1中的四角坐標為基準將地圖區域校正為正視圖視角平面并提取出來。

3.根據權利要求1所述的一種面向助盲場景的拓撲語義地圖構建方法，其核心在于：

在步驟2中，具體包含以下步驟：

步驟2.1：將步驟1處理后的圖像保持縱橫比不變，統一調整至長邊為4700個像素，輸入一個CNN網絡中，該網絡由兩個組件構成，每個組件包含一個二維100通道的3×3卷積、一個ReLU激活函數、一個Batch Normalization功能塊，提取輸出特征層；

步驟2.2：特征提取后通過一個1×1的卷積轉換到一個q維聚類空間，其中q為初始聚類數量，取q＝100，并通過Batch Normalization把聚類空間的q維特征向量歸一化；

步驟2.3：使用argmax函數對每個像素點進行分類，根據此偽標簽計算特征相似度損失和空間連續性損失，具體計算公式如下：

Loss＝L_sim(r_n,c_n)+μL_con(r_n)

其中μ表示平衡兩種損失的權重，μ取10；

L_sim(r_n,c_n)為特征相似性損失，表達式如下：

其中，i(i＝1,…,q)為聚類索引，n(n＝1,…,N)為像素，其中N為輸入圖像的像素總數，r_n為歸一化響應圖，c_n為經過argmax函數的歸一化響應r_n的聚類標簽，r_n,i為r_n中的第i個元素；

L_con(r_n)為空間連續性損失，其表達式如下：

其中W、H代表輸入圖像的寬度和長度，r_ξ,η代表在響應圖r_n中(ξ,η)像素位置的值；

進行反向傳播，以隨機梯度下降更新參數，輸出全圖像的分割結果，不同類別間標注為不同顏色；

步驟2.4：將步驟2.1中統一大小的圖像同時輸入到OCR文字識別網絡中檢測出附有“通道”、“走廊”關鍵文字的相應坐標，將步驟2.3中輸出的分割結果圖灰度化，并存儲灰度化后的圖像在關鍵文字坐標處的灰度值，即對應類別所標記的顏色的灰度；

步驟2.5：以步驟2.4中灰度化后的分割結果圖為輸入，遍歷全圖像素，將灰度值等于步驟2.4中存儲的灰度值的像素賦值為255，即填充為白色，其余像素賦值為0，即填充為黑色，最后得到初步的通行區域蒙版。

4.根據權利要求1所述的一種面向助盲場景的拓撲語義地圖構建方法，其核心在于：

在步驟3中，具體包含以下步驟：

步驟3.1：對上述蒙版先采用5×5的矩形結構內核進行腐蝕操作，迭代次數為1，目的在于消除大部分噪點；隨后采用40×40的矩形結構內核進行膨脹操作，迭代次數為1，目的在于消除地圖中文字部分的鏤空區域；

步驟3.2：遍歷蒙版，將第一個灰度值為255的像素點作為種子點獨立入棧并標記，判斷當前種子點的四個鄰域內有無符合灰度值為255的像素點，如果有，將該點存入代表一個閉合區域的列表中，入棧作為更新的種子點并進行標記；如果沒有，彈出棧頂種子點繼續進行判斷，循環直到入棧的所有元素都被彈出，至此所有該閉合區域的像素點均被存入此列表；找到下一個未被標記的灰度值為255的像素點作為的新種子點繼續進行上述操作直到整個蒙版灰度值為255的像素均被標記，生成蒙版中n個閉合區域的n個列表；

步驟3.3：計算各個列表中的元素數量，保留元素數量最大的列表，遍歷此列表元素生成替換新的可通行域蒙版；

步驟3.4：基于Harris算法對灰度化的蒙版進行角點檢測獲取角區域，進一步擬合中心坐標；

步驟3.5：以角點的擬合中心為圓心，統計半徑為20個像素的圓形區域內黑白像素數量，只保留黑白像素數量比小于1的內角；

步驟3.6：將黑色背景進行一次采用5×5的矩形結構內核的膨脹操作，目的在于將保留的內角覆蓋于黑色背景中，使不可直接通行的兩角點間全部為黑色像素，用于后續加權距離計算；

步驟3.7：分別計算兩兩角點連線之間的加權距離L：

L＝μ₁N_b+μ₂N_w

其中μ₁表示障礙物權重；μ₂表示通行區權重；N_b表示黑色像素數量；N_w表示白色像素數量，μ₁取2、μ₂取1；

步驟3.8：構建加權距離矩陣，其包含各個角點之間的加權距離信息，對加權距離最小的角點進行最多4個點的匹配，其中兩個點的匹配取兩點中點；三個點的匹配取三點重心；四個點的匹配求對頂點連線交點，最終保留為交叉口節點；

步驟3.9：以權利要求3步驟2.4中灰度化后的分割結果圖為輸入，生成灰度直方圖，手動測取平面布局圖中象征房間門口標識的圖像區域灰度值范圍，使用OpenCV計算機視覺庫的cv.Threshold函數，處理灰度化后的分割結果圖，參數thresh設為灰度值范圍下界，參數maxval設為255，參數type設為cv.THRESH_BINARY，將函數的輸出再次輸入到cv.Threshold函數中，參數thresh設為灰度值范圍上界，參數maxval設為255，參數type設為cv.THRESH_BINARY_INV，最終分割出房間門口標識區域，計算每個區域的像素坐標均值求得房間門口中心節點；

步驟3.10：將步驟3.3中的蒙版進行黑白翻轉，和預處理后的統一大小的平面布局圖圖像進行“與”操作，將生成的圖像輸入OCR文字識別網絡，生成文字識別信息，將文字信息與距離最近的房間節點進行匹配并存儲；

步驟3.11：將房間節點與加權距離最近的通行區域交叉口節點匹配，至此構成基本的以交叉口節點為主干，房間節點為分支的拓撲地圖；

步驟3.12：以交叉口節點及其加權距離構建包含交叉口節點間加權距離信息的加權圖，依托Floyd算法實現交叉口節點間的路徑規劃；

步驟3.13：輸入當前房間名稱與目標房間名稱時，檢索所匹配存儲的房間節點，進一步將該節點匹配到相應交叉口節點，以交叉節點作為路徑規劃部分的起始節點與終止節點；

步驟3.14：計算所規劃出的兩兩相鄰路徑節點向量間的與縱坐標方向的順時針夾角，作為導航中的方向指引輸出。