[發(fā)明專利]基于圖文識別和語義的機(jī)器人自主定位和導(dǎo)航

有效

• 申請?zhí)枺?/td>: 201610912309.7
• 申請日: 2016-10-20
• 公開（公告）號: CN107967473B
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計）人: 王慶文
• 申請（專利權(quán)）人: 南京萬云信息技術(shù)有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G01C11/00;G01C21/00
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 李飛

1.基于圖文識別和語義的機(jī)器人自主定位和導(dǎo)航的方法，其特征在于，包括：

步驟a：通過攝像頭獲取環(huán)境的圖片信息；

步驟b：從所述圖片信息中提取有標(biāo)識意義的包含圖文信息的區(qū)域，并進(jìn)行識別，得到識別以后的圖文信息；

步驟c：將所述識別以后的圖文信息作為路標(biāo)，進(jìn)行非線性優(yōu)化；

步驟d：系統(tǒng)實時將所述識別以后的圖文信息與先前的緩存的圖文信息進(jìn)行匹配，結(jié)合先前的機(jī)器人位置，判定所述識別以后的圖文信息為重復(fù)的圖文信息，從而斷定此為回路檢測成立；

步驟e：根據(jù)所述回路檢測的成立，矯正所述機(jī)器人位姿的誤差；

步驟f：根據(jù)識別的結(jié)果，并通過人工干預(yù)，賦予環(huán)境地圖以語義信息；

其中，所述步驟b包括：

步驟b11：通過基于重建的超分辨率算法把連續(xù)的幾幀低分辨率圖像融合成一幀高分辨率圖形；

步驟b12：在合成的所述高分辨率圖形上面，通過極值區(qū)域ER篩選方法有效減少所要識別的圖文區(qū)域的數(shù)量，從而減少下一步OCR引擎所要處理的圖文區(qū)域的數(shù)量，提高了識別的實時性；

步驟b13：將第二步的處理結(jié)果，也就是一系列得可能的圖文區(qū)域作為OCR系統(tǒng)的輸入，OCR系統(tǒng)對照應(yīng)用字典，給出識別的結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟b11：通過基于重建的超分辨率算法把連續(xù)的幾幀低分辨率圖像融合成一幀高分辨率圖形，包括：

1)利用SURF或者ORB進(jìn)行特征點的匹配；

2)基于所述特征點的匹配獲得不同圖形之間的變換矩陣；

3)根據(jù)所述變換矩陣把不同的幀圖像變換到同一個局部坐標(biāo)系下；

4)利用最大后驗概率算法MAP融合多幀圖像到一張高分辨率圖像；

下面公式中表示對目標(biāo)高分辨率圖像E的估計，也就是算法最終的輸出結(jié)果；

其中的先驗概率項lnp(E)表示高分辨率圖像E出現(xiàn)的先驗概率，代表了對高分辨率圖像的一種評價標(biāo)準(zhǔn)，以避免病態(tài)問題的出現(xiàn)；

在MAP及相關(guān)的超分辨率方法中，體現(xiàn)加入的HR圖像的先驗知識的這一項lnp(E)，通常表達(dá)了對目標(biāo)圖像平滑程度的要求，使得結(jié)果圖像具有比較強(qiáng)的空間連續(xù)性；

所述步驟b12：在合成的高分辨率圖像上面，通過極值區(qū)域ER篩選方法有效減少所要識別的圖文區(qū)域的數(shù)量，從而減少下一步OCR引擎所要處理的圖文區(qū)域的數(shù)量，提高了識別的實時性，包括：

圖像幀為I，深度信息為D，語義字典為L；

其中：ER指的是圖像上的一個區(qū)域R，它的邊界外的像素δR的亮度值大于區(qū)域內(nèi)的像素的亮度值，也就是對于任意的p∈R，q∈δR，有C(p)θC(q)，其中C(p)，C(q)分別表示像素p、q的亮度值，θ表示區(qū)分ER和非ER區(qū)域的界限值；

算法過程：

輸入：I、D、L

A)從圖像中抽取ER；

B)根據(jù)深度信息估計圖像中每個像素的平面法向量；

C)根據(jù)Cer準(zhǔn)則減少ER的數(shù)量；

D)組合相鄰的ER作為包含單詞的區(qū)域，提供給OCR系統(tǒng)；

E)OCR系統(tǒng)針對語義字典進(jìn)行處理，得到識別的結(jié)果；

上面步驟C)中的Cer是根據(jù)室內(nèi)環(huán)境中文字及圖形標(biāo)識牌的一般規(guī)律總結(jié)的先驗知識，比如這類圖文標(biāo)識一般出現(xiàn)在靜態(tài)、豎直的墻壁上，具有一定的物理大小，所述Cer準(zhǔn)則包括：

A)對于拼音文字，每個ER包含的封閉區(qū)域少于3個；

B)所有的圖文標(biāo)志都出現(xiàn)在豎直或者近乎豎直的平面上；

C)所有的圖文標(biāo)志的ER都不會超出一定的物理大小；

步驟b13：將第二步的處理結(jié)果，也就是一系列得可能的圖文區(qū)域作為OCR系統(tǒng)的輸入，OCR系統(tǒng)對照應(yīng)用字典，給出識別的結(jié)果。

3.根據(jù)權(quán)利要求1步驟f所述的方法，其特征在于，根據(jù)機(jī)器人形成的環(huán)境地圖，通過人工標(biāo)注，形成語義地圖，包括：

步驟f11：打開工具軟件，載入機(jī)器人所形成的地圖；

步驟f12：對于所有機(jī)器人給出的文字信息，如果是表示空間單元，人工標(biāo)出所述空間單元與其他單元的分界線，一般是門的位置畫出一條直線，并命名單元名稱，其中：所述單元名稱一定要和機(jī)器人識別的結(jié)果一樣；

步驟f13：對于機(jī)器人沒有給出文字信息的空間單元，人工也要標(biāo)注出這個單元與其它單元的分界線，并命名這個單元；

步驟f14：將人工處理的結(jié)果保存為特定的格式。