[發明專利]對實景圖像中的字符進行識別的方法和設備

在審

• 申請號: 201410187592.2
• 申請日: 2014-05-06
• 公開（公告）號: CN105095832A
• 公開（公告）日: 2015-11-25
• 發明（設計）人: 張慶久;樂寧
• 申請（專利權）人: 夏普株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06T5/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 王瑋

1.一種對實景圖像中的字符進行識別的方法，包括：

獲取實景圖像和深度圖，所述深度圖中的每個像素表示與實景圖像中的像素相對應的實景點到攝像機的距離；

根據深度圖，檢測出實景圖像中的實景平面；

對檢測到的平面進行校正，使得平面中的字符易于識別；以及

對校正后的平面中的字符進行識別。

2.根據權利要求1所述的方法，其中，根據深度圖檢測出實景圖像中的實景平面包括：

基于深度圖中相鄰像素的深度差，檢測實景圖像中的連通體；

利用檢測出的連通體各像素的坐標及對應的深度值，進行平面擬合；

濾除連通體的位于擬合平面以外的像素；以及

確定包圍連通體的剩余像素的凸多邊形。

3.根據權利要求2所述的方法，其中，如果相鄰像素的深度差小于閾值，則將相鄰像素確定為屬于同一連通體。

4.根據權利要求2所述的方法，其中，平面擬合采用最小二乘法。

5.根據權利要求2所述的方法，還包括：基于檢測出的連通體的面積、平均深度和/或在實景圖像中的相對位置，濾除噪聲連通體。

6.根據權利要求1或2所述的方法，其中，對檢測到的平面進行校正包括：

在三維空間中調整檢測到的平面的傾斜姿態，使其處于與顯示平面平行的狀態；以及

在顯示平面所對應的二維空間中旋轉經調整的平面，使其中的文字平正顯示。

7.根據權利要求6所述的方法，其中，在三維空間中調整檢測到的平面的傾斜姿態包括：

基于平面擬合得到的平面參數，計算出使檢測到的平面旋轉為與顯示平面平行的平面的透視變換矩陣；

對實景圖像的與檢測到的平面相對應的部分的像素應用所述透視變換矩陣。

8.根據權利要求1或2所述的方法，其中，所述實景圖像是彩色圖像或灰度圖像。

9.一種對實景圖像中的字符進行識別的設備，包括：

圖像獲取裝置，用于獲取實景圖像和深度圖，所述深度圖中的每個像素表示與實景圖像中的像素相對應的實景點到攝像機的距離；

平面檢測裝置，用于根據深度圖，檢測出實景圖像中的實景平面；

平面校正裝置，用于對檢測到的平面進行校正，使得平面中的字符易于識別；以及

字符識別裝置，用于對校正后的平面中的字符進行識別。

10.根據權利要求9所述的設備，其中，所述平面檢測裝置包括：

連通體檢測單元，被配置為基于深度圖中相鄰像素的深度差，檢測實景圖像中的連通體；

平面擬合單元，被配置為利用檢測出的連通體各像素的坐標及對應的深度值，進行平面擬合；

噪聲過濾單元，被配置為濾除連通體的位于擬合平面以外的像素；以及

確定單元，被配置為確定包圍連通體的剩余像素的凸多邊形。

11.根據權利要求10所述的設備，其中，如果相鄰像素的深度差小于閾值，則將相鄰像素確定為屬于同一連通體。

12.根據權利要求10所述的設備，其中，平面擬合采用最小二乘法。

13.根據權利要求10所述的設備，其中，所述噪聲過濾單元還被配置為：基于檢測出的連通體的面積、平均深度和/或在實景圖像中的相對位置，濾除噪聲連通體。

14.根據權利要求9或10所述的設備，其中，所述平面校正裝置包括：

三維傾斜校正單元，被配置為在三維空間中調整檢測到的平面的傾斜姿態，使其處于與顯示平面平行的狀態；以及

二維歪斜校正單元，被配置為在顯示平面所對應的二維空間中旋轉經調整的平面，使其中的文字平正顯示。

15.根據權利要求14所述的設備，其中，所述三維傾斜校正單元包括：

透視變換矩陣計算子單元，被配置為基于平面擬合得到的平面參數，計算出使檢測到的平面旋轉為與顯示平面平行的平面的透視變換矩陣；

透視變換矩陣應用子單元，被配置為對實景圖像中與檢測到的平面相對應的部分的像素應用所述透視變換矩陣。

16.根據權利要求9或10所述的設備，其中，所述實景圖像是彩色圖像或灰度圖像。