[發明專利]融合AV視頻通訊與AI實物識別的在線視頻系統及方法

有效

• 申請號: 201910007218.2
• 申請日: 2019-01-04
• 公開（公告）號: CN109726697B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 周柳青;黃海華;羅智靈;郭自豪
• 申請（專利權）人: 北京靈優智學科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T5/00;H04N5/232;H04N5/247;H04N7/14
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 席小東

1.一種基于融合AV視頻通訊與AI實物識別的在線視頻系統的方法，其特征在于，融合AV視頻通訊與AI實物識別的在線視頻系統，包括終端主體(1)、可旋轉腳架(2)和雙攝像頭機構(3)；所述終端主體(1)的背面安裝所述可旋轉腳架(2)，通過所述可旋轉腳架(2)，調節所述終端主體(1)的使用角度；所述終端主體(1)的頂部安裝所述雙攝像頭機構(3)；

所述雙攝像頭機構(3)包括支撐架(3.1)、雙攝像頭收容腔(3.2)、主攝像頭(3.3)、從攝像頭(3.4)、陀螺儀(3.5)和主控電路板(3.6)；

所述支撐架(3.1)可轉動安裝于所述終端主體(1)的頂部；所述支撐架(3.1)的頂部一體成形所述雙攝像頭收容腔(3.2)；所述主攝像頭(3.3)、所述從攝像頭(3.4)、所述陀螺儀(3.5)和所述主控電路板(3.6)均設置于所述雙攝像頭收容腔(3.2)的內部；其中，所述主攝像頭(3.3)前向設置，所述從攝像頭(3.4)前向且斜向下設置，所述主攝像頭(3.3)的主光軸與所述從攝像頭(3.4)的從光軸具有一定的夾角；所述陀螺儀(3.5)用于采集所述主攝像頭(3.3)的主光軸的設置角度；所述主攝像頭(3.3)、所述從攝像頭(3.4)和所述陀螺儀(3.5)均連接到所述主控電路板(3.6)；

其中，轉動所述支撐架(3.1)，調節所述主攝像頭(3.3)的主光軸的角度，當所述主攝像頭(3.3)的主光軸為水平方向時，所述主攝像頭(3.3)采集所述終端主體(1)正前方的視頻信息，進而實現視頻通訊；此時，所述從攝像頭(3.4)的從光軸與所述主攝像頭(3.3)的主光軸的夾角為60度，所述從攝像頭(3.4)采集所述終端主體(1)前方底面的視頻信息，進而實現對所述終端主體(1)前方底面放置物的AI實物識別；

其中，所述主攝像頭(3.3)設置于所述雙攝像頭收容腔(3.2)的中心位置，所述主攝像頭(3.3)的主光軸與所述雙攝像頭收容腔(3.2)的軸心平行；所述從攝像頭(3.4)傾斜設置于所述雙攝像頭收容腔(3.2)的底面凹槽中；

其中，所述主控電路板(3.6)為SOC芯片；

所述陀螺儀(3.5)通過I2C總線連接到SOC芯片；所述主攝像頭(3.3)的輸出端連接到第一數字信號處理器DSP1的輸入端；所述第一數字信號處理器DSP1的輸出端連接到USB-HUB集線器的輸入端；所述從攝像頭(3.4)的輸出端連接到第二數字信號處理器DSP2的輸入端；所述第二數字信號處理器DSP2的輸出端連接到USB-HUB集線器的輸入端；所述USB-HUB集線器的輸出端通過USB總線連接到SOC芯片；

方法包括以下步驟：

步驟1，設從攝像頭(3.4)的光軸與水平面夾角的有效范圍為β₁～β₂；在β₁～β₂之間選取若干個角度值；對于每個角度值β_i，β_i∈[β₁，β₂]，均預存儲對應的透視畸變矩陣；

步驟2，主攝像頭(3.3)的主光軸與從攝像頭(3.4)的從光軸之間的夾角為固定值，設該夾角為夾角γ；

步驟3，調節可旋轉腳架(2)的角度，進而調節終端主體(1)的安裝角度；調節支撐架(3.1)的角度，進而調節主攝像頭(3.3)和從攝像頭(3.4)的安裝角度；

步驟4，陀螺儀(3.5)實時采集主攝像頭(3.3)的主光軸與水平面的夾角α，并實時將夾角α發送給主控電路板(3.6)；

步驟5，一方面，主攝像頭(3.3)實時采集終端主體(1)前方的視頻圖像，經數字信號處理以及編碼后，得到編碼后的視頻圖像；然后，將所述編碼后的視頻圖像發送給主控電路板(3.6)，主控電路板(3.6)再將所述編碼后的視頻圖像通過網絡發送給另一端，由此實現視頻溝通的功能；

另一方面，主控電路板(3.6)根據陀螺儀(3.5)采集到的夾角α、以及主攝像頭(3.3)的主光軸與從攝像頭(3.4)的從光軸之間的夾角γ，換算得到從攝像頭(3.4)的從光軸與水平面的夾角θ；然后，所述主控電路板(3.6)判斷夾角θ是否位于β₁～β₂之間，如果不位于，則不再進行AI實物識別的過程；如果位于，則執行步驟6；

步驟6，所述主控電路板(3.6)根據步驟1預存儲的角度值β_i和透視畸變矩陣的映射關系，得到與夾角θ最接近的角度值β_i；進而得到與角度值β_i對應的透視畸變矩陣；該透視畸變矩陣即為與夾角θ對應的透視畸變矩陣；

然后，所述從攝像頭(3.4)實時采集到其采集視野的視頻圖像信息，并實時發送給所述主控電路板(3.6)；

所述主控電路板(3.6)根據與夾角θ對應的透視畸變矩陣，對實時采集到的視頻圖像信息進行圖形畸變校正，得到校正后的視頻圖像信息；然后，所述主控電路板(3.6)基于所述校正后的視頻圖像信息進行AI實物識別；

其中，步驟1中，通過以下方法，獲得與每個角度值β_i對應的透視畸變矩陣：

步驟1.1，終端主體(1)通過可旋轉腳架(2)支撐于桌面；在終端主體(1)前方的桌面上放置正方形標圖，所述正方形標圖位于所述從攝像頭(3.4)的采集范圍；

步驟1.2，調節所述雙攝像頭機構(3)的角度，使所述從攝像頭(3.4)與水平面的夾角為角度值β_i；然后，所述從攝像頭(3.4)采集所述正方形標圖的成像圖；所述成像圖為梯形形狀圖；記錄所述梯形形狀圖的四個頂點的坐標，分別為：P1、P2、P3和P4；對所述梯形形狀圖的四個頂點進行校正，校正為正方形形狀圖，記錄所述正方形形狀圖的四個頂點的坐標，分別為P1’、P2’、P3’和P4’；

步驟1.3，根據P1、P2、P3和P4四個頂點，與對應的P1’、P2’、P3’和P4’四個頂點的轉換關系，得到與角度值β_i對應的透視畸變矩陣；

其中，步驟1中，β₁為55度；β₂為80度；在55度～80度之間，每隔5度選取一個角度值β_i；

其中，AI實物識別技術為基于DeepLearning框架實現并進行多輪工程優化的算法集：具有以下特點：

(1)CLSR：Colored Light Spectrum Recovery

有色光糾正算法：自動修正環境光色溫偏差，提高AI識別精度

(2)RIR：Robust Image Recognition

魯棒圖像識別：通過正樣本和負樣本的采樣比較進行圖像識別

(3)OSRA：Objects Spatial Relationship Abstraction

物體位置區塊算法：圖像智能定位，剔除畫面中其他干擾元素

(4)WSEA：Writing Stroke ExtractionAnalysis

筆跡描紅對比分析：筆跡對比分析進行文字識別

(5)AHEA:Academic Handwriting and Emotion Analysis

手寫筆跡與情感分析：通過更多風格的筆跡采樣，分析，進行深層次的手寫文字對比識別；

為提高AI實物識別精度，在進行AI實物識別時，還采用了畸變圖像的校正功能；

具體的，在標準狀態下，主攝像頭的光軸水平，從攝像頭光軸與水平面成60°拍攝，此時，對于從攝像頭，由于拍攝時從攝像頭視角的原因，導致透視畸變，原始的正方形圖像，經從攝像頭拍攝后，成像為梯形；

距離攝像頭越近的邊，成像后的對應邊越長，距離攝像頭越遠的邊，成像后的對應邊越短，由于這種畸變現象，導致AI識別圖像的準確度較低；如果需要恢復被拍攝物的形狀或者從原來圖像中提取標志點的真實位置信息，就應該消除圖像的透視效應；對這幅圖像透視校正的目的就是糾正這種形變，得到正方形的正視角圖像；

透視變換，對畸變圖像的校正需要取得畸變圖像的一組4個頂點的坐標和校正后圖像的一組4個頂點的坐標，通過兩組坐標點計算出透視變換的透視畸變矩陣，之后對整個原始圖像執行透視畸變矩陣的變換，實現圖像校正；

具體思路如下：

(一)標準狀態下的校正

(1)標準狀態下，主攝像頭水平，從攝像頭與被拍攝面成60°夾角；

(2)將棋盤格標圖或正方形標圖放到桌面進行拍攝，保證標圖完整落到從攝像頭成像區域；

(3)對成像到的圖形的4個角點進行校正，校正為正方形，得到校正后圖像的4個角點坐標；根據校正前4個角點坐標與校正后4個角度坐標的對應關系，獲取到透視變換矩陣；

在標準狀態下，整個圖像進行T_60透視畸變矩陣變換，得到校正后的圖像；

(二)實際用戶身高，距離，使用習慣的差異，主攝像頭并非始終水平，從攝像頭與水平面的拍攝角度也會不同，透視變換矩陣并不固定，增加陀螺儀測量主攝像頭光軸角度數據，同步給系統；系統根據陀螺儀測量到的主攝像頭光軸角度數據、以及主攝像頭和從攝像頭光軸夾角數據，得到從攝像頭光軸與水平面夾角值；根據電腦模型模擬不同場景和用戶身高數據，確定支持AI實物識別的主攝像頭光軸旋轉范圍設計為-5°至20°，在其他角度只能進行主攝像頭的視頻通話；按照這個范圍以5°步進從攝像頭與水平面的夾角為55°，60°，65°，70°，75°，80°，其中60°角度為標準角度；

在55°～80°范圍內，按5°步進分別進行采樣計算透視變換矩陣預存，系統根據陀螺儀的角度信息調用不同參數進行圖形校正；

也可以按1°步進進行采樣；

同正方形標圖方法拍攝取四角點計算出透視變換矩陣的思路相同，將步進到的55°，65°，70°，75°，80°分別命名為T_55,T_65,T_70....T_80，并同標準角度的透視畸變矩陣T_60一并存入系統；

在系統調用從攝像頭時候，同時讀取陀螺儀角度信息，然后調用對應角度的透視變換矩陣對整個圖像進行變換，實現不同角度的透視變換校正。