[發明專利]基于多相機旋轉掃描的實時全景監控方法和裝置

有效

• 申請號: 201310454529.6
• 申請日: 2013-09-29
• 公開（公告）號: CN103517041A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 陳文頡;朱皓;竇麗華;陳杰;鄧方;王偉娜;潘潔
• 申請（專利權）人: 北京理工大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/232;G06T7/00
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高燕燕

1.一種基于多相機旋轉掃描的實時全景監控方法，其特征在于，包括以下步驟：

步驟一、根據轉臺旋轉速度以及相機視場角大小確定采樣間隔；根據轉臺旋轉速度、旋轉方向以及視場角大小以及確定感興趣區域；多個圖像采集設備的參數校準，在同一時刻對每個成像設備采樣初始幀，根據成像設備安裝位置及水平校準偏移量，顯示在360度全景圖像的相應初始位置上，同時記錄當前采樣時旋轉云臺所處的角度信息；

步驟二、每臺攝像設備分別采集一幀圖像，并進行像素強度補償，每臺設備的采樣結果分別保存在各自的采樣圖像序列中，同時記錄當前采樣時旋轉云臺所處的角度信息；顯示每一個圖像序列的初始圖像，根據相機間安裝的相對位置，確定每組中初始幀在360度全景圖像上的位置；

步驟三、選取一個圖像序列，提取上一幀A和當前幀B，檢測并描述ROI區域內的特征點，再對A、B兩幀中提取到的特征點進行匹配，根據匹配結果調整特征檢測中的非極大值抑制閾值；

步驟四、根據匹配結果計算單應性矩陣，根據單應性矩陣中的參量識別是否符合拼接條件；符合拼接條件的，根據單應性矩陣，得到B幀相對于A幀的偏移量，采用漸入漸出的方法消除拼接縫隙，根據偏移量將B幀拼接至A幀并在全景圖像上顯示；若不符合拼接條件的，接收當前角度信息，以此為依據，將幀B顯示在全景圖像的相應位置。

步驟五、檢測是否有下一幀，如果有則轉至步驟一，否則結束。

2.如權利要求1所述的一種基于多相機旋轉掃描的實時全景監控方法，其特征在于，步驟一中所述的參數校準包括：在每臺成像設備旋轉經過云臺0位的時候各采樣一幀，通過圖像匹配，進行全部成像設備的參數校準，包括垂直偏移校準、水平偏移校準、亮度增益校準。

3.如權利要求1或2所述的一種基于多相機旋轉掃描的實時全景監控方法，其特征在于，步驟三中調整特征檢測中的非極大值抑制閾值采用surf(Speeded-Up?Robust?Features)算法中的特征點檢測方法進行特征點的提取；再采用ORB(Comparative?Evaluation?of?Binary?Features)特征算法對檢測到的特征點進行描述；之后根據A、B兩幀中的特征點進行特征匹配，并對匹配結果進行篩選；修改特征檢測中的相關閾值，使特征點數量保持在滿足匹配需求盡可能少的數值。

4.一種基于多相機旋轉掃描的實時全景監控裝置，其特征在于，包括：

輸入模塊，由一個或多個圖像采集設備固定在轉臺上，成像設備拍攝不同的角度，且相對位置固定，每經過一段時間建個進行一次采樣，每個成像設備的采樣圖像分別組成一個圖像序列，要求每個序列中的相鄰幀需要有足夠的重疊區域，提供最新相鄰兩幀的緩沖存儲區；

校準模塊，對不同成像設備之間參數進行校準，包括垂直偏移校準、水平偏移校準、亮度增益校準；

拼接模塊，每一個圖像序列中，當前幀均與上一幀進行特征匹配，計算偏移量，同時消除拼接縫，確定當前幀顯示位置；

拼接失敗響應模塊，圖像處理模塊中檢測到線性拼接失敗時，利用當前幀采集時響應的云臺位置以及該圖像序列對應的圖像采集設備在轉臺上的相對位置，估計當前幀在全景圖像中的顯示位置；

顯示模塊，提供待顯示圖像和位置信息的緩沖存儲區，根據圖像處理或拼接失敗處理模塊提供的信息，在全景圖像中用當前幀更新相應位置，完成全景圖像的更新。