[發明專利]基于相機陣列的高動態十億像素視頻采集方法及裝置

有效

• 申請號: 201711481644.7
• 申請日: 2017-12-29
• 公開（公告）號: CN108156383B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 劉燁斌;袁肖赟;方璐;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/247;H04N5/374;H04N5/265;H04N5/235;H04N5/14;H04N9/04;H04N9/64
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于相機陣列的高動態十億像素視頻采集方法及裝置，多尺度相機陣列具有參考相機和至少一個長焦相機，其中，方法包括以下步驟：通過鏡頭焦距差距對所示至少一個長焦相機的長焦相機圖像進行降采樣；通過匹配算法獲取至少一個長焦相機在參考相機中的位置；將對參考相機中的位置的圖像塊進行上采樣，得到參考塊；將長焦相機圖像與參考塊對齊，以將長焦相機圖像嵌入參考相機圖像中，并進行圖像增強與顏色校正，得到視頻采集結果。該方法可以實現十億像素的視頻合成，大大提高了相機陣列的靈活性，使得相機可以自由分配到有需要的區域，增加了CMOS傳感器的利用率，且具有非常高的并行度。

技術領域

本發明涉及計算機視覺和光學技術領域，特別涉及一種基于相機陣列的高動態十億像素視頻采集方法及裝置。

背景技術

近年來出現的“十億像素級視頻”采集，突破了人眼視覺信息捕獲的極限，可實現革命性的多尺度超高分辨率(比現有攝像機高兩個數量級)視頻捕獲，寬空間捕獲范圍和高空間分辨率都將得到滿足，能極大提高視覺計算的性能，推動計算機視覺及人工智能各領域如安防監控、無人機、無人車等的技術發展。

相機陣列的設計是計算機視覺和光學領域中一個非常重要的問題。相關技術中的單鏡頭相機受到光學系統的限制，無法同時兼顧圖像的分辨率和圖像質量。因此，在目前想要實現高質量的十億像素視頻的采集，相機陣列是最好的方法。

相關技術中的相機陣列通常都是將一定數量的相機組成陣列，固定方向，再利用相鄰相機之間的重疊區域對相機進行標定，最后生成拼接完成的視頻。然而，這樣的做法主要存在以下幾個問題：(1)靈活性差：相機位置和角度固定。在實際使用中，不能根據實際的需求在分配和調節每個相機，可能會造成部分相機資源的浪費；(2)相機的使用率低：相鄰相機之間需要有足夠大的重疊區域(20％左右)，大大降低了相機CMOS(ComplementaryMetal Oxide Semiconductor，互補金屬氧化物半導體)芯片的使用率；(3)顏色校正困難：因為每個相機的傳感器及其參數(曝光時間，白平衡，CMOS本身的感光度等)不同，所以即使相鄰的相機拍攝到同一個物體，其顏色，亮度也會有所不同。此外，長焦鏡頭相機拍到的圖像往往容易存在邊緣變暗的現象。因此，為了使得拼接結果能夠平滑過渡，需要進行顏色校正，且沒有全局的參考，顏色校正只能依靠相鄰相機之間的重疊區域，校正的結果產生偏差，有待解決。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于相機陣列的高動態十億像素視頻采集方法，該方法大大提高了相機陣列的靈活性，使得相機可以自由分配到有需要的區域，且具有非常高的并行度。

本發明的另一個目的在于提出一種基于相機陣列的高動態十億像素視頻采集裝置。

為達到上述目的，本發明一方面實施例提出了一種基于相機陣列的高動態十億像素視頻采集方法，所述多尺度相機陣列具有參考相機和至少一個長焦相機，其中，所述方法包括以下步驟：通過鏡頭焦距差距對所示至少一個長焦相機的長焦相機圖像進行降采樣；通過匹配算法獲取所述至少一個長焦相機在所述參考相機中的位置；將對所述參考相機中的位置的圖像塊進行上采樣，得到參考塊；將所述長焦相機圖像與所述參考塊對齊，以將所述長焦相機圖像嵌入參考相機圖像中，并進行圖像增強與顏色校正，得到視頻采集結果。

本發明實施例的基于相機陣列的高動態十億像素視頻采集方法，通過利用顏色校正的技術將低分辨率高動態參考相機視頻的顏色轉移映射到大焦距相機的圖像中，從而實現十億像素的視頻合成，大大提高了相機陣列的靈活性，使得相機可以自由分配到有需要的區域，增加了CMOS傳感器的利用率，且具有非常高的并行度。

另外，根據本發明上述實施例的基于相機陣列的高動態十億像素視頻采集方法，還可以具有以下附加的技術特征：