[發明專利]空頻譜多維聯合調制的成像加速方法和裝置

有效

• 申請號: 202010522279.5
• 申請日: 2020-06-10
• 公開（公告）號: CN111698435B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 邊麗蘅;宋昊澤;張軍
• 申請（專利權）人: 北京理工大學
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N5/232;G06F1/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

本申請提出一種空頻譜多維聯合調制的成像加速方法和裝置，其中，方法包括：對目標場景進行譜域調制、空域調制和頻域調制；使用傳感器在單曝光時間內耦合采集譜域調制、空域調制和頻域調制下的單張圖像；通過解耦算法對單張圖像進行反解，得到多幀場景圖像。由此，達到加速成像的效果，進而能夠有效提升傳感器成像速度，提高拍攝視頻的幀頻，并同時具有魯棒、精確、高效的優點。

技術領域

本申請涉及計算攝像學技術領域，尤其涉及一種空頻譜多維聯合調制的成像加速方法和裝置。

背景技術

在計算機視覺和計算攝像學等領域中，加速成像方法的研究一直是著重要的研究內容。

現在科技發展迅速，產品迭代速度越來越快，在圖像領域以及其他視覺方向中對于高速成像的技術要求越來越來，提出了更高的對于視頻拍攝幀頻的要求，期望能夠實現更高幀率場景的輸出。不管在圖像研究領域還是在與圖像相關的科技領域中，高速成像都有很廣泛且重要的應用。比如在圖像研究領域中，微觀角度觀察生物組織的變化，微觀裂紋的形成與擴展，等離子體的變化以及宏觀領域中火箭燃料的發射等等各種科學研究中，都會利用到高速成像的技術。在與圖像相關的科技領域中，高速成像也有廣泛的應用，如體育比賽中常用的“鷹眼”技術，可以以回放的方式觀察高速運動中的物體或運動；各家科技公司都會擴展其攝像頭成像的功能，實現更高幀率視頻的輸出等等。高速成像技術已經應用于安防、體育以及科研領域的各個方面，用于拍攝這些高速過程的相機稱為高速攝像機。

高速攝像機能夠記錄下以高速運動的物體的瞬態運動過程，通過各種模擬或者數字系統將光場轉換成電信號存儲在存儲設備中，供以后的進一步處理使用。常用的圖像傳感器包括電荷耦合器件(CCD)和互補金屬氧化物半導體(CMOS)。電荷耦合器件與互補金屬氧化物半導體目前都是主流的圖像傳感器，兩者的區別在于CCD傳感器存儲的電荷信息在時序電路控制下一位接著一位的傳遞再存儲下來，而COMS傳感器可以通過X-Y尋址，從而讀出記錄下的電荷并且存儲下來。在高速成像技術中，由于CMOS傳感器光電轉換速度大于CCD，因此大多傳感器使用CMOS傳感器。

目前高速相機很多由歐美國家和日本等國生產和研發，國內對高速相機的研發相對比較落后，因此在應用高速成像等技術領域，往往需要通過進口來使用高速成像的技術。因此為了降低使用高速成像技術的成本，使高速成像技術更好的應用于國內市場以及科研領域，我們有必要積極開展在高速相機領域的研究，從而推動高速成像技術領域的進步。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本申請的一個目的在于提出一種空頻譜多維聯合調制的成像加速方法，利用多光譜通道的延時，壓縮感知和二值調制器件的快速調制這三重加速手段，在傳感器單曝光時間內對快速動態場景進行時-頻-空三重調制，并使用算法從單張拍攝圖像中重建多幀動態場景圖像，從而實現從一張拍攝圖像重建多幀場景圖像，達到加速成像的效果，該方法能夠有效提升傳感器成像速度，提高拍攝視頻的幀頻，并同時具有魯棒、精確、高效的優點。

本申請的另一個目的在于提出一種空頻譜多維聯合調制的成像加速裝置。

本申請一方面實施例提出了一種空頻譜多維聯合調制的成像加速方法，包括：

對目標場景進行譜域調制、空域調制和頻域調制；

使用傳感器在單曝光時間內耦合采集譜域調制、空域調制和頻域調制下的單張圖像；

通過解耦算法對單張圖像進行反解，得到多幀場景圖像。

本申請另一方面實施例提出了一種空頻譜多維聯合調制的成像加速裝置，包括：

第一調制模塊，用于對目標場景進行譜域調制；

第二調制模塊，用于對目標場景進行空域調制和頻域調制；