[發明專利]基于多處理器片上系統的多源圖像融合裝置和方法

有效

• 申請號: 201310019534.4
• 申請日: 2013-01-18
• 公開（公告）號: CN103093446A
• 公開（公告）日: 2013-05-08
• 發明（設計）人: 陳禾;馬龍;章學靜;章菲菲;曾濤;龍騰
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 楊志兵;高燕燕

1.一種基于多處理器片上系統的多源圖像融合裝置，其特征在于，該裝置采用FPGA實現，該FPGA包括：局部處理器CPU_A₁～CPU_A_n、重構IP核、本地存儲器、多分辨分解IP核IP_A₁～IP_A_n、片上計時器、片上以太網控制器、多端口存儲控制器MPMC、總線BUS0、總線BUS1、融合判決處理器CPU₁～CPU_m和中斷控制器；所述局部處理器和融合判決處理器為FPGA的CPU軟核；重構IP核和多分辨分解IP核為根據多源圖像融合算法設計的用戶IP核，是使用片內邏輯資源設計的自定義硬件邏輯模塊；

每個局部處理器和每個融合判決處理器均連接一個本地存儲器，CPU_A₁～CPU_A_n、重構IP核、片上計時器、片上以太網控制器和中斷控制器均接入總線BUS0；局部處理器CPU_A₁～CPU_A_n一對一地對應連接多分辨分解IP核IP_A₁～IP_A_n，局部處理器CPU_A₁～CPU_A_n均接入總線BUS1；IP_A₁～IP_A_n以及重構IP核均通過多端口存儲控制器本地端口接口MPCM?NPI接口接入MPMC，MPMC同時接入BUS0和BUS1；

片上以太網控制器，負責通過連接的外部以太網接口完成源數據輸入和處理結果的輸出；

MPMC，用于連接片外存儲介質，采用片外存儲介質存儲待處理源數據以及融合處理中間量；

CPU_A₁～CPU_A_n，用于負責調用多分辨分解IP核IP_A₁～IP_A_n，及多分辨分解IP核與MPMC的數據吞吐交互控制，CPU_A及IP_A的個數n為源圖像數；

IP_A₁～IP_A_n，用于并行執行多路源圖像局部預處理及多分辨分解；每完成一級分解在MPMC連接的片外存儲介質中存儲相應層級的完成標志位；

CPU₁～CPU_m，每個CPU負責一個層級的圖像序列融合判決，在檢測到對應層級的完成標志位時執行本層級的圖像序列融合判決；同時CPU₁還負責源數據傳輸控制，CPU_m還負責疊代重構控制；m為多分辨分解級數；

重構IP核，為所有融合判決處理器所共享，在CPU_m的控制下，負責多分辨圖像序列疊代重構；

片上計時器，用于完成重構IP核疊代的定時；

中斷控制器，負責響應片上定時器中斷；

本地存儲器，負責存放與其連接處理器的指令及本地數據。

2.如權利要求1所述的裝置，其特征在于，各CPU₁～CPU_m之間進一步通過快速簡單連接FSL互聯，各CPU₁～CPU_m之間通過FSL交互各自處理完成情況，CPU_m在確認CPU₁～CPU_m均完成本層級的圖像序列融合判決后，立刻控制重構IP核執行多分辨圖像序列疊代重構，并啟動片上計時器計時。

3.一種采用如權利要求1或2所述多源圖像融合裝置的多源圖像融合方法，其特征在于，該方法包括如下步驟：

步驟1、所述多源圖像融合裝置上電啟動，進行初始化；

步驟2、CPU₁控制片上以太網控制器將外部多路圖像源數據通過BUSO存儲至MPMC連接的片外存儲介質中，存儲完畢時在該片外存儲介質中置標志位A；

步驟3、CPU_A₁～CPU_A_n不斷通過BUS1檢測標志位A，當檢測到標志位A時，CPU_A₁，CPU_A₂，……，CPU_A_n啟動，調用各自的IP_A₁，IP_A₂，……，IP_A_n，IP_A₁～IP_A_n通過NPI接口和MPMC讀寫片外存儲介質中的圖像數據，并行完成各路圖像數據的預處理及多分辨分解；

步驟4、其中一個多分辨分解IP核每完成多分辨分解中的一級j，即在MPMC連接的片外存儲介質中置標志位B_j，j的取值范圍為[1，m]；

步驟5、CPU₁～CPU_m不斷通過BUSO檢測標志位，當CPU_j檢測到標志位B_j，立即啟動完成對應級的圖像序列融合判決；

步驟6、待CPU_m完成頂層圖像序列融合判決后立即控制共享的重構IP核執行多分辨圖像序列疊代重構過程，片上計時器開始計時，待重構過程時間超時后片上計時器觸發中斷，由中斷控制器響應該中斷并通知給CPU₁；重構IP核在疊代重構過程結束時產生標志位C，該標志位C自重構過程啟動時即開始由CPU₁檢測；

步驟7、當CPU₁檢測到標志位C則通過片上以太網控制器將融合后的圖像輸出至外部；若CPU₁未檢測到標志位C但檢測到因超時而觸發的中斷，則CPU₁通過片上以太網控制器將錯誤信息輸出至外部。