[發明專利]一種衛星遙感圖像實時并行處理系統及處理方法

有效

• 申請號: 201410233709.6
• 申請日: 2014-05-30
• 公開（公告）號: CN104063835B
• 公開（公告）日: 2017-04-12
• 發明（設計）人: 姚行中;彭紹武;魯統偉;周曉華;閔鋒;徐俊;楊曉非;李夢琳;李寒松;郭海艮
• 申請（專利權）人: 中國人民解放軍第二炮兵指揮學院
• 主分類號: G06T1/00
• 分類號: G06T1/00
• 代理公司: 中國人民解放軍火箭軍專利服務中心11040
• 代理人: 肖進

1.一種衛星遙感圖像實時并行處理系統，包括存儲設備(4)和處理機，所述處理機包括監控機(1)、接收機(2)、分塊機(3)、判讀機(5)和確認機(6)；各處理機支持多CPU、多線程、顯卡多核計算；各處理機通過光纖網對存儲設備上的圖像數據進行共享式的讀寫訪問；各處理機通過以太網進行通訊以及數據交換；

所述監控機(1)用于控制管理整個系統的運作，使得所有實時圖像處理任務在不同處理機之間進行同步調度，并對系統內所有處理機的工作狀態、工作進度、工作負荷進行實時跟蹤、調度與顯示；所述監控機(1)上運行有本地數據庫，用以記錄、備份整個系統的任務進度與各處理機的工作狀態，各處理機通過以太網可以連接并訪問該數據庫；

所述接收機(2)用于掃描所述存儲設備(4)上的緩沖區，并對掃描到緩沖區內衛星圖像的新景數據進行格式解析，做虛擬的邏輯分塊：首先通過掃描參數文件獲取新數據的衛星過頂時間參數，根據系統處理的延時約束，判斷緩沖區內數據的衛星過頂時間是否超過系統響應延時的最大約束值，若超過則直接放棄該批數據的處理；否則對掃描到并且要處理的衛星圖像的新景數據的格式與規格進行解析，調用對應圖像格式的解碼算法，獲取編碼在圖像文件內的地理信息與衛星參數；向所述監控機(1)獲取當前系統的處理機的工作數量、載荷參數，結合新景數據規格，進行邏輯分塊工作，每一個邏輯分塊任務具體包括：確認包括子圖位置、尺寸、圖像編碼規格、重疊區、行列數量、分塊編碼等邏輯分塊參數，以及對應的子圖地理信息；接收機(2)的邏輯分塊過程，會依據其接收、存儲新景數據線程的進度，對已存儲部分的數據進行對應的邏輯分塊，并向所述監控機(1)派發分塊任務，包括上述分塊參數、子圖地理信息、子圖存儲參數以及針對特定位置的高優先級圖像分塊所需要的子圖位置參數；

所述接收機(2)在執行邏輯分塊任務同時，接收緩沖區內源源不斷到達的新景數據，將新景數據存儲到所述存儲設備(4)中，并且該過程與上述邏輯分塊過程用算法實現同步，確保邏輯分塊任務發出時，對應新景數據也已經存儲下來；最后將上述工作過程產生的圖像存儲編號、圖像地理參數、衛星參數，及新景數據的規格與參數，實時寫入到所述監控機(1)運行的數據庫中，作為系統備份信息供所述監控機(1)在需要時查詢、追溯；

所述分塊機(3)包括一個主線程、多個分塊線程、一個通訊線程進行操作，實現了多核多線程并行化處理的架構，用于等待并接收由所述監控機(1)發派的分塊任務，對存儲設備(4)上已經接收到的對應新景數據執行分塊任務，即從不完整的數據流中，根據分塊任務參數解析抽取圖像數據，并生成一張張完整的JPEG壓縮格式的圖像數據，存儲到所述存儲設備(4)中，完成后將反饋信息發送到所述監控機(1)，供監控機(1)對任務進度做同步處理；

所述存儲設備(4)用于存儲實時衛星圖像處理過程中接收到的衛星圖像數據，以及所述分塊機(3)生成的壓縮圖像數據，通過光纖網實現數據共享，供所述接收機(2)、分塊機(3)、判讀機(5)和確認機(6)進行數據讀寫；

所述判讀機(5)具有主控線程、通訊線程、多個分塊線程的多核多線程并行化處理的架構，用于接收由所述監控機(1)根據所述分塊機(3)的反饋信息和系統所處理的衛星圖像需要的判讀內容分派的判讀任務，讀取所述存儲設備(4)內已經分塊好的JPEG壓縮格式圖像，調用相應判讀算法進行判讀并將結果反饋到所述監控機(1)；

所述判讀機(5)收到具體的判讀任務后，采用CPU/GPU協同計算模式進行工作：設置獨立的主控線程負責邏輯和負責管理，通信線程負責通信事務；若需要GPU參與異構并行計算，則CPU增加一個GPU控制線程，負責管理GPU的多線程計算任務；CPU上有多個計算線程，GPU根據顯卡的特性來產生數以百計的計算線程，從而構成CPU+GPU異構并行化的能力；

所述確認機(6)用于實時顯示已處理部分的衛星圖像數據，同時具有人工介入輔助判讀功能；所述確認機(6)還根據所述接收機(2)的進度，在所述監控機(1)管理下，對所述存儲設備(4)內已接收到的數據進行圖像金字塔的生成計算，實時、同步地生成衛星圖像的多分辨率數據，用以向系統使用者提供不同分辨率的可視化圖像結果；

所述的接收機(2)、分塊機(3)、存儲設備(4)、判讀機(5)、確認機(6)分別由多個并行處理器組成，用于任務的并行處理；并行工作的控制方式為以所述監控機(1)為管理核心：所述監控機(1)對所有其它處理機的工作狀態、工作進度、工作負荷進行輪詢與監控；在實時處理衛星圖像數據的過程中，所述監控機(1)對任務分派與任務同步進行管理，以此控制各處理機的并行化工作。

2.一種衛星遙感圖像實時并行處理方法，其特征是使用如權利要求1所述的一種衛星遙感圖像實時并行處理系統，并包括以下步驟，且各步驟由所述的監控機(1)控制管理整個系統的運作，使得所有實時圖像處理任務在不同處理機之間進行同步調度，并對系統內所有處理機的工作狀態、工作進度、工作負荷進行實時跟蹤、調度與顯示：

a)所述監控機(1)發起啟動指令，啟動整個系統，包括所述接收機(2)啟動掃描所述存儲設備(4)上的緩沖區、所述分塊機(3)等待分塊任務、所述判讀機(5)等待分派判讀任務；所述確認機(6)等待任務；

b)接收機(2)圖像接收流程：

所述接收機(2)掃描所述存儲設備(4)上的緩沖區的數據變化情況；

所述接收機(2)對掃描到緩沖區內衛星圖像的新景數據進行格式解析，做虛擬的邏輯分塊：包括首先通過掃描參數文件獲取新數據的衛星過頂時間參數，根據系統處理的延時約束，判斷緩沖區內數據的衛星過頂時間是否超過系統響應延時的最大約束值，若超過則直接放棄該批數據的處理；否則對掃描到并且要處理的衛星圖像的新景數據的格式與規格進行解析，調用對應圖像格式的解碼算法，獲取編碼在圖像文件內的地理信息與衛星參數；向所述監控機(1)獲取當前系統的處理機的工作數量、載荷參數，結合新景數據規格，確認子圖位置、尺寸、圖像編碼規格、重疊區、行列數量、分塊編碼等邏輯分塊參數，以及對應的子圖地理信息；所述接收機(2)的邏輯分塊過程，會依據其接收、存儲新景數據線程的進度，對已存儲部分的數據進行對應的邏輯分塊，并向所述監控機(1)派發分塊任務，包括上述分塊參數、子圖地理信息、子圖存儲參數以及針對特定位置的高優先級圖像分塊所需要的子圖位置參數；

所述接收機(2)在執行邏輯分塊任務同時，接收緩沖區內源源不斷到達的新景數據，將新景數據存儲到所述存儲設備(4)中，并且該過程與上述邏輯分塊過程用算法實現同步，確保邏輯分塊任務發出時，對應新景數據也已經存儲下來；

最后將上述工作過程產生的圖像存儲編號、圖像地理參數、衛星參數，及新景數據的圖像規格與參數，實時寫入到所述監控機(1)運行的本機數據庫中，作為系統備份信息供所述監控機(1)在需要時查詢、追溯；

c)所述監控機(1)獲取來自所述接收機(2)的分塊任務，根據所述各分塊機(3)的繁忙程度，將各分塊任務分派給選定的分塊機(3)；

d)所述分塊機(3)接收由所述監控機(1)發派的分塊任務，對存儲設備(4)上已經接收到的對應新景數據執行分塊任務：從不完整的數據流中，根據分塊任務參數解析，抽取圖像數據，并生成一張張完整的JPEG壓縮格式的圖像數據，存儲到所述存儲設備(4)中，完成后將反饋信息發送到所述監控機(1)，供所述監控機(1)對任務進度做同步處理；

e)所述監控機(1)根據所述分塊機(3)的任務完成情況針對已完成分塊處理而生成的壓縮圖像數據，向所述判讀機(5)發送判讀任務；

f)所述判讀機(5)執行判讀任務，向所述監控機(1)發送判讀結果以及完成判讀任務的反饋消息；所述判讀機(5)判讀過程中，利用本機多核多CPU特性，以多線程方式并行化的完成；同時，針對不同的判讀任務，利用本機顯卡GPU芯片的多核計算能力，特定的圖像濾波，圖像處理，以及目標分類等算法，以數百個子線程的方式交由GPU執行，從而實現了CPU+GPU異構并行化的工作架構；所述判讀機(5)完成每一個判讀任務時，其判讀結果首先以XML文件形式存儲在存儲設備(4)上所判讀圖像相同的位置，其次以消息數據的形式通知給所述監控機(1)該判讀任務已完成，對應圖像已有判讀結果，最后還會定時將所述判讀機(5)所完成的一系列判讀結果批量寫入到所述監控機(1)所運行的數據庫中；

g)所述確認機(6)持續不斷地通過向所述監控機(1)查詢，獲取到所述分塊機(3)的分塊結果列表，根據圖像編號與本機信息對比，從所述存儲設備(4)中讀取所有新分塊的圖像數據與地理信息數據，將圖像依照其地理排列位置逐張加載到所述確認機(6)的顯示界面上；且該過程由獨立線程在后臺控制循環執行，伴隨著所述分塊機(3)分塊任務的不斷執行，所述確認機(6)顯示界面能夠不斷地填補出新的圖像塊，供人工確認員在屏幕前實時觀察到當前已經完成分塊的圖像結果；

h)所述確認機(6)除了依照g步驟不斷向所述監控機(1)查詢、加載分塊結果圖像到顯示界面外，還反復執行類似的輪詢過程，查詢所述監控機(1)的數據庫，不斷獲取由所述判讀機(5)程序自動判讀的最新結果列表，將程序自動判讀的結果采用圖形標記繪制到顯示界面的衛星圖像上；

i)所述確認機(6)供人工確認員使用：所述確認機(6)的后臺線程在不斷執行g步驟與h步驟時，確認員可在屏幕前觀察到所述確認機(6)不斷加載顯示的分塊圖像，以及不斷繪制出現的判讀結果；本系統設計的光纖/以太網的雙高速網絡以及整個系統的異構并行化架構，確保了多名人工確認員在各自計算機所運行的所述確認機(6)程序顯示界面上，均能夠近乎實時地看到分塊圖像和程序自動判讀結果的刷新過程；人工確認員除了在所述確認機(6)顯示界面看到來自所述判讀機(5)的程序自動判讀結果外，還可以進一步對所見判讀結果通過鼠標+鍵盤快捷鍵的方式進行交互式編輯：對判讀機(5)的程序自動判讀結果做增、刪、改操作；所述確認機(6)上所有人工操作，均作為最終的判讀結果，用以更新、替換所述存儲設備(4)與所述監控機(1)所運行的數據庫這兩個位置上原有的判讀結果；默認的，如果人工確認員不對界面顯示的程序自動判讀結果做修改，則所述存儲設備(4)與所述監控機(1)數據庫處的原始判讀結果亦不做變動；

j)所述監控機(1)統計所述接收機(2)發現的衛星圖像的新景數據在各處理機階段的完成情況，判斷是否已經完成分塊或是判讀，檢查系統是否有空閑，若有空閑執行k步驟；

k)發起金字塔生成任務，將當前景的工作圖像轉換成金字塔文件：由所述確認機(6)對已接受到的數據進行圖像金字塔的生成計算，實時、同步地生成衛星圖像的多分辨率數據，用以向系統使用者提供不同分辨率的可視化圖像結果。