[發(fā)明專利]海量數(shù)據(jù)管理方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 201310539175.5
• 申請日: 2013-11-05
• 公開（公告）號: CN104615599A
• 公開（公告）日: 2015-05-13
• 發(fā)明（設(shè)計）人: 溫潔;成艷;史志敏
• 申請（專利權(quán)）人: 中國空間技術(shù)研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及航天器自動化測試技術(shù)領(lǐng)域，更具體地，涉及一種利用哈希(HASH)算法進行海量測試數(shù)據(jù)管理、存儲的方法和設(shè)備。本發(fā)明尤其適用于通信衛(wèi)星、載人航天器、導(dǎo)航衛(wèi)星、遙感衛(wèi)星等航天器綜合測試實施系統(tǒng)中海量測試數(shù)據(jù)存儲管理應(yīng)用領(lǐng)域。

背景技術(shù)

數(shù)據(jù)存儲軟件是衛(wèi)星綜合測試實施系統(tǒng)中的一個重要軟件，測試數(shù)據(jù)管理和存儲是其重要功能。目前，基于早期衛(wèi)星平臺開發(fā)的數(shù)據(jù)存儲軟件，所有測試信息以隊列的形式存放在緩沖區(qū)，所有數(shù)據(jù)根據(jù)到達的先后順序來進行數(shù)據(jù)庫讀寫操作。數(shù)據(jù)存儲軟件這種測試數(shù)據(jù)管理形式是一種最簡單的方法，實現(xiàn)了數(shù)據(jù)存儲軟件運行狀態(tài)、測試數(shù)據(jù)管理服務(wù)、測試數(shù)據(jù)存儲服務(wù)的功能。由于早期衛(wèi)星平臺較為簡單，測試系統(tǒng)較為單一，測試設(shè)備數(shù)據(jù)沒有進行統(tǒng)一管理，整星測試過程中產(chǎn)生的測試數(shù)據(jù)較少，這種測試數(shù)據(jù)管理形式對綜合測試影響不明顯。隨著大容量平臺、新型平臺衛(wèi)星的研制，地面測試設(shè)備種類趨向復(fù)雜，以及新測試系統(tǒng)的應(yīng)用使得測試過程中需統(tǒng)一管理的數(shù)據(jù)大大增加，導(dǎo)致衛(wèi)星綜合測試過程中產(chǎn)生的數(shù)據(jù)成量級的增長，特別是測試過程中地面測試設(shè)備的數(shù)據(jù)越來越多，設(shè)備監(jiān)控數(shù)據(jù)也越來越全面。另一方面，衛(wèi)星測試對綜合測試實施系統(tǒng)的響應(yīng)速度要求較高，要求測試數(shù)據(jù)的精度要達到毫秒級，同時要求數(shù)據(jù)存儲軟件具備更快的響應(yīng)速度。

由于網(wǎng)絡(luò)延遲、隊列堵塞等多種因素，會導(dǎo)致某些測試信息到達順序不能嚴格按照時間戳的順序，而數(shù)據(jù)庫中存儲的測試信息是以時間為主鍵，因此會導(dǎo)致測試信息存儲不完整。因此，數(shù)據(jù)存儲軟件這種測試數(shù)據(jù)管理方式已不大適合有高精度要求的綜合測試系統(tǒng)。

HASH算法被廣泛的應(yīng)用于計算機技術(shù)的各個方面。計算機應(yīng)用中由屈志毅等編寫的《一種基于信息分散算法的分布式數(shù)據(jù)存儲方案》提出了分布式系統(tǒng)中一種數(shù)據(jù)存儲方案，在數(shù)據(jù)寫入過程中通過構(gòu)造編碼后數(shù)據(jù)分塊的HASH值進行級連，以實現(xiàn)數(shù)據(jù)的完整性保護。井岡山師范學(xué)院學(xué)報(自然科學(xué))中由孫凌宇等編寫的《一種基于多哈希表的堆式動態(tài)存儲管理方法》提出了一種基于多哈希表的堆式動態(tài)存儲管理方法，其基本思想是利用哈希表的快速查找優(yōu)點，通過查找以空閑塊大小為關(guān)鍵字的哈希表實現(xiàn)最佳擬合法的分配策略，并通過查找以空閑塊頭地址及尾地址為關(guān)鍵字的雙哈希表，最終高效率地實現(xiàn)堆式動態(tài)存儲管理。微電子學(xué)與計算機中由趙大勇等編寫的《基于改進主動哈希的URL存儲和查找算法》提出了一種基于改進主動哈希的統(tǒng)一資源定位符(也被稱為網(wǎng)頁地址，Uniform?Resource?Locator，以下簡稱為URL)存儲和查找算法。徐青持有的CN101706719A號專利公開了一種基于HASH映射的綜合管網(wǎng)三維可視化資源管理方法。郭健持有的CN101419571號專利公開了一種基于HASH算法的在NOR?FLASH中存儲配置參數(shù)的方法，采用HASH鏈表用于表示配置參數(shù)分區(qū)數(shù)據(jù)與內(nèi)存數(shù)據(jù)之間的映射關(guān)系。邁普(四川)通信技術(shù)有限公司持有的CN101350010號專利公開了一種主從式并行多核處理器系統(tǒng)下哈希表操作的方法，提供一種在主從式多核處理器系統(tǒng)中，能夠高效地對HASH表進行創(chuàng)建、插入等操作，并使HASH表的上述操作不影響HASH表查找性能的HASH表的操作方法。

因此，急需一種方案，能夠采用HASH表的形式對衛(wèi)星綜合測試數(shù)據(jù)進行管理，實現(xiàn)所有收到的測試數(shù)據(jù)HASH表的建立、檢索和更新，進而實現(xiàn)測試數(shù)據(jù)快速精確的存儲到數(shù)據(jù)庫中。

發(fā)明內(nèi)容

在本發(fā)明中，采用HASH表的形式對衛(wèi)星綜合測試數(shù)據(jù)進行管理，實現(xiàn)所有收到的測試數(shù)據(jù)HASH表的建立、檢索和更新，進而實現(xiàn)測試數(shù)據(jù)快速精確的存儲到數(shù)據(jù)庫中，克服原有軟件測試數(shù)據(jù)存儲不完整的缺點。

本發(fā)明的一個方面提供了一種海量數(shù)據(jù)管理方法，包括以下步驟：在數(shù)據(jù)存儲軟件啟動之后，開啟監(jiān)聽端口來監(jiān)聽是否接收到衛(wèi)星測試數(shù)據(jù)；在內(nèi)存中設(shè)定一個數(shù)據(jù)緩存區(qū)，作為衛(wèi)星測試數(shù)據(jù)的臨時存儲區(qū)；以及在數(shù)據(jù)存儲區(qū)中，以時間為關(guān)鍵字，按照哈希表算法，建立對應(yīng)于衛(wèi)星測試數(shù)據(jù)中的每種數(shù)據(jù)類型的哈希表。

優(yōu)選地，衛(wèi)星測試數(shù)據(jù)作為在衛(wèi)星綜合測試系統(tǒng)的運行過程中的各種數(shù)據(jù)，并且衛(wèi)星測試數(shù)據(jù)的數(shù)據(jù)類型至少包括：遙測參數(shù)值DATE、遙測原始幀DATF、設(shè)備采集數(shù)據(jù)DATS和測試信息MESG。

可選地，在接收到衛(wèi)星測試數(shù)據(jù)后，本發(fā)明的方法還包括：判斷衛(wèi)星測試數(shù)據(jù)的數(shù)據(jù)類型；以及確定在對應(yīng)數(shù)據(jù)類型的哈希表中是否已經(jīng)存儲了關(guān)于數(shù)據(jù)類型的時間。