[發明專利]一種處理海量數據的方法及系統

無效

• 申請號: 200710030252.9
• 申請日: 2007-09-14
• 公開（公告）號: CN101119278A
• 公開（公告）日: 2008-02-06
• 發明（設計）人: 胡建華;徐蜀中
• 申請（專利權）人: 廣東威創日新電子有限公司
• 主分類號: H04L12/54
• 分類號: H04L12/54;G06F17/30
• 代理公司: 廣州華進聯合專利商標代理有限公司
• 代理人: 曾旻輝

技術領域

本發明涉及對海量數據的處理技術。

背景技術

隨著信息技術的發展，網絡成為信息傳播的重要途徑，用戶通過網絡訪問服務器，以獲取所需要的數據。為了保證數據在有限的帶寬下進行傳輸，通常需要對數據事先進行壓縮，當服務器收到用戶指令時，將完整的壓縮文件通過網絡傳輸至客戶端，客戶端接收到壓縮文件后對其進行解壓顯示。

隨著數字圖像技術及多媒體信息技術的發展，海量數據的應用越來越普遍，如航空和航天遙感圖像數據、普通和專題地圖數字化數據、歷史文獻資料以及多媒體集成數據、醫學圖像數據等。目前對數據的處理方法中，客戶端需要將欲顯示的壓縮文件全部下載到內存中，再將內存中的壓縮文件全部打開，由于海量數據的數據量很大，處理海量數據文件需要相當大的內存空間以及傳輸帶寬，因此，現有技術中對于海量數據用戶通常是被動的接收，而無法在接收過程中對屏幕上的顯示數據進行處理，例如對某一幀進行加工、修改等操作，無法實現交互式操作，從而不能滿足用戶的需求，降低用戶體驗。

發明內容

本發明提供一種處理海量數據的方法及系統，適用于傳輸海量數據文件，并且能夠實現用戶的交互式操作，提高用戶體驗。

本發明提供一種處理海量數據的方法，當讀取海量數據文件時，按照預定的數值范圍讀取數據，所述數值范圍為每次讀取的數據的范圍；將每次讀取的數據進行保存，并記錄所述每次讀取的數據的定位信息；記錄預設的觸發事件的屬性信息；當客戶端發送指令獲取所存儲的海量數據文件時，根據所述指令中的標識信息查找所需要的海量數據文件，按照預定規則傳輸所述海量數據文件中的數據；當所述客戶端發送指令對所獲取的海量數據文件進行處理時，如果所述指令為預設的觸發事件，則修改相應的觸發事件的屬性信息，并將修改后的屬性信息傳輸至所述客戶端。

本發明還提供一種處理海量數據的系統，包括數據處理子系統和業務控制子系統；

其中，所述數據處理子系統，用于讀取并保存海量數據文件以及定位信息；并將預設的觸發事件的屬性信息在第一配置文件中進行保存；

所保存的海量數據文件包括至少一個數據塊，每個數據塊分別包括按照預定的數值范圍讀取的數據，所述數值范圍為每次讀取的數據的范圍；所述定位信息為所述數據塊對應的定位信息；

所述業務控制子系統，用于獲得所述海量數據文件、定位信息及所述第一配置文件，當客戶端發送指令獲取所存儲的海量數據文件時，根據所述指令中的標識信息查找所需要的海量數據文件，按照預定規則傳輸所述海量數據文件中的數據；當所述客戶端發送指令對所獲取的海量數據文件進行處理時，如果所述指令為預設的觸發事件，則修改所述第一配置文件，并將修改后的第一配置文件傳輸至所述客戶端。

由于本發明預先設置用戶處理海量數據文件時可能的觸發事件，并記錄相應的觸發事件的屬性信息，當收到用戶指令時對相應的屬性信息進行處理后發送至客戶端，從而使用戶能夠對當前顯示的海量數據文件進行處理，實現了操作的交互性；另外，本發明將海量數據文件分塊保存，傳輸時每次按照預定的規則將每個數據塊或數據塊中的部分數據進行傳輸，而并非一次將用戶需要的所有數據全部傳輸，由于每次傳輸的數據量較小，因此當用戶需要對當前顯示的數據進行放大、縮小等處理時，可以將所需要的數據傳輸給用戶。

進一步，由于在存取數據時，將海量數據文件劃分成多個數據塊進行存儲，使得寫入和讀取數據可以在多個數據塊中同時進行，從而提高了數據的存取速度及數據的傳輸性能。

附圖說明

圖1為本發明一實施例處理海量數據的方法的流程圖；

圖2為本發明一實施例處理海量數據的分布式系統的結構框圖；

圖3為本發明一實施例數據處理子系統的工作流程圖；

圖4為本發明一實施例業務控制子系統的工作流程圖；

圖5為本發明一實施例客戶端子系統的工作流程圖。

具體實施方式

本發明公開的處理海量數據的方法包括對海量數據文件的分塊壓縮的過程、以及對海量數據進行傳輸和顯示過程，以下對各過程的實現方式進行闡述。