[發明專利]一種處理海量數據的方法及系統

無效

• 申請號: 200710030253.3
• 申請日: 2007-09-14
• 公開（公告）號: CN101127578A
• 公開（公告）日: 2008-02-20
• 發明（設計）人: 徐蜀中;胡建華
• 申請（專利權）人: 廣東威創日新電子有限公司
• 主分類號: H04L1/00
• 分類號: H04L1/00;H04L12/56;G06F12/00
• 代理公司: 廣州華進聯合專利商標代理有限公司
• 代理人: 曾旻輝

技術領域

本發明涉及對海量數據的處理技術。

背景技術

隨著信息技術的發展，網絡成為信息傳播的重要途徑，用戶通過網絡訪問服務器，以獲取所需要的數據。為了保證數據在有限的帶寬下進行傳輸，通常需要對數據事先進行壓縮，當服務器收到用戶指令時，將完整的壓縮文件通過網絡傳輸至客戶端，客戶端接收到壓縮文件后對其進行解壓顯示。

隨著數字圖像技術及多媒體信息技術的發展，海量數據的應用越來越普遍，如航空和航天遙感圖像數據、普通和專題地圖數字化數據、歷史文獻資料以及多媒體集成數據、醫學圖像數據等。由于數據的顯示涉及到顯示速度的問題，在計算機內存容量有限的情況下，客戶端將需要顯示的壓縮文件全部下載到內存中以及將內存中的壓縮文件全部打開需要相當大的內存空間以及傳輸帶寬，因此，現有技術中通過網絡傳輸的數據通常為數據量較小的文字信息、圖片介紹和少量的視頻、音頻以及虛擬現實展示，所提供的內容不能滿足用戶的信息需求。另外，由于傳輸海量媒體數據對帶寬的需求，目前對數據的處理方式無法適用于異地數據傳輸。

發明內容

本發明提供一種處理海量數據的方法及系統，適用于傳輸海量數據文件，并且能夠實現異地數據傳輸。

本發明提供的處理海量數據的方法，當讀取海量數據文件時，按照預定的數值范圍讀取數據，所述數值范圍為每次讀取的數據的范圍；將每次讀取的數據進行保存，并記錄所述每次讀取的數據的定位信息；當接收到用戶指令時，根據所述指令中的標識信息查找所需要的海量數據文件，按照預定規則傳輸所述海量數據文件中的數據。

本發明提供的處理海量數據的系統，包括：數據處理于系統和業務控制子系統；其中，數據處理子系統用于讀取并保存海量數據文件以及定位信息；所保存的海量數據文件包括至少一個數據塊，每個數據塊分別包括按照預定的數值范圍讀取的數據，所述數值范圍為每次讀取的數據的范圍；所述定位信息為所述數據塊對應的定位信息；所述業務控制子系統，用于獲得所述海量數據文件以及定位信息，當接收到用戶指令時，按照預定規則傳輸數據。

本發明還提供一種處理海量數據的系統，用于對接收到的海量數據文件進行顯示，包括通訊單元，用于接收用戶指令，根據所述用戶指令中標識信息獲取海量數據文件，所述海量數據文件包括至少一個數據塊；存儲單元，用于存儲接收到的數據；顯示單元，用于根據所述海量數據文件中的定位信息從所述存儲單元獲取各數據塊并在相應的位置進行顯示。

由于本發明將海量數據文件分塊保存，傳輸時每次按照預定的規則將每個數據塊或數據塊中的部分數據進行傳輸，而并非一次將用戶需要的所有數據全部傳輸，由于每次傳輸的數據量較小，因此可以實現數據的異地傳輸。

進一步，由于在存取數據時，將海量數據文件劃分成多個數據塊進行存儲，使得寫入和讀取數據可以在多個數據塊中同時進行，從而提高了數據的存取速度及數據的傳輸性能。

附圖說明

圖1為本發明一實施例處理海量數據的方法的流程圖；

圖2為本發明一實施例處理海量數據的分布式系統的結構框圖；

圖3為本發明一實施例數據處理子系統的工作流程圖；

圖4為本發明一實施例業務控制子系統的工作流程圖；

圖5為本發明一實施例客戶端子系統的工作流程圖。

具體實施方式

本發明公開的處理海量數據的方法包括對海量數據文件的分塊壓縮的過程、以及對海量數據進行傳輸和顯示過程，以下對各過程的實現方式進行闡述。

如圖1所示，由于海量數據的信息量很大，通常對海量數據進行壓縮，以便于在網絡上傳輸，因此本發明預先設置每次讀取的數據的范圍(步驟100)，當讀取海量數據文件時，按照預定的數值范圍讀取數據(步驟101)；然后將每次讀取的數據壓縮后進行保存(步驟102)，這樣，就將整個海量數據文件劃分為若干個數據塊。由于每個數據塊在海量數據文件中占據一定的位置，為了在客戶端需要的時候提取所存儲的海量數據文件，因此，可以將每個數據塊對應的定位信息信息進行保存，為了提取方便，還可以保存每個數據塊的大小等信息(步驟103)，以便當用戶提出相應的請求時，可以根據步驟103記錄的信息查找到對應數據塊，由此可以將海量數據文件還原出來。本發明所述的海量數據文件可以包括海量圖像數據、視頻、音頻數據文件等。