[發明專利]一種處理海量數據的方法及系統

無效

• 申請號: 200710030252.9
• 申請日: 2007-09-14
• 公開（公告）號: CN101119278A
• 公開（公告）日: 2008-02-06
• 發明（設計）人: 胡建華;徐蜀中
• 申請（專利權）人: 廣東威創日新電子有限公司
• 主分類號: H04L12/54
• 分類號: H04L12/54;G06F17/30
• 代理公司: 廣州華進聯合專利商標代理有限公司
• 代理人: 曾旻輝

1.一種處理海量數據的方法，其特征在于，包括步驟：

步驟一，當讀取海量數據文件時，按照預定的數值范圍讀取數據，所述數值范圍為每次讀取的數據的范圍；將每次讀取的數據進行保存，并記錄所述每次讀取的數據的定位信息；記錄預設的觸發事件的屬性信息；

步驟二，當客戶端發送指令獲取所存儲的海量數據文件時，根據所述指令中的標識信息查找所需要的海量數據文件，按照預定規則傳輸所述海量數據文件中的數據；當所述客戶端發送指令對所獲取的海量數據文件進行處理時，如果所述指令為預設的觸發事件，則修改相應的觸發事件的屬性信息，并將修改后的屬性信息傳輸至所述客戶端。

2.根據權利要求1所述的方法，其特征在于，還包括步驟：將每次所讀取的數據壓縮成不同分辨率的數據，將所述不同分辨率的數據進行保存，并記錄相應的分辨率信息；

所述預定規則包括：根據所述指令中的分辨率信息將相應分辨率的數據進行傳輸，且每次傳輸的數據的范圍與讀取數據的所述數值范圍一致。

3.根據權利要求2所述的方法，其特征在于，當所述客戶端的指令為預設的觸發事件，所述預定規則還包括：當所述觸發事件為對當前顯示區域的數據進行處理的指令，根據所述指令中的分辨率信息以及顯示區域的位置信息傳輸相應分辨率的數據。

4.根據權利要求2所述的方法，其特征在于，所述定位信息、分辨率信息存儲于位置結構文件中。

5.根據權利要求1所述的方法，其特征在于，所述步驟一還包括：將所讀取的海量數據文件打包成數據包，并記錄所述數據包的標識信息。

6.根據權利要求5所述的方法，其特征在于，所述預設的觸發事件的屬性信息與所述數據包的標識信息存儲于第一配置文件中，所述第一配置文件為腳本文件。

7.一種處理海量數據的系統，其特征在于，包括：數據處理子系統和業務控制子系統；

所述數據處理子系統，用于讀取并保存海量數據文件以及定位信息；并將預設的觸發事件的屬性信息在第一配置文件中進行保存；

所保存的海量數據文件包括至少一個數據塊，每個數據塊分別包括按照預定的數值范圍讀取的數據，所述數值范圍為每次讀取的數據的范圍；所述定位信息為所述數據塊對應的定位信息；

所述業務控制子系統，用于獲得所述海量數據文件、定位信息及所述第一配置文件，當客戶端發送指令獲取所存儲的海量數據文件時，根據所述指令中的標識信息查找所需要的海量數據文件，按照預定規則傳輸所述海量數據文件中的數據；當所述客戶端發送指令對所獲取的海量數據文件進行處理時，如果所述指令為預設的觸發事件，則修改所述第一配置文件，并將修改后的第一配置文件傳輸至所述客戶端。

8.根據權利要求7所述的系統，其特征在于，所述數據處理子系統還用于將所述數據塊中的數據壓縮成不同分辨率的數據并進行保存，

所述海量數據文件還包括不同分辨率的數據以及與所述不同分辨率的數據對應的分辨率信息；

所述預定規則為：根據所述指令中的分辨率信息將相應分辨率的數據進行傳輸。

9.根據權利要求8所述的系統，其特征在于，所述數據處理子系統還用于生成第二配置文件，并將所述第二配置文件發布到所述業務控制子系統；

所述第二配置文件用于保存所述業務控制子系統與第一配置文件的對應關系信息；

所述業務控制子系統根據所述第二配置文件獲取相應的第一配置文件。

10.根據權利要求9所述的系統，其特征在于，該系統還包括客戶端子系統，用于接收用戶指令，根據所述用戶指令中標識信息獲取海量數據文件，根據所述海量數據文件中的定位信息進行顯示。

11.根據權利要求10所述的系統，其特征在于，所述數據處理子系統還用于生成第三配置文件，并將所述第三配置文件發布到所述客戶端子系統；

所述第三配置文件用于保存所述業務控制子系統的IP地址信息及所述數據包的標識信息，

所述客戶端子系統根據所述IP地址信息向所述業務控制子系統發起連接請求，以及根據所述數據包的標識信息與所述業務控制子系統進行信息交互，獲取數據。

12.根據權利要求11所述的系統，其特征在于，所述第一配置文件、第二配置文件、第三配置文件為腳本文件。