[發明專利]基于構建快速數據分級通道的數據處理方法及其裝置

有效

• 申請號: 201210382483.7
• 申請日: 2012-10-10
• 公開（公告）號: CN102929961A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 史延濤;火一莽;翁越龍;馬楠;廉喆;董雪;裘玥;張元蘭;李鐵錚;嚴嶺
• 申請（專利權）人: 北京銳安科技有限公司;北京市公安局
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余功勛

1.一種基于構建數據分級通道的數據處理方法，步驟包括：

（1）識別原始數據，比對識別出的數據是否符合相應的協議格式或要求，對其分類，并根據分類結果輸送到對應的數據傳輸通道；所述數據傳輸通道包括一數據分級通道，負責傳輸優先權數據；

（2）根據集群設備信息判斷通道數據的類型、數據量，根據預存的調度策略調用數據入庫裝置；

（3）數據入庫裝置獲取通道數據，錄入數據庫，并保存。

2.如權利要求1所述的數據處理方法，其特征在于，所述數據傳輸通道還包括大日志數據傳輸通道和重要數據傳輸通道。

3.如權利要求1所述的數據處理方法，其特征在于，步驟（3）所述的獲取通道數據，包括主動獲取和被動獲取。

4.如權利要求3所述的數據處理方法，其特征在于，所述主動獲取是通過判斷獲取方式及配置文件內容，主動讀取通道中的數據源，將數據入庫。

5.如權利要求3所述的數據處理方法，其特征在于，所述被動獲取是由數據傳輸私有工具、商用傳輸工具，或開源傳輸工具進行由接入方到數據入庫裝置的數據搬運，然后進行入庫操作。

6.一種基于構建數據分級通道的數據處理裝置，其特征在于，包括

一數據篩選器，對原始數據進行識別、分類過濾，將結果數據輸出到對應的通道；

至少一數據傳輸通道，包括一數據分級通道，對過濾的高優先級數據放行；

一調度平臺，根據從數據傳輸通道和數據入庫裝置獲取的信息，利用調度策略動態分配設備及調用通道數據；以及

一數據入庫裝置，從調度平臺獲取數據源，錄入數據庫。

7.如權利要求6所述的數據處理裝置，其特征在于，所述數據篩選器包括識別器、規則庫和分類器；所述識別器對原始數據進行初步識別，所述規則庫對初步識別后的原始數據進行匹配，將匹配后的結果發給分類器，所述分類器進行數據分批、分類、分級劃分，輸出到相應通道。

8.如權利要求7所述的數據處理裝置，其特征在于，所述規則庫中的規則包括數據的大小、類型類別、實效性、關鍵字或標簽、重要程度。

9.如權利要求7所述的數據處理裝置，其特征在于，所述調度平臺包括緩存模塊和調度模塊；所述緩存模塊中預置有調度策略，并用于存放數據通道信息和數據入庫裝置信息；所述調度模塊對緩存模塊中的數據信息進行分析，選擇連接對應的數據入庫裝置。

10.如權利要求7所述的數據處理裝置，其特征在于，所述數據入庫裝置包括數據獲取模塊和數據入庫模塊；

當被動獲取數據時，所述數據獲取模塊將數據接收到指定的存放路徑，所述數據入庫模塊讀取該數據文件，進行入庫操作；

當主動獲取數據時，所述數據入庫模塊根據配置文件信息建立數據源和數據入庫模塊的路徑，由數據入庫模塊中的入庫程序主動讀取數據源進行入庫操作。