[發明專利]時序數據并發入庫的方法和裝置

有效

• 申請號: 201410828696.7
• 申請日: 2014-12-26
• 公開（公告）號: CN105786917B
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 張濤
• 申請（專利權）人: 億陽信通股份有限公司
• 主分類號: G06F16/245
• 分類號: G06F16/245
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開時序數據并發入庫的方法，獲取所述時序數據中同類型數據的唯一標識，預設數據處理器數量，根據所述數據處理器數量和所述同類型數據唯一標識確定與該類型數據對應的所述數據處理器的名稱序號；創建下標與所述數據處理器名稱序號相應的隊列數組存儲空間，分別設定隊列深度與數組長度；所述各數據處理器接收與其數據類型一致的時序數據，解析獲取所述時序數據中的各屬性和值，并將所述屬性和值依次存入所述隊列數組相應下標的存儲位置中；當所述隊列數組中的隊列達到設定深度時，觸發數據庫接口獲取所述隊列數組中的所有數據并進行入庫操作。通過本發明可實現時序數據的高效入庫。本發明還公開了時序數據并發入庫的裝置。

技術領域

本發明涉及數據處理領域，具體涉及一種時序數據并發入庫的技術。

背景技術

所謂時序數據，即數據的產生具有時序性，且在進行傳輸、入庫等一些列數據操作時均需要保持其時序性，例如電信系統中的告警數據、指標數據、性能數據等。

以告警數據為例，告警數據在傳輸過程中必須保證時序性，同一設備產生的告警先后順序不能夠打亂，如果告警數據不能保證時序性，會造成告警入庫錯誤進而在后續使用過程中出現各種問題。在早期的設計中，告警數據從接收到處理，再到存儲，都是采用單線程或者單一進程來實現，以保證其時序性。隨著告警設備的不斷增容擴大，數據量也越來越多，這種單一處理模式不能夠滿足現在系統的性能要求。帶來的影響也越來越大。

現有的時序數據入庫技術，大都采用單一進程處理。從MQ(消息隊列)接收XML類型告警數據，通過對XML解析生成Key-Value鍵值對數據，存儲到MAP緩存中。根據業務需要循環讀取該MAP進行業務處理，然后根據處理的情況，將MAP數據組裝成ODBC(開放數據庫互連)可執行的SQL進行數據封裝，調用DB驅動進行數據入庫操作。

針對這種單一進程進行處理時序數據入庫的技術，處理數據的能力極其低下。不能滿足日益增長的數據量處理要求，隨著數據量的迅速增大，其缺陷也越來越明顯，首先單線程或單進程的處理方式造成數據入庫效率低下，告警數量大時單線程或進程效率差導致數據堆積影響系統運轉，波及其他業務受損；其次頻繁操作數據庫造成DB交互頻繁，進而造成操作系統的I/O持續消耗；由于占用MAP內存，回收不及時導致操作系統消耗過大，基于上述原因采用單一進程對時序數據進行入庫操作時，數據量越大效率越低，會對承載系統造成直接或間接的影響。

綜上所述，能夠高效完成時序數據入庫的技術亟待出現。

發明內容

本發明提供一種時序數據并發入庫的方法，所述方法包括：

獲取所述時序數據中同類型數據的唯一標識，預設數據處理器數量，根據所述數據處理器數量和所述同類型數據唯一標識確定與該類型數據對應的所述數據處理器的名稱序號；

創建下標與所述數據處理器名稱序號相應的隊列數組存儲空間，分別設定隊列深度與數組長度；

所述各數據處理器接收與其數據類型一致的時序數據，解析獲取所述時序數據中的各屬性和值，并將所述屬性和值依次存入所述隊列數組相應下標的存儲位置中；

當所述隊列數組中的隊列達到設定深度時，觸發數據庫接口獲取所述隊列數組中的所有數據并進行入庫操作。

優選的，所述方法還包括：

所述數據庫接口完成所述數據入庫操作后，清除所述隊列數組中的所有數據，清除所述數據處理器的名稱序號。

具體的，

將時序數據特征屬性的名稱進行組合計算其消息摘要碼，所述消息摘要碼相同的時序數據為同類型數據，所述消息摘要碼為同類型數據的唯一標識；

對所述各類型數據消息摘要碼取模，模數為所述數據處理器數量，取模的余數做為各類型數據對應的數據處理器名稱序號。

優選的：