[發明專利]應用于電力用戶用電信息采集系統的電能量數據寫庫方法

在審

• 申請號: 201410470459.8
• 申請日: 2014-09-16
• 公開（公告）號: CN104268178A
• 公開（公告）日: 2015-01-07
• 發明（設計）人: 郭雷;徐軍;王雷
• 申請（專利權）人: 積成電子股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/06
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 劉玉玲

技術領域

????本發明涉及電能量數據存儲技術領域，尤其涉及一種采用分步式緩存存儲和批處理技術進行電力用戶用電信息采集系統電能量數據的寫庫方法。

背景技術

依據國家電網公司全面建設用電信息采集系統的規劃，2014年底各網省公司需實現城網用戶“全采集、全覆蓋”，隨著各網省用電信息采集接入規模的不斷擴大（部分省電力公司采集系統接入用戶量已經達到千萬級別，已進入海量級數據應用級別）及應用程度的不斷加深，導致用戶用電數據采集存儲時間過長，對業務應用時效性影響也越來越大。

????用電信息采集系統作為營銷業務系統的數據支撐平臺，每天需要定時將電能表上的數據采集回來并存儲到數據庫中，不僅如此而且還承擔著電量分析、負荷分析、反竊電分析、線損分析、電能質量監測與可靠性的統計分析，為相關業務應用提供數據支撐；按照正常業務每天早8點需完成相關業務報表數據，排除終端采電能表時間和數據統計時間，留給采集系統的數據采集時間不足1小時，通過對數據采集流程耗時分析，其中數據寫庫耗時較長已經成為影響數據采集時效性的主要因素。主要體現在：當前采用的傳統數據表將全口徑用戶的計量點電能示值全部存儲在一個表中，隨著時間的推移，表中數據量也會越來越大，查詢數據的速度就會變慢；傳統的數據寫庫方式為先插入后更新，處理每條記錄需要與數據庫交互兩次，導致在數據采集時寫庫效率非常低，另外，傳統數據存盤時每插入或更新一條記錄，進行一次COMMIT（提交）操作，造成與數據庫的交互相當頻繁，進而導致整個寫庫時間耗時較長，這是導致數據采集時間過長的主要原因。?隨著采集系統數據量的快速增長，當前的數據寫庫模式已經受到日益嚴峻挑戰，因此需要一種高效的電能量寫庫方法滿足用戶數據時效性業務需求。?

發明內容

為解決上述問題，本發明基于分步式緩存存儲和批處理（BATCH）技術實現用電信息采集系統全口徑電能量數據的存儲，有效提高了數據存儲效率。

為實現上述目的，本發明采用的技術方案如下：

一種應用于電力用戶用電信息采集系統的電能量數據寫庫方法，結合采集系統數據帶有數據采集時間標簽以及數據采集按日進行的特點，需事先在數據庫中構建一個按日進行分區，且主鍵索引為本地索引的計量點電能示值表。這樣，每日采集回來的數據根據時間標簽放入到指定分區中，由于每個分區都是單獨的segment（占用的數據文件空間），雖然數據表中數據隨時間推移呈線性增長，但進行數據查詢或數據寫入時可進行指定分區操作，因此，可有效縮小查詢數據集，提高數據抽取及寫庫的效率。

該方法包括以下步驟：

????步驟一、每日空閑時間數據預存儲：在每日采集前的系統空閑時間將待采集計量點的標識和日期預先初始化到計量點電能示值表的指定分區中；計量點的標識和日期是表的主鍵，以此進行主鍵索引，找到相應的日期分區以及相應的計量點。在此采用分步式緩存存儲，每日選擇數據庫空閑時間（20：00至24:00），先次日要采集的計量點記錄初始化到該表中，這樣在采集數據寫庫時可直接對該表中的記錄進行更新，無需進行插入操作。而傳統的寫庫方法是先對該記錄進行插入操作，如果成功則處理下一條，如果失敗則進行更新操作，處理每條記錄需要與數據庫交互兩次。?本發明與傳統寫庫方式相比，省去了插入步驟，只需與數據庫交互一次，從而減少了與數據庫交互的次數，大幅提高了數據寫庫效率。

?步驟二、每日定時采集計量點電能示值數據并緩存：定時同步啟動各待采集終端的計量點電能示值數據采集，將采集回的數據插入日期標簽后以文件形式緩存到指定機器上，設定文件大小，超過設定值的文件作為歷史文件維護在存儲文件隊列中。傳統的數據采集及數據寫庫是在同一個線程中進行，由于海量采集系統內接入采集終端的數量至少在30萬以上，且采用高并發進行數據采集（即30萬臺終端并發進行數據采集及數據存儲），受數據庫鏈接數量的限制，數據寫庫時間較長。本發明這種方式可將數據采集與數據寫庫分離，兩步獨立操作，提高寫庫效率。

????步驟三、啟動寫庫線程：在數據采集同時啟動數據存盤線程，采用批處理方式對存儲文件隊列中的文件進行數據寫庫處理，將數據更新至對應日期的分區表中。由存盤線程進行統一寫庫管理，存盤線程可以單線程也可以是多線程。采用批處理方式進行寫庫，提升了寫庫的速度。而且，數據庫中的數據按日期分區存儲，便于后期數據抽取操作。