[發明專利]用電信息采集系統的任務并行處理方法

有效

• 申請號: 201310437549.2
• 申請日: 2013-09-24
• 公開（公告）號: CN103514277A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 黃奇峰;鄭海雁;范潔;熊政;李新家;陳霄;周玉;喻偉;王紅星;陳剛;易永仙
• 申請（專利權）人: 國家電網公司;江蘇省電力公司;江蘇省電力公司電力科學研究院;江蘇方天電力技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

?

技術領域

本發明涉及一種用電信息采集系統的任務并行處理方法，屬于計算機系統技術領域。

背景技術

并行機制是用電信息采集系統平臺的一個重要組成部分，使得不同用戶任務的下發和數據項的采集入庫能夠快速、高效的執行。

為滿足大量的不同用戶用電信息的任務需求，并行系統應具備相當的可用性和自適應性。不僅需要提供正常的任務調度，還需要提供任務的分割；另外，為滿足更高的執行效率，并行系統還需要具備一定的自適應的功能。

目前，部分信息采集系統提供了任務并行的功能，但其并行的功能太過的單一，任務和線程的對應關系比較的固定，這樣就會出現線程的利用率較差，從而導致任務的執行效率不高，使得數據項不能及時的采集入庫，影響營銷部門抄表、電費等時效性較強業務的開展，并且還伴隨著QOS的降低。

發明內容

本發明所要解決的技術問題是提出了一種先進的并行處理方法，提高任務的執行效率，保證數據采集的及時性，提高業務的服務質量。

為實現上述目的，本發明采取以下技術方案進行實現：

用電信息采集系統的任務并行處理方法，其特征在于：包括

1)??建立各地市采集任務的分布式的采集通訊機組：建立分布式的采集通訊機組，由各采集通訊機并行采集線程對應的分布在各地市的終端執行采集任務，對各個地市之間的采集任務并行處理；

2)?任務的并行處理：當任務隊列中有任務需要執行時，通過一個管理線程查詢當前采集通訊機組所有采集線程的運行狀態，當有空閑的采集線程時，就去取任務隊列中這個需要執行的任務，沒有采集線程空閑的話，該任務處于等待狀態，直至查詢到有空間的采集線程；???

3)??任務分解成若干子任務：根據終端的不同類型，對采集的任務進行分解：?

A.終端為集抄終端：循環數據項，由當前數據項和當前采集點取得采集對象列表，循環采集對象列表，取得采集數據項，當采集數據項數達到任務上限或者到達最后一個采集對象，則生成一條子任務；當所有采集對象的子任務生成完成，則轉至下一個數據項，由下一個數據項和當前的采集點取得新的采集對象列表，生成下一個數據項和當前采集點的采集任務，過程與前一個數據項的子任務生成過程相同；

B.終端為負控終端：先取得該采集點的采集對象列表，循環采集對象列表，由每個采集對象分別和當前配置任務的所有數據項生成采集數據項列表，如果采集數據項數達到每條任務最大采集數據項數，或者到達最后一個采集對象的最后一個采集數據項時，則生成一條子任務；當一個采集對象對應所有數據項的采集數據項的自動任務生成完成，則轉至下一個采集對象，下一個采集對象的自動任務生成過程與前一個采集對象生成過程相同；

4)任務的并行存儲：對多個采集線程采集上來的數據項同時進行存儲，數據緩存區對于每個線程進行分區，同時讀寫。

任務按性質分為自動任務和手動任務，自動任務每天定時執行，手動任務由人為手動觸發，如召測某個數據項的數據；自動任務和手動任務分別存放在任務隊列緩存中的自動任務隊列緩存和手動任務隊列緩存中。

手動任務的優先級比自動任務高，任務隊列緩存采取FIFO先進先出機制。

管理線程用來啟動或暫停多個采集線程，采集線程到任務隊列緩存中取任務，任務查詢方法為：管理線程啟動第一個采集線程；先查詢手動任務隊列緩存首部，有任務就開始執行，并且第一采集線程進入忙碌狀態，沒有任務就繼續查詢自動任務隊列緩存首部，有任務就執行，并且第一采集線程進入忙碌狀態，沒有就繼續查詢手動任務隊列緩存和自動任務隊列緩存，進入輪詢狀態；

上一個采集線程進入忙碌狀態后，管理線程啟動下一個采集線程，下一個采集線程執行相同的任務查詢過程。

任務的并行存儲機制為：

數據庫按照終端號，用戶編號、電表號、電表局號、日期、地區編號等信息進行區域分割，任務線程把采集好的數據按照終端號，用戶編號、電表號、電表局號、日期、地區編號等信息分別把數據存放到相應的區域，如果對應的信息與之前存儲的信息不同，則進行數據插入操作，若是果對應的信息與之前存儲的信息相同，則執行數據替換更新操作。

每個采集通訊機組設置有采集通訊機組熱備，當前采集通訊機組出現故障時，切換到采集通訊機組熱備，由采集通訊機組熱備繼續執行當前任務。

一個采集通訊機組包含一個管理線程，用于管理的最大并行采集線程數為300。?采集通訊機熱備：用于當主設備出現故障時，可以自動切換到備用設備，保證任務可以繼續執行。