[發(fā)明專利]購供售一體化電能量采集與監(jiān)控系統(tǒng)中基于分布式緩存的采集任務調度方法

無效

• 申請?zhí)枺?/td>: 201110389356.5
• 申請日: 2011-11-30
• 公開（公告）號: CN102508709A
• 公開（公告）日: 2012-06-20
• 發(fā)明（設計）人: 嚴小文;王軍;唐如意;陶曉峰;高魯鑫;徐俊杰;張潔;張穎琦;楊文生;許浩
• 申請（專利權）人: 國電南瑞科技股份有限公司;河北省電力公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 陳建民

技術領域

本發(fā)明涉及一種購供售一體化電能量采集與監(jiān)控系統(tǒng)中基于分布式緩存的采集任務調度方法，本方法也適用于傳統(tǒng)的電能量采集與監(jiān)控系統(tǒng)。

背景技術

?傳統(tǒng)的電能量采集與監(jiān)控系統(tǒng)都是獨立分散的系統(tǒng)，一般都是變電站、電廠關口電量采集一套系統(tǒng)，電力用戶用電信息采集又是另外一套系統(tǒng)，因為數據分散，只要采用一般的基于采集結點間的采集程序控制的任務調度就可以滿足任務調度的作用。

新型的購供售一體化電能量采集與監(jiān)控系統(tǒng)要將電廠變電站和電力用戶納入一個平臺采集，數據類型多，數據量大，從高壓到低壓用戶，從幾十萬到上百萬，乃至上千萬，對于這些數據的采集傳統(tǒng)的任務調度不管從實時性還是數據量都已經不能滿足系統(tǒng)的需求。

目前傳統(tǒng)的電能量采集與監(jiān)控系統(tǒng)中的任務調度方式大多是采用在采集集群內部通過消息總線進行任務調度，其步驟首先在采集集群中指定某個采集結點作為任務調度主機，由這臺主機生成任務通過消息總線給其他結點分配任務，采用這種方式不可避免地會出現當主機退出集群時，整個采集集群需要重新進行運算找出下一個主機，這樣會造成采集服務的短暫中斷，而且會造成任務丟失等現象；另一種比較常用的方法是采集集群通過一致性HASH算法由每臺采集結點負載均衡地接管一部分任務，這種方法沒有調度主機的概念，采集集群中的每臺采集結點地位是均等的，當集群中的任何一個結點退出的話，會通過一致HASH算法把這臺上的任務再平均分配到其他結點上，但是這也是需要有一段時間去完成運算，這個過程也會造成采集服務的短暫中斷。

上述現有技術的缺點如下：

在采集集群中的某些結點狀態(tài)變化的時候會對采集服務造成一段時間中斷，以上任務調度方式會由于采集集群中的采集結點的頻繁啟停造成部分任務丟失；對任務執(zhí)行缺乏有效監(jiān)控，對失敗任務不容易回收，實現負載均衡等難度都較大等缺點。

發(fā)明內容

本發(fā)明所要解決的技術問題是提供一種購供售一體化電能量采集與監(jiān)控系統(tǒng)中基于分布式緩存的采集任務調度方法。

本發(fā)明解決其技術問題所采用的技術方案：

一種購供售一體化電能量采集與監(jiān)控系統(tǒng)中基于分布式緩存的采集任務調度方法，其特征在于所述方法由分布式緩存、任務管理器、前置采集集群及消息總線組成的采集任務調度系統(tǒng)完成；具體步驟如下：

（一）由所述任務管理器根據任務模板生成采集任務，將所述采集任務放到所述分布式緩存的任務數據區(qū)：

（1）由所述采集與監(jiān)控系統(tǒng)將數據庫中的任務模板加載到所述分布式緩存的任務數據區(qū)，由任務管理器從所述任務數據區(qū)獲取任務模板，并對任務模板的狀態(tài)進行判斷，過濾掉無效和停用的任務模板；

（2）對任務模板進行增加或/和刪除修改：

對任務模板根據需要進行增加或/和刪除修改，由任務管理器對作出修改的任務模板進行監(jiān)測，并通過消息總線獲取相應的信息；

（3）創(chuàng)建任務線程池：

通過分析任務模板的內容，根據任務需要執(zhí)行的時間和周期創(chuàng)建任務線程池，任務管理器根據任務時間要求屬性動態(tài)地生成采集任務，并將所生成的采集任務放入所述任務線程池中，由任務管理器統(tǒng)一管理；

所述采集任務由任務ID號和任務信息體組成，一個任務ID號對應唯一一個任務信息體；

（二）由任務管理器通過權重輪詢算法對所述采集任務進行調度，將采集任務通過消息總線分發(fā)給各個采集結點，采集結點獲取采集任務后進行報文組裝、下發(fā)和接收解析操作，采集任務結束后更新采集任務狀態(tài)：

（1）所述權重輪詢算法根據每臺采集服務器的不同處理能力，給每臺采集服務器分配不同的權值，使其能夠接收相應權值數的任務請求；

（2）分配好的采集任務會標記上采集結點的任務ID號標識，把分配的任務發(fā)送到消息總線上，同時在分布式緩存的任務數據區(qū)中記錄下這個采集任務的狀態(tài)，包括已經分配給哪臺采集結點執(zhí)行和采集任務的執(zhí)行狀態(tài)和時間；

（3）采集結點獲取任務后，根據任務信息體的內容進行報文的組裝、下發(fā)及接收解析操作，然后根據采集任務執(zhí)行結果通過消息總線返回到分布式緩存的任務數據區(qū)；所述采集任務執(zhí)行結果包括成功、失敗和超時；

（三）任務管理器對執(zhí)行完成的采集任務進行相應的處理：

任務管理器定時地對所述任務數據區(qū)進行監(jiān)測，對執(zhí)行成功的任務進行清理，對執(zhí)行失敗和超時的任務進行重新進行分配；當前置采集集群里的某個采集結點突然退出時，任務管理器監(jiān)測到采集結點工況變化信息，對這個采集結點上正在執(zhí)行的采集任務和未執(zhí)行的采集任務進行回收，將這些采集任務重新分配到其他在線的采集結點上。