[發明專利]基于遷移均衡策略的用電信息分布式文件存儲方法與裝置

在審

• 申請號: 201510502666.1
• 申請日: 2015-08-14
• 公開（公告）號: CN105183371A
• 公開（公告）日: 2015-12-23
• 發明（設計）人: 史玉良;李慶忠;張暉;管永明;呂梁
• 申請（專利權）人: 山東大學;山大地緯軟件股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 趙妍

1.基于遷移均衡策略的用電信息分布式文件存儲裝置，其特征是，包括：

數據采集模塊，用于電信息采集系統采集終端上送的用電信息原始數據幀，將用電信息原始數據幀解析得到原始數據，檢測本地磁盤模塊中文件的信息，根據文件的信息選擇是否將文件上傳至數據存儲模塊；

本地磁盤模塊，將數據采集模塊解析后的原始數據以文件形式存入并緩存；

數據存儲模塊，負責存儲用電數據信息，包括前置通信平臺關系數據庫和分布式MongoDB數據庫；

大數據管理引擎，負責定時監測獲取前置通信平臺關系數據庫內未進行數據轉存計算的文件信息，并參照這部分文件信息，將文件從MongoDB數據庫提取，同時更新前置通信平臺關系數據庫內文件提取時間；將從MongoDB數據庫提取的文件數據轉化為數據字符流，并進行數據計算，得到業務數據；

數據持久化模塊，負責將業務數據交給業務數據庫持久化通道進行業務數據持久化，并將業務數據按其所支持具體業務的時效性和功能的不同分別存入應用系統的不同業務數據庫中。

2.如權利要求1所述基于遷移均衡策略的用電信息分布式文件存儲方法的裝置，其特征是，所述數據采集模塊將用電信息原始數據幀按照信道類型和規約類型進行解析得到原始數據。

3.如權利要求1所述基于遷移均衡策略的用電信息分布式文件存儲方法的裝置，其特征是，所述數據采集模塊需要檢測本地磁盤模塊中文件的數量、大小和最近一次寫入時間，若文件大小達到設定閾值或文件在設定時間閾值內未更新，則將數據文件上傳至數據存儲模塊，并更新文件上傳時間。

4.如權利要求1所述基于遷移均衡策略的用電信息分布式文件存儲方法的裝置，其特征是，所述前置通信平臺關系數據庫存儲的數據包括客戶檔案數據、通信信道信息及監控信息。

5.如權利要求1所述基于遷移均衡策略的用電信息分布式文件存儲方法的裝置，其特征是，所述MongoDB數據庫存儲的數據包括測量點電能、電流、電壓數據及終端通訊源碼數據。

6.如權利要求1所述基于遷移均衡策略的用電信息分布式文件存儲方法的裝置，其特征是，所述業務數據庫包括檔案數據庫、電壓電流數據庫、表碼數據庫、電量數據庫、戶供電質量數據庫、電量分析數據庫、線損分析數據庫。

7.一種基于權利要求1所述基于遷移均衡策略的用電信息分布式文件存儲裝置的存儲方法，其特征是，包括以下步驟：

步驟一、數據采集模塊將用電信息采集系統采集終端上送的用電數據原始數據幀按信道類型和歸約類型進行解析得到原始數據，原始數據以文件形式存入本地磁盤模塊進行緩存，并將原始數據幀上傳至前置通信平臺關系數據庫和MongoDB數據庫；

步驟二、檢測本地磁盤模塊中文件的數量、大小和最近一次寫入時間，若文件大小達到設定閾值或文件在設定時間閾值內未更新，數據采集模塊將數據文件上傳至MongoDB數據庫，并更新文件上傳時間；

步驟三、MongoDB數據庫采用優化的遷移均衡策略通過路由在mongos獲取分片所在的節點負載，從數據量和負載兩方面實現均衡；

步驟四、大數據管理引擎定時監測前置通信平臺關系數據庫內未進行數據轉存計算的文件信息，并參照這部分文件的大小、名稱及時間信息，將文件從MongoDB數據庫提取，同時以時間為標簽；

步驟五、將從MongoDB數據庫提取到的文件數據轉化為數據字符流，并進行數據計算，得到業務數據；

步驟六、數據持久化模塊將業務數據提交給業務數據庫持久化通道，交由持久化通道進行業務數據持久化，并存入應用系統的業務數據庫。

8.如權利要求7所述基于遷移均衡策略的用電信息分布式文件存儲方法，其特征是，所述步驟三中優化的遷移均衡策略包括：

步驟3.1、MongoDB部署集群首先集合所有分片的相關信息，確定負載最高的分片、chunk數最大的分片、待移除的分片以及chunk數較小的分片中負載最低的分片；

步驟3.1、檢查遷移條件一：檢查分片內chunk數之差是否超過閾值，若滿足，則確定源分片為chunk數最大的分片，若不滿足則檢查遷移條件二；

步驟3.2、檢查遷移條件二：檢查是否存在等待刪除的分片，若存在，則選取一個待刪除分片作為源分片，若不滿足則檢查遷移條件三；

步驟3.3、檢查遷移條件三：檢查是否存在過載的分片，若存在，則確定源分片為負載最高的分片；若不存在過載的分片，則無需遷移；

步驟3.4、確定遷移源分片和目標分片，進行分片遷移。