[發(fā)明專利]一種面向資源管理的分布式內(nèi)存電網(wǎng)構(gòu)建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410700522.2
• 申請日: 2014-11-28
• 公開（公告）號: CN104599032A
• 公開（公告）日: 2015-05-06
• 發(fā)明（設(shè)計）人: 張春平;楊志;胡牧;唐云善;林峰
• 申請（專利權(quán)）人: 國家電網(wǎng)公司;南京南瑞集團公司;南京南瑞信息通信科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06
• 代理公司: 南京知識律師事務(wù)所 32207
• 代理人: 汪旭東

技術(shù)領(lǐng)域

本發(fā)明屬于電網(wǎng)資源數(shù)據(jù)處理技術(shù)領(lǐng)域，更準(zhǔn)確地說，本發(fā)明涉及一種電網(wǎng)資源數(shù)據(jù)的分布式計算、內(nèi)存計算的方法。

背景技術(shù)

隨著電力信息系統(tǒng)集成度逐步加大，管理范圍進一步延伸至低壓，由此帶來的復(fù)雜資源模型和海量資源數(shù)據(jù)，使得基于關(guān)系數(shù)據(jù)庫的傳統(tǒng)電網(wǎng)模型和存儲方式，在電網(wǎng)資源訪問效率、數(shù)據(jù)計算能力、電網(wǎng)歷史斷面管理等多個方面均無法滿足發(fā)展需求。

為解決大數(shù)據(jù)的存儲、計算及分析問題，Google公司提出了分布式文件系統(tǒng)、面向列的分布式數(shù)據(jù)庫、MapReduce分布式編程模型。Google公司的分布式存儲、分布式計算技術(shù)為大型互聯(lián)網(wǎng)站系統(tǒng)大數(shù)據(jù)量的存儲和分析提出了解決方案，提升了性能。

在大數(shù)據(jù)實時分析方面，?SAP推出了?HANA內(nèi)存計算平臺，它通過內(nèi)存計算技術(shù)以及軟硬件結(jié)合的一體機技術(shù)?，實現(xiàn)高性能的數(shù)據(jù)查詢與分析，滿足用戶對大數(shù)據(jù)處理的實時性需求。

在大容量、高速存儲方面，Oracle?推出了Exadata數(shù)據(jù)庫一體機，它通過高性能硬件、高速網(wǎng)絡(luò)接口，采用智能掃描、智能存儲、智能索引、混合列壓縮等技術(shù)，提高大數(shù)據(jù)和多并發(fā)應(yīng)場景下的系統(tǒng)處理效率。Exadata?數(shù)據(jù)庫一體機能夠使得基于oracle數(shù)據(jù)庫的已有系統(tǒng)的性能得到10倍左右性能提升。

另外，也有一些內(nèi)存數(shù)據(jù)庫技術(shù)，如：為應(yīng)用程序提供即時響應(yīng)和高吞吐量的Oracle?TimesTen產(chǎn)品；將基于內(nèi)存和磁盤的全事務(wù)處理數(shù)據(jù)庫引擎，可用性強的數(shù)據(jù)復(fù)制功能緊密地融為一體的IBM?SolidDB產(chǎn)品；用于各種需要高性能、小尺寸、緊密存儲、零內(nèi)存分配的eXtremeDB；占用資源低、能夠跟很多程序語言相結(jié)合、輕量級的SQLite內(nèi)存數(shù)據(jù)庫；采用高性能的鍵-值存儲、內(nèi)存數(shù)據(jù)集方式的開源Redis內(nèi)存數(shù)據(jù)庫，都提出了數(shù)據(jù)的實時存儲方案，避免解決頻繁的磁盤I/O操作，使得數(shù)據(jù)存取效率提高。

上述分布式和內(nèi)存計算產(chǎn)品由于其通用性設(shè)計，使得其直接應(yīng)用于國家電網(wǎng)公司業(yè)務(wù)系統(tǒng)時，無法發(fā)揮最大優(yōu)勢，甚至存在無法解決的工程應(yīng)用問題。

發(fā)明內(nèi)容

本發(fā)明目的是：針對現(xiàn)有技術(shù)中電網(wǎng)資源數(shù)據(jù)訪問效率低的不足，提供一種面向資源管理的分布式內(nèi)存電網(wǎng)構(gòu)建方法及系統(tǒng)。該方法能夠在內(nèi)存計算、分布式計算等前沿技術(shù)基礎(chǔ)上，通過深度融合國網(wǎng)業(yè)務(wù)，構(gòu)建一套滿足電網(wǎng)資源處理需求，高可靠、擴展性強、符合國網(wǎng)業(yè)務(wù)特點的分布式、內(nèi)存計算技術(shù)及產(chǎn)品，即分布式內(nèi)存電網(wǎng)。該系統(tǒng)能夠全面支撐電力業(yè)務(wù)信息系統(tǒng)對電網(wǎng)資源數(shù)據(jù)的處理，大幅提升處理效率。

具體地說，本發(fā)明提供的面向資源管理的分布式內(nèi)存電網(wǎng)構(gòu)建方法，是采用以下技術(shù)方案實現(xiàn)的，包括以下步驟：

1）建立內(nèi)存電網(wǎng)資源模型，建模時采用面向?qū)ο蟮姆绞剑０ㄕ緝?nèi)一次設(shè)備資源建模、站外一次設(shè)備資源建模和低壓設(shè)備資源建模；

2）水平切割電網(wǎng)資源數(shù)據(jù)，采用基于業(yè)務(wù)屬性的哈希散列方式，將具有不同業(yè)務(wù)屬性值的電網(wǎng)資源數(shù)據(jù)映射到不同的數(shù)據(jù)塊，具有相同業(yè)務(wù)屬性值的電網(wǎng)資源數(shù)據(jù)映射到一同數(shù)據(jù)塊，采用區(qū)域?qū)傩宰鳛榈谝粯I(yè)務(wù)屬性、電壓等級作為第二屬性進行哈希散列；

3）加載電網(wǎng)資源數(shù)據(jù)，在第一次啟動時，根據(jù)數(shù)據(jù)的水平劃分方式，將電網(wǎng)資源數(shù)據(jù)庫中的數(shù)據(jù)按照步驟1）建立的模型進行加載，然后分布式緩存到集群中多個服務(wù)器內(nèi)存中；當(dāng)數(shù)據(jù)加載完成后，將緩存中的電網(wǎng)資源數(shù)據(jù)進行序列化，形成二進制文件保存在本地磁盤；當(dāng)再次啟動時，從本地文件直接讀取電網(wǎng)數(shù)據(jù)，并從電網(wǎng)資源數(shù)據(jù)庫讀取從上次序列化到目前的增量數(shù)據(jù)；

4）創(chuàng)建電網(wǎng)資源地址索引，電網(wǎng)資源分布式緩存后，將緩存服務(wù)器IP地址、電網(wǎng)資源的區(qū)域?qū)傩灾怠㈦娋W(wǎng)資源電壓等級值、占用空間和緩存所用時間信息發(fā)送到電網(wǎng)資源地址管理服務(wù)器中，管理服務(wù)器收集信息后創(chuàng)建索引表，進行緩存；

5）執(zhí)行并行任務(wù)計算，將電網(wǎng)資源查詢、計算任務(wù)按照區(qū)域?qū)傩院碗妷旱燃墝傩圆鸱殖啥嗉墭湫巫尤蝿?wù)，所有子任務(wù)根據(jù)區(qū)域?qū)傩院碗妷旱燃墝傩员徽{(diào)度到數(shù)據(jù)所在的緩存服務(wù)器并發(fā)執(zhí)行；執(zhí)行完畢后將結(jié)果返回給上級父任務(wù)，由父任務(wù)收集匯總所有子任務(wù)結(jié)果，并返回給其父節(jié)點，直至最頂層節(jié)點；

6）建立電網(wǎng)數(shù)據(jù)斷面，通過定時和人工觸犯方式，在指定的時間，對緩存服務(wù)中所有電網(wǎng)資源模型和數(shù)據(jù)進行快速序列化處理，生成多個二進制文件，利用HDFS分布式文件系統(tǒng)進行永久、可靠存儲，最終形成某一時刻的數(shù)據(jù)斷面；