[發(fā)明專(zhuān)利]用于配電網(wǎng)多源數(shù)據(jù)庫(kù)的高吞吐率數(shù)據(jù)處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010095498.X
• 申請(qǐng)日: 2020-02-17
• 公開(kāi)（公告）號(hào): CN111241184B
• 公開(kāi)（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 何西;嚴(yán)亞周;董恒;李祖林
• 申請(qǐng)（專(zhuān)利權(quán)）人: 湖南工學(xué)院
• 主分類(lèi)號(hào): G06F16/25
• 分類(lèi)號(hào): G06F16/25;H04L67/141;H04L69/16
• 代理公司: 衡陽(yáng)雁城專(zhuān)利代理事務(wù)所(普通合伙) 43231
• 代理人: 顏田慶

用于配電網(wǎng)多源數(shù)據(jù)庫(kù)的高吞吐率數(shù)據(jù)處理方法，涉及數(shù)據(jù)吞吐技術(shù)領(lǐng)域，該用于配電網(wǎng)多源數(shù)據(jù)庫(kù)的高吞吐率數(shù)據(jù)處理方法包括兩大步驟，步驟一、采用Socket或動(dòng)態(tài)鏈接庫(kù)獲取多源數(shù)據(jù)；步驟二、通過(guò)C++動(dòng)態(tài)鏈接庫(kù)數(shù)據(jù)訪問(wèn)接口發(fā)送多源數(shù)據(jù)。本發(fā)明所涉用于配電網(wǎng)多源數(shù)據(jù)庫(kù)的高吞吐率數(shù)據(jù)處理方法可以有效提高多源數(shù)據(jù)庫(kù)的吞吐率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)吞吐技術(shù)領(lǐng)域，尤其指一種用于配電網(wǎng)多源數(shù)據(jù)庫(kù)的高吞吐率數(shù)據(jù)處理方法。

背景技術(shù)

隨著智能電網(wǎng)的建設(shè)，越來(lái)越多的量測(cè)終端或系統(tǒng)布置于配電網(wǎng)，比如配網(wǎng)微型同步相量測(cè)量裝置（D-PMU），高級(jí)量測(cè)體系（AMI）這些設(shè)備與傳統(tǒng)的配網(wǎng)SCADA系統(tǒng)一起構(gòu)成新的配電網(wǎng)混合量測(cè)與控制系統(tǒng)。在此種新型配電網(wǎng)系統(tǒng)中，配用電數(shù)據(jù)爆炸性增長(zhǎng)，以D-PMU數(shù)據(jù)為主，D-PMU數(shù)據(jù)采集頻率為每次/10ms，對(duì)于一個(gè)50通道量測(cè)點(diǎn)的?D-PMU來(lái)說(shuō)每秒鐘需要采集的數(shù)據(jù)達(dá)到50000個(gè)，一分鐘為300萬(wàn)個(gè)點(diǎn)。如此海量高頻的數(shù)據(jù)，給配電網(wǎng)多源數(shù)據(jù)庫(kù)存的數(shù)據(jù)吞吐能力提出新的挑戰(zhàn)。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明提供一種用于配電網(wǎng)多源數(shù)據(jù)庫(kù)的高吞吐率數(shù)據(jù)處理方法。

用于配電網(wǎng)多源數(shù)據(jù)庫(kù)的高吞吐率數(shù)據(jù)處理方法，包括以下步驟：

一、采用Socket或動(dòng)態(tài)鏈接庫(kù)獲取多源數(shù)據(jù)；

二、通過(guò)C++動(dòng)態(tài)鏈接庫(kù)數(shù)據(jù)訪問(wèn)接口發(fā)送多源數(shù)據(jù)。。

進(jìn)一步地，所述多源數(shù)據(jù)包括D-PMU數(shù)據(jù)和SCADA數(shù)據(jù)，所述D-PMU數(shù)據(jù)采用Socket來(lái)獲取，所述SCADA數(shù)據(jù)采用動(dòng)態(tài)鏈接庫(kù)來(lái)獲取。

更進(jìn)一步地，配電網(wǎng)多源數(shù)據(jù)庫(kù)采集D-PMU數(shù)據(jù)的過(guò)程如下：

S01，在多源數(shù)據(jù)庫(kù)的接收端創(chuàng)建服務(wù)器套接字并綁定端口，與D-PMU建立Socket連接；

S02，多源數(shù)據(jù)庫(kù)的接收端啟動(dòng)線程進(jìn)行數(shù)據(jù)的獲取；

S03，根據(jù)D-PMU數(shù)據(jù)的包特點(diǎn)，對(duì)每個(gè)包依次進(jìn)行讀取并分別創(chuàng)建線程進(jìn)行數(shù)據(jù)解析和處理。

更進(jìn)一步地，在對(duì)每個(gè)包依次進(jìn)行讀取并分別創(chuàng)建線程進(jìn)行數(shù)據(jù)解析和處理時(shí)：先讀取每個(gè)包的數(shù)據(jù)長(zhǎng)度信息，再根據(jù)數(shù)據(jù)長(zhǎng)度將整個(gè)包讀取出來(lái)，接著使用線程池技術(shù)對(duì)每個(gè)包的“數(shù)據(jù)點(diǎn)數(shù)、每秒數(shù)據(jù)個(gè)數(shù)、時(shí)間戳和數(shù)據(jù)類(lèi)型”進(jìn)行解析，最后根據(jù)數(shù)據(jù)類(lèi)型分別對(duì)每個(gè)包進(jìn)行處理。

再進(jìn)一步地，配電多源數(shù)據(jù)庫(kù)采集SCADA數(shù)據(jù)的過(guò)程如下：

S01，通過(guò)C++調(diào)用主站平臺(tái)提供的動(dòng)態(tài)鏈接庫(kù)獲取SCADA數(shù)據(jù)；

S02，創(chuàng)建數(shù)據(jù)庫(kù)連接，在平臺(tái)QT框架下將SCADA數(shù)據(jù)批量插入數(shù)據(jù)庫(kù)。

再進(jìn)一步地，所述C++動(dòng)態(tài)鏈接庫(kù)數(shù)據(jù)訪問(wèn)接口的制作方法為：先確定數(shù)據(jù)訪問(wèn)接口的數(shù)據(jù)訪問(wèn)形式并以此定義數(shù)據(jù)結(jié)構(gòu)，然后定義C++接口函數(shù)并逐個(gè)實(shí)現(xiàn)獲取不同類(lèi)型數(shù)據(jù)的C++函數(shù)。

優(yōu)選地，所有數(shù)據(jù)的C++函數(shù)的實(shí)現(xiàn)過(guò)程均如下：

S01，創(chuàng)建數(shù)據(jù)庫(kù)連接；

S02，通過(guò)SQL工具從數(shù)據(jù)庫(kù)中查詢(xún)獲取數(shù)據(jù)并進(jìn)行數(shù)據(jù)封裝；

S03，制作動(dòng)態(tài)鏈接庫(kù)配置文件；

S04，在服務(wù)器中編譯運(yùn)行步驟S02和S03中得到的文件，生成C++動(dòng)態(tài)鏈接庫(kù)。