[發(fā)明專利]電力大數(shù)據(jù)模型的評價指標(biāo)體系與構(gòu)建方法

在審

• 申請?zhí)枺?/td>: 202110395761.1
• 申請日: 2021-04-13
• 公開（公告）號: CN113095680A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計）人: 張祿;嚴(yán)嘉慧;陳平;段大鵬;李香龍;丁屹峰;遲忠君;姚斌;徐蕙;邵文君
• 申請（專利權(quán)）人: 國網(wǎng)北京市電力公司;國家電網(wǎng)有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/04;G06Q50/06
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 霍文娟

本申請?zhí)峁┝艘环N電力大數(shù)據(jù)模型的評價指標(biāo)體系與構(gòu)建方法。該評價指標(biāo)體系包括多個一級評價維度，一部分一級評價維度下包括多個二級評價標(biāo)簽，各二級評價標(biāo)簽下包括多個三級評價因子，另一部分一級評價維度下包括多個三級評價因子。采用本方案建立的評價指標(biāo)體系選取典型的菜單式指標(biāo)體系架構(gòu)，共有三層指標(biāo)，評價指標(biāo)體系評價因素比較豐富，采用本方案的評價指標(biāo)體系對現(xiàn)有的電力大數(shù)據(jù)模型進行評價，更能準(zhǔn)確地評價電力大數(shù)據(jù)模型的優(yōu)劣。

技術(shù)領(lǐng)域

本申請涉及電力大數(shù)據(jù)領(lǐng)域，具體而言，涉及一種電力大數(shù)據(jù)模型的評價指標(biāo)體系、評價指標(biāo)體系的構(gòu)建方法、構(gòu)建裝置、計算機可讀存儲介質(zhì)與處理器。

背景技術(shù)

近些年，隨著國家經(jīng)濟及互聯(lián)網(wǎng)的快速發(fā)展，電力公司業(yè)務(wù)不斷延伸，數(shù)據(jù)持續(xù)增加。公司業(yè)務(wù)部門以數(shù)據(jù)為基礎(chǔ)，結(jié)合電網(wǎng)業(yè)務(wù)特點，積累了一系列電力大數(shù)據(jù)分析模型；而模型的優(yōu)劣直接影響著工作質(zhì)量及效率，優(yōu)質(zhì)模型能夠提高公司效益，反之，無效模型將給公司發(fā)展帶來負(fù)面效應(yīng)。因此，構(gòu)建一套電力大數(shù)據(jù)模型評價指標(biāo)體系用于輔助公司合理、正確的評價及運用模型是非常有意義的。

目前典型通用的大數(shù)據(jù)分析模型的評價指標(biāo)主要是圍繞模型的準(zhǔn)確性來設(shè)計的，如分類模型評價指標(biāo)AUC；另外，2018年，國網(wǎng)公司根據(jù)模型準(zhǔn)確性評價指標(biāo)，結(jié)合電力特點，發(fā)布了一套電網(wǎng)大數(shù)據(jù)分析模型評價準(zhǔn)則，完善了模型評價指標(biāo)體系。

在上述兩種方法中，前者從準(zhǔn)確性方面對模型進行評價，考慮因素單一；后者綜合評價指標(biāo)(或者指標(biāo)權(quán)重)計算是通過專家經(jīng)驗法來實現(xiàn)的，主觀性強，缺乏客觀評判。

發(fā)明內(nèi)容

本申請的主要目的在于提供一種電力大數(shù)據(jù)模型的評價指標(biāo)體系、評價指標(biāo)體系的構(gòu)建方法、構(gòu)建裝置、計算機可讀存儲介質(zhì)與處理器，以解決現(xiàn)有技術(shù)中電力大數(shù)據(jù)模型的評價指標(biāo)體系評價因素比較單一的問題。

為了實現(xiàn)上述目的，根據(jù)本申請的一個方面，提供了一種電力大數(shù)據(jù)模型的評價指標(biāo)體系，包括多個一級評價維度，一部分所述一級評價維度下包括多個二級評價標(biāo)簽，各所述二級評價標(biāo)簽下包括多個三級評價因子，另一部分所述一級評價維度下包括多個所述三級評價因子。

進一步地，所述一級評價維度包括模型數(shù)據(jù)、模型性能和模型適用性，所述模型數(shù)據(jù)包括數(shù)據(jù)源標(biāo)準(zhǔn)性、數(shù)據(jù)合規(guī)性和數(shù)據(jù)集成自動性，所述模型性能包括模型精準(zhǔn)性、模型運行能力和模型泛化能力，所述模型適用性包括數(shù)據(jù)匹配度、目標(biāo)完成度和適用廣泛性。

進一步地，所述數(shù)據(jù)源標(biāo)準(zhǔn)性包括數(shù)據(jù)范圍符合度和數(shù)據(jù)類型符合度，所述數(shù)據(jù)合規(guī)性包括數(shù)據(jù)源合法性和數(shù)據(jù)源安全性，所述數(shù)據(jù)集成自動性包括文件數(shù)據(jù)集成度和數(shù)據(jù)庫數(shù)據(jù)集成度，所述模型精準(zhǔn)性包括AUC、準(zhǔn)確率、CH指數(shù)、調(diào)整蘭德系數(shù)、校正決定系數(shù)、排序收益和排序精度，模型運行能力包括模型運行用時、磁盤占用率、CPU占用率和內(nèi)存占用率，模型泛化能力包括時間泛化差值率、區(qū)域泛化差值率和數(shù)據(jù)規(guī)模泛化差值率。

進一步地，用所述AUC和所述準(zhǔn)確率評價分類模型，用所述CH指數(shù)和所述調(diào)整蘭德系數(shù)評價聚類模型，用所述校正決定系數(shù)和所述調(diào)整蘭德系數(shù)評價回歸模型，用所述排序收益和排序精度評價排序模型。

根據(jù)本申請的另一個方面，提供了一種評價指標(biāo)體系的構(gòu)建方法，包括：獲取電力數(shù)據(jù)的原始數(shù)據(jù)集；將所述原始數(shù)據(jù)集劃分為多個子數(shù)據(jù)集；將一部分所述子數(shù)據(jù)集輸入至熵權(quán)法基學(xué)習(xí)器中進行運算，得到第一權(quán)重分配結(jié)果；將另一部分所述子數(shù)據(jù)集輸入至德爾菲法基學(xué)習(xí)器中進行運算，得到第二權(quán)重分配結(jié)果；將所述第一權(quán)重分配結(jié)果和所述第二權(quán)重分配結(jié)果輸入至元學(xué)習(xí)器中進行運算，得到最終權(quán)重分配結(jié)果，所述最終權(quán)重分配結(jié)果為所述三級評價因子的權(quán)重。

進一步地，在將所述第一權(quán)重分配結(jié)果和所述第二權(quán)重分配結(jié)果輸入至元學(xué)習(xí)器中進行運算，得到最終權(quán)重分配結(jié)果之后，所述方法還包括：根據(jù)所述三級評價因子的權(quán)重確定所述二級評價標(biāo)簽的權(quán)重和另一部分所述一級評價維度的權(quán)重；根據(jù)所述二級評價標(biāo)簽的權(quán)重確定一部分所述一級評價維度的權(quán)重。