[發(fā)明專利]一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法在審
| 申請?zhí)枺?/td> | 201711338916.8 | 申請日： | 2017-12-14 |
| 公開（公告）號： | CN108062387A | 公開（公告）日： | 2018-05-22 |
| 發(fā)明（設(shè)計）人： | 郭琳云;王建輝;鎖軍;侯勇;于杰;孫銳;鄭宇翔;陳永興;張恒;焦玉濤 | 申請（專利權(quán)）人： | 國網(wǎng)陜西省電力公司電力科學(xué)研究院;西安興匯電力科技有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 上海精晟知識產(chǎn)權(quán)代理有限公司 31253 | 代理人： | 馮子玲 |
| 地址： | 710000 陜西*** | 國省代碼： | 陜西;61 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 面向 tas 系統(tǒng) 實時 數(shù)據(jù) 清洗 轉(zhuǎn)換 方法 | ||
1.一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法，其特征在于，將TAS系統(tǒng)數(shù)據(jù)的數(shù)據(jù)源融合，獲取待清洗的數(shù)據(jù)，對待清洗的數(shù)據(jù)進行處理，以獲取干凈數(shù)據(jù)，將干凈數(shù)據(jù)存入融合數(shù)據(jù)庫中，從而實現(xiàn)多個系統(tǒng)間的數(shù)據(jù)共享以實現(xiàn)實時數(shù)據(jù)清洗與轉(zhuǎn)換，具體步驟包括：
步驟1、通過ETL系統(tǒng)將部署在不同服務(wù)器、數(shù)據(jù)庫的數(shù)據(jù)以及非結(jié)構(gòu)化的數(shù)據(jù)根據(jù)指定的規(guī)則進行抽取，將抽取的數(shù)據(jù)存儲到中間層ODS；
步驟2、通過設(shè)計目標(biāo)或清洗提交或規(guī)范化提交的方式將ODS的數(shù)據(jù)進行層層過濾，得到干凈的數(shù)據(jù)；
步驟3：將干凈的數(shù)據(jù)根據(jù)設(shè)計的業(yè)務(wù)規(guī)則插入或更新到融合數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法，其特征在于，所述步驟1具體為：
101、在ETL系統(tǒng)設(shè)置抓取數(shù)據(jù)服務(wù)模塊，抓取數(shù)據(jù)服務(wù)模塊根據(jù)配置文件信息，獲取不同服務(wù)器的IP地址，然后連接至各個服務(wù)器中的應(yīng)用；
102、根據(jù)指定的規(guī)則從各個服務(wù)器中抽取數(shù)據(jù)，將抽取的數(shù)據(jù)存儲到中間層ODS。
3.根據(jù)權(quán)利要求1所述的一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法，其特征在于：所述步驟1中的數(shù)據(jù)來源包括ODBC數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)源、平面文件、XML數(shù)據(jù)源以及日志。
4.根據(jù)權(quán)利要求1所述的一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法，其特征在于：所述步驟2中過濾的方式為通過服務(wù)器中的應(yīng)用獲取設(shè)備目前狀態(tài)，若該設(shè)備為運行態(tài)，則抓取相應(yīng)數(shù)據(jù)，相反，若該設(shè)備為停用、拆除等狀態(tài)，則丟棄數(shù)據(jù)，不進入融合數(shù)據(jù)庫。
5.根據(jù)權(quán)利要求4所述的一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法，其特征在于：丟棄的數(shù)據(jù)為不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)和重復(fù)的數(shù)據(jù)，所述錯誤的數(shù)據(jù)在丟棄后進行修復(fù)，修復(fù)后再抽取。
6.根據(jù)權(quán)利要求1所述的一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法，其特征在于，所述步驟3中插入或更新的具體過程為：
將干凈的數(shù)據(jù)與CRC碼進行對比，若相同，則插入或更新到融合數(shù)據(jù)庫中，若不同，則進行CRC匹配，通過源系統(tǒng)內(nèi)的提示將符合規(guī)則的插入或更新到融合數(shù)據(jù)庫中，不符合規(guī)則的忽略。
7.根據(jù)權(quán)利要求6所述的一種面向TAS系統(tǒng)的實時數(shù)據(jù)清洗與轉(zhuǎn)換方法，其特征在于，所述步驟3中插入或更新的過程具體還包括：
將CRC碼不同的數(shù)據(jù)中變化的字段進行覆蓋處理，若能覆蓋，則可以插入或更新到融合數(shù)據(jù)庫中，若不能覆蓋，則更新數(shù)據(jù)的維度屬性進行修復(fù)后再插入或更新到融合數(shù)據(jù)庫中。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于國網(wǎng)陜西省電力公司電力科學(xué)研究院;西安興匯電力科技有限公司，未經(jīng)國網(wǎng)陜西省電力公司電力科學(xué)研究院;西安興匯電力科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711338916.8/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
