[發(fā)明專利]基于大數(shù)據(jù)平臺(tái)的大壩變形預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711487838.8
• 申請(qǐng)日: 2017-12-29
• 公開（公告）號(hào): CN108228819A
• 公開（公告）日: 2018-06-29
• 發(fā)明（設(shè)計(jì)）人: 饒小康;賈寶良;張金燿;羅熠;張慧;郭亮;賀毅;張興;張念;詹程遠(yuǎn);余祎;熊俊;梁壘
• 申請(qǐng)（專利權(quán)）人: 武漢長(zhǎng)江儀器自動(dòng)化研究所有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06K9/62
• 代理公司: 北京匯澤知識(shí)產(chǎn)權(quán)代理有限公司 11228
• 代理人: 程殿軍

本發(fā)明提供了一種基于大數(shù)據(jù)平臺(tái)的大壩變形預(yù)測(cè)方法，包括以下步驟：針對(duì)大壩變形監(jiān)測(cè)的離線歷史數(shù)據(jù)和實(shí)時(shí)在線數(shù)據(jù)，采用Flume?Kafka?Storm分布式數(shù)據(jù)采集處理機(jī)制對(duì)數(shù)據(jù)進(jìn)行采集和匯總；將數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時(shí)中間層，對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，然后將清洗和轉(zhuǎn)換后的數(shù)據(jù)加載至HDFS分布式文件系統(tǒng)；根據(jù)具體大壩變形預(yù)測(cè)需求，從影響大壩變形的特征集合中選取一組最有效的特征子集；基于大數(shù)據(jù)人工智能算法建立MapReduce或者Spark大數(shù)據(jù)并行計(jì)算框架之上的KNN并行化算法預(yù)測(cè)模型并對(duì)大壩變形進(jìn)行預(yù)測(cè)。本發(fā)明建立基于大數(shù)據(jù)人工智能算法的大壩變形預(yù)測(cè)模型，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)下一種新的大壩變形預(yù)測(cè)方法，提高大壩變形預(yù)測(cè)效率和精度。

技術(shù)領(lǐng)域

本發(fā)明涉及大壩變形預(yù)測(cè)領(lǐng)域，尤其涉及一種基于大數(shù)據(jù)平臺(tái)的大壩變形預(yù)測(cè)方法。

背景技術(shù)

大壩是調(diào)度水利資源時(shí)空分布、合理配置水資源重要的工程措施，也是防洪工程體系的關(guān)鍵組成部分，大多建造在水文、工程地質(zhì)條件復(fù)雜環(huán)境中，且承受著巨大荷載。大壩安全監(jiān)測(cè)是掌控大壩運(yùn)行性態(tài)的重要手段，且為判斷大壩安全與否的科學(xué)依據(jù)。對(duì)其進(jìn)行實(shí)時(shí)監(jiān)測(cè)，利用大量的變形觀測(cè)資料，進(jìn)行及時(shí)分析和處理，建立變形預(yù)測(cè)模型，分析評(píng)價(jià)大壩安全狀態(tài)是確保大壩安全運(yùn)行的重要手段。

大壩的變形監(jiān)測(cè)工作是借助一些傳統(tǒng)或現(xiàn)代的安全監(jiān)測(cè)儀器，遵循一定的測(cè)量方法和測(cè)量技術(shù)規(guī)范，獲取大壩安全性態(tài)的實(shí)時(shí)動(dòng)態(tài)的數(shù)據(jù)資料，并進(jìn)行分析處理、模型預(yù)測(cè)和安全評(píng)價(jià)的工作。由于大壩受諸多類似水壓力、揚(yáng)壓力、溫度、時(shí)間以及許多其他不確定性因素的影響，傳統(tǒng)數(shù)學(xué)物理模型都是建立在一定假設(shè)的基礎(chǔ)之上，即假定每次觀測(cè)都相互獨(dú)立，觀測(cè)誤差的數(shù)學(xué)期望為零且呈正太分布；大壩變形與影響特征呈現(xiàn)很強(qiáng)的非線性關(guān)系，使得大壩變形預(yù)測(cè)成為一種復(fù)雜的非線性動(dòng)力系統(tǒng)，傳統(tǒng)預(yù)測(cè)模型難以描述此類復(fù)雜的非線性關(guān)系，擬合效果欠佳；預(yù)測(cè)模型泛化能力和魯棒性也較弱。

大壩變形監(jiān)測(cè)數(shù)據(jù)種類多、體量大，且數(shù)據(jù)資源蘊(yùn)含豐富價(jià)值，傳統(tǒng)的理論、方法及工具已越來(lái)越難以存儲(chǔ)和計(jì)算如此超大規(guī)模數(shù)據(jù)集，面對(duì)當(dāng)前海量、異構(gòu)、多源數(shù)據(jù)，大壩變形預(yù)測(cè)方法對(duì)技術(shù)處理能力提出了更高的要求，現(xiàn)有數(shù)據(jù)處理以單節(jié)點(diǎn)計(jì)算為主，缺乏并行計(jì)算處理能力；以傳統(tǒng)離線處理為主，缺乏實(shí)時(shí)在線處理。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于大數(shù)據(jù)平臺(tái)的大壩變形預(yù)測(cè)方法，旨在用于解決現(xiàn)有的大壩變形預(yù)測(cè)方法的數(shù)據(jù)處理以單節(jié)點(diǎn)計(jì)算為主，缺乏并行計(jì)算處理能力，以傳統(tǒng)離線處理為主，缺乏實(shí)時(shí)在線處理的問題。

本發(fā)明是這樣實(shí)現(xiàn)的：

本發(fā)明提供一種基于大數(shù)據(jù)平臺(tái)的大壩變形預(yù)測(cè)方法，包括以下步驟：

S1，針對(duì)大壩變形監(jiān)測(cè)的離線歷史數(shù)據(jù)和實(shí)時(shí)在線數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，采用Flume-Kafka-Storm分布式數(shù)據(jù)采集處理機(jī)制對(duì)數(shù)據(jù)進(jìn)行采集和匯總；

S2，將數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時(shí)中間層，對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，然后將清洗和轉(zhuǎn)換后的數(shù)據(jù)加載至HDFS分布式文件系統(tǒng)；

S3，根據(jù)具體大壩變形預(yù)測(cè)需求，從影響大壩變形的特征集合中選取一組最有效的特征子集；

S4，基于大數(shù)據(jù)人工智能算法建立MapReduce或者Spark大數(shù)據(jù)并行計(jì)算框架之上的KNN并行化算法預(yù)測(cè)模型并對(duì)大壩變形進(jìn)行預(yù)測(cè)。

進(jìn)一步地，所述步驟S2中對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換具體包括：對(duì)數(shù)據(jù)的解析、去重、篩選、清洗、合并、分類、轉(zhuǎn)換和增強(qiáng)操作。

進(jìn)一步地，所述步驟S2中將數(shù)據(jù)加載至HDFS分布式文件系統(tǒng)具體包括：對(duì)于結(jié)構(gòu)化數(shù)據(jù)，以文本文件形式加載至HDFS或遷移至HBase，并設(shè)置相應(yīng)的一級(jí)索引和二級(jí)索引；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，以二進(jìn)制的方式加載至HDFS，并將其路徑存儲(chǔ)于HBase。