[發明專利]基于大數據平臺的大壩變形預測方法

在審

• 申請號: 201711487838.8
• 申請日: 2017-12-29
• 公開（公告）號: CN108228819A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 饒小康;賈寶良;張金燿;羅熠;張慧;郭亮;賀毅;張興;張念;詹程遠;余祎;熊俊;梁壘
• 申請（專利權）人: 武漢長江儀器自動化研究所有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 程殿軍

本發明提供了一種基于大數據平臺的大壩變形預測方法，包括以下步驟：針對大壩變形監測的離線歷史數據和實時在線數據，采用Flume?Kafka?Storm分布式數據采集處理機制對數據進行采集和匯總；將數據源中的數據抽取到臨時中間層，對數據進行清洗和轉換，然后將清洗和轉換后的數據加載至HDFS分布式文件系統；根據具體大壩變形預測需求，從影響大壩變形的特征集合中選取一組最有效的特征子集；基于大數據人工智能算法建立MapReduce或者Spark大數據并行計算框架之上的KNN并行化算法預測模型并對大壩變形進行預測。本發明建立基于大數據人工智能算法的大壩變形預測模型，實現大數據平臺下一種新的大壩變形預測方法，提高大壩變形預測效率和精度。

技術領域

本發明涉及大壩變形預測領域，尤其涉及一種基于大數據平臺的大壩變形預測方法。

背景技術

大壩是調度水利資源時空分布、合理配置水資源重要的工程措施，也是防洪工程體系的關鍵組成部分，大多建造在水文、工程地質條件復雜環境中，且承受著巨大荷載。大壩安全監測是掌控大壩運行性態的重要手段，且為判斷大壩安全與否的科學依據。對其進行實時監測，利用大量的變形觀測資料，進行及時分析和處理，建立變形預測模型，分析評價大壩安全狀態是確保大壩安全運行的重要手段。

大壩的變形監測工作是借助一些傳統或現代的安全監測儀器，遵循一定的測量方法和測量技術規范，獲取大壩安全性態的實時動態的數據資料，并進行分析處理、模型預測和安全評價的工作。由于大壩受諸多類似水壓力、揚壓力、溫度、時間以及許多其他不確定性因素的影響，傳統數學物理模型都是建立在一定假設的基礎之上，即假定每次觀測都相互獨立，觀測誤差的數學期望為零且呈正太分布；大壩變形與影響特征呈現很強的非線性關系，使得大壩變形預測成為一種復雜的非線性動力系統，傳統預測模型難以描述此類復雜的非線性關系，擬合效果欠佳；預測模型泛化能力和魯棒性也較弱。

大壩變形監測數據種類多、體量大，且數據資源蘊含豐富價值，傳統的理論、方法及工具已越來越難以存儲和計算如此超大規模數據集，面對當前海量、異構、多源數據，大壩變形預測方法對技術處理能力提出了更高的要求，現有數據處理以單節點計算為主，缺乏并行計算處理能力；以傳統離線處理為主，缺乏實時在線處理。

發明內容

本發明的目的在于提供一種基于大數據平臺的大壩變形預測方法，旨在用于解決現有的大壩變形預測方法的數據處理以單節點計算為主，缺乏并行計算處理能力，以傳統離線處理為主，缺乏實時在線處理的問題。

本發明是這樣實現的：

本發明提供一種基于大數據平臺的大壩變形預測方法，包括以下步驟：

S1，針對大壩變形監測的離線歷史數據和實時在線數據，包括結構化數據、半結構化數據和非結構化數據，采用Flume-Kafka-Storm分布式數據采集處理機制對數據進行采集和匯總；

S2，將數據源中的數據抽取到臨時中間層，對數據進行清洗和轉換，然后將清洗和轉換后的數據加載至HDFS分布式文件系統；

S3，根據具體大壩變形預測需求，從影響大壩變形的特征集合中選取一組最有效的特征子集；

S4，基于大數據人工智能算法建立MapReduce或者Spark大數據并行計算框架之上的KNN并行化算法預測模型并對大壩變形進行預測。

進一步地，所述步驟S2中對數據進行清洗和轉換具體包括：對數據的解析、去重、篩選、清洗、合并、分類、轉換和增強操作。

進一步地，所述步驟S2中將數據加載至HDFS分布式文件系統具體包括：對于結構化數據，以文本文件形式加載至HDFS或遷移至HBase，并設置相應的一級索引和二級索引；對于非結構化數據，以二進制的方式加載至HDFS，并將其路徑存儲于HBase。