[發明專利]農業面源污染多源異構大數據關聯方法及采用該方法的大數據監管平臺

在審

• 申請號: 201910316918.X
• 申請日: 2019-04-19
• 公開（公告）號: CN110196886A
• 公開（公告）日: 2019-09-03
• 發明（設計）人: 趙晉陵;胡根生;梁棟;段運生;阮莉敏;黃林生;張東彥;翁士狀
• 申請（專利權）人: 安徽大學
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06K9/62;G06Q50/02
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

本發明涉及一種基于屬性分類的農業面源污染多源異構大數據關聯方法，與現有技術相比解決了難以根據數據屬性進行高效關聯的缺陷。本發明包括以下步驟：判斷多源異構大數據屬于定量數據還是定性數據；對定量數據采用支持向量機、度量學習等方法實現分類；對定性數據采用文本語義挖掘方法獲取量化特征，再采用支持向量機、度量學習等方法實現分類；對分類后的結果進行編碼實現多源異構大數據的關聯；本發明還提出一種農業面源污染大數據監管平臺，本發明將農業面源污染多源異構大數據的屬性作為分類依據，通過對定量和定性數據采用不同的處理方法，實現農業面源污染多源異構大數據的分類，借助于生成的樹狀結構土壤污染屬性編碼進行關聯。

技術領域

本發明屬于大數據處理技術領域，特別涉及一種農業面源污染多源異構大數據關聯方法及采用該方法的大數據監管平臺。

背景技術

目前農業面源污染問題突出，在綜合治理中，需選擇農業環境問題突出、代表性強的小流域，加大源頭控制，實施農業面源污染綜合治理工程建設。為了保證工程應用中的監測效果和工作效率，急需構建農業面源污染大數據監管平臺，實現多源異構數據的規范化和快速關聯，服務于農業面源普查、調查、監測、分析決策等功能，為農業面源、農田土壤重金屬污染綜合防治與修復提供數據支撐。

然而現有技術對農業面源污染多源異構大數據進行關聯時存在以下缺點：

1、由于數據量巨大，因而對數據進行標注存在工作量大、耗費多等問題。

2、對標注后數據進行關聯處理速度慢，難以實現實時關聯。

3、難以解決種類多、內容龐雜、結構松散的定量和定性數據的關聯。

4、監測平臺數據庫過大，檢索困難，同時難以實現實時監測。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提供一種農業面源污染多源異構大數據關聯方法及采用該方法的大數據監管平臺，一方面解決了大數據標注工作量大、成本高的問題；第二方面解決了大數據關聯速度慢的問題；第三方面解決了不同種類、不同內容、結構松散的定量和定性數據的關聯問題；第四方面解決了目前大數據監管平臺數據不便于檢索，不便于實時監測的問題。

為了實現上述目的，本發明采用的技術方案是：

一種基于屬性分類的農業面源污染多源異構大數據關聯方法，包括如下步驟：

判斷農業面源污染多源異構大數據屬于定量數據還是定性數據；

對多源異構大數據的定量數據采用支持向量機或度量學習方法實現分類；

對多源異構大數據的定性數據采用文本語義挖掘方法獲取量化特征，再采用支持向量機或度量學習方法實現分類；

對分類后的結果進行編碼實現多源異構大數據的關聯。

所述農業面源污染多源異構大數據的定量數據包括污染監測點數據、遙感柵格數據、線和面矢量基礎地理數據以及圖像和視頻多源異構數據；所述農業面源污染多源異構大數據的定性數據包括統計調查數據和文本數據等數據中不能定量表示的其他數據。

所述多源異構大數據采用最小二乘孿生支持向量機分類方法或基于Cayley-Klein度量學習的分類方法實現分類。

所述最小二乘孿生支持向量機(LSTSVM)分類方法對面源污染多源異構大數據進行分類的具體步驟如下：

以如下兩個約束優化問題表示LSTSVM模型：

s.t -(K(B,M^T)w₁+e₂b₁+y₂＝e₂