[發明專利]基于數據挖掘的場地污染特征因子識別和監測指標優化方法

在審

• 申請號: 202011182291.2
• 申請日: 2020-10-29
• 公開（公告）號: CN112347155A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 施小清;馬春龍;莫紹星;徐紅霞;吳吉春
• 申請（專利權）人: 南京大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06K9/62;G06N3/04;G06N3/08;G06Q10/04;G06Q10/06;G06Q50/26
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于數據挖掘的場地污染特征因子識別和監測指標優化方法，首先，對預先獲取的污染場地的地下水污染數據進行預處理操作；其次，構建自組織映射神經網絡模型，完成模型訓練后開展數據降維、相關性解析、可視化分析等一系列數據挖掘任務；然后，對自組織映射分類結果進一步采用K均值算法進行無監督聚類學習，實現特征因子的識別；最后，對污染指標采取先分類后分級的策略，優化指標的后期監測過程。本發明可為污染場地數據監測、數據分析和決策管理提供技術支持，通過對污染場地的數據挖掘，識別場地污染特征因子，同時進行監測指標的優化，最終達到降低場地監測成本的目的。

技術領域

本發明屬地下水環境科學技術領域，具體涉及一種基于數據挖掘的場地污染特征因子識別和監測指標優化方法。

背景技術

由于我國產業結構調整，大批企業關停或搬遷，遺留下大量的工業污染場地，這些工業污染場地往往具有污染程度重、污染物組成復雜、土壤和地下水均受到污染等特點，已對居民食品安全、飲用水安全、生態環境、人居環境健康、經濟社會可持續發展造成了嚴重威脅與挑戰。因此，亟待開展污染場地的調查評估、風險管控和修復。

在污染場地前期調查評估中，將獲得大量有關土壤和地下水的污染數據，這些數據樣本數量大，監測項目多，數據結構復雜，其中隱含著大量的特征信息、關系信息以及分類信息，例如污染物在單一環境介質中的相關性以及污染物在地下水和土壤兩種介質中的相關性等。

另一方面，受人力、物力以及財力的限制，無法對污染場地取大量樣品并對所有指標逐一測試分析，如何在不影響污染場地客觀評價的條件下，盡可能減少需監測的污染指標數目，降低場地監測費用，也是一個值得研究的問題。

目前，眾多多變量方法已被應用于污染場地數據分析，如主成分分析(PCA)、因子分析(FA)、判別分析(DA)，聚類(CA)分析等，以此減小或消除數據中的冗余。然而由于污染數據本身的復雜性，當污染指標存在非線性相關、數據存在缺失時，上述傳統數據分析方法存在較大局限性。

自組織映射神經網絡(self-organizing map,SOM)是一種無監督人工神經網絡，可處理高維數據和非線性數據，同時保留原始數據的拓撲結構。目前在水資源和環境領域主要用于各種水文過程的預測、地表和地下水水質評估、地表水和地下水的時空相關關系、生態群落的研究等。大量應用研究表明，SOM在處理高維非均質性和復雜異構性數據時具有顯著優勢，尤能解決傳統數據方法需要線性完備數據的問題。

目前，污染場地數據分析常用傳統多變量數據分析方法，如主成分分析(PCA)、因子分析(FA)、判別分析(DA)，聚類(CA)分析等，以此減小或消除數據中的冗余。但隨著數據收集能力的提高，針對污染場地的數據不僅量大，而且數據結構復雜，其中隱藏著大量的特征信息、關系信息以及分類信息，同時污染數據不僅具有隨機性，而且表現出強烈的非線性，很難直接利用傳統的數據分析方法對這些多維數據進行分析，也很難直接從多維數據集中了解數據結構、獲取有用信息。另外，目前還未有技術方法針對場地污染物指標監測進行優化，以此達到降低場地監測成本的目的。

發明內容

發明目的：本發明提供一種基于數據挖掘的場地污染特征因子識別和監測指標優化方法，通過對污染場地的數據挖掘，識別場地污染特征因子，同時進行監測指標的優化，以達到降低場地監測成本的目的。

技術方案：本發明所述的一種基于數據挖掘的場地污染特征因子識別和監測指標優化方法，包括以下步驟：

(1)對預先獲取的污染場地的地下水污染數據進行預處理；

(2)構建自組織映射神經網絡模型，完成模型訓練后開展數據降維、相關性解析、可視化分析數據挖掘任務；

(3)對自組織映射分類結果進一步采用K均值算法進行無監督聚類學習，實現特征因子的識別；

(4)對污染指標采取先分類后分級的策略，優化指標的后期監測過程。