[發明專利]基于子空間聚類的農藥殘留高維數據可視分析方法與系統

有效

• 申請號: 201811099482.5
• 申請日: 2018-09-20
• 公開（公告）號: CN109344194B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 陳誼;田帥;張夢錄
• 申請（專利權）人: 北京工商大學
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06K9/62
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了一種基于子空間聚類的農藥殘留高維數據可視分析方法與系統，通過預處理農藥殘留數據、構建農藥殘留檢出矩陣、子空間聚類算法自動尋找候選子空間、通過雙層過濾刪除無效子空間和雙歐式距離合并相似子空間、子空間重排等過程，對農藥殘留檢出數據進行子空間聚類處理，獲得農藥殘留檢出高維數據全空間中相關性較強的子空間。另外，本發明對每個子空間數據進行可視化展示，并提供交互式手段進一步探索每個子空間的分布情況，同時通過多視圖協同方法探索各個子空間之間的農藥殘留檢出分布情況，從而幫助分析人員更好地分析高維數據中潛在的相關關系，提高分析效率，為決策提供技術手段。

技術領域

本發明涉及高維、關聯數據的分析方法，尤其涉及一種基于子空間聚類的農藥殘留高維數據可視分析方法與系統。

背景技術

農藥殘留數據反映了農產品、農藥、地域、MRL標準之間的關系，對其進行多層次、多角度的全面分析有助于分析人員進行決策，提供參考依據。由于農藥殘留數據具有多維性等特征，因此傳統的統計分析方法和單一的圖表方式無法充分的表達其中的含義，在探索農藥殘留數據之間的相關性、相似性、數據分布模式時，單獨的折線圖、柱狀圖等難以做出有效的解釋。另一方面，檢測結果中農產品涉及150余種，農藥涉及500余種，數據量大、相互關聯，構成的數據集維度較高，屬于高維數據集。為全面、準確地反映信息的特征及其內在規律，往往需要對多個指標進行考慮，如何處理這些高維數據已經成為一個非常重要的問題。

可視分析方法是對高維數據進行分析的有效手段之一。多維數據可視分析方法主要包括圖形映射、數據降維和多視圖協同設計等。其中，圖形映射是將多維數據映射到二維空間中，常用的方法包括散點圖矩陣、平行坐標圖等，但是這類方法不利于呈現維度過高的情況，隨著維度的增加，所需的顯示空間迅速增長，且會導致視覺混亂。數據降維是提取主要特征，將高維數據投影到低維空間中進行展示。雖然呈現出了數據的主要特征，但是降維過程中丟失了部分信息。多視圖協同設計方法一般會結合圖形映射和數據降維方法，通過多種可視化映射方案進行數據展示，然而該類方法在維度較高時會產生視覺混亂的情況，且布局較為復雜。另外，在全空間中直接對高維數據集的維度相關性和數據相關性進行分析是及其困難的，因為維度或數據緊密相關的部分往往分布在多個子空間中。

為此，研究人員提出了一種子空間聚類方法，能夠很好的解決高維數據維度較高而導致在全空間中不易探索數據間相關關系等問題。子空間聚類是傳統聚類方法的擴展，目的是將來自不同子空間的高維數據聚類到其本質上所屬的低維子空間中，尋找在低維空間中擁有密集特征的聚類。通過分析低維空間中數據的密集特征，探索高維數據中隱藏的相關關系等。

通過可視分析方法與子空間聚類方法的相互結合，借助機器的高效率性，以及人的交互分析能力，能夠有效地提升分析人員的工作效率，探索高維數據之間的潛在價值。

發明內容

本發明提供一種基于子空間聚類的農藥殘留高維數據可視分析方法，支持用戶通過子空間聚類算法自動尋找子空間的方法進行數據探索，能夠高效、便捷地探索數據之間的相關關系，從而為相關分析人員提供決策依據。