[發明專利]一種基于聚類方法的測量數據粗大誤差處理系統及處理方法

無效

• 申請號: 200910090373.1
• 申請日: 2009-08-07
• 公開（公告）號: CN101620619A
• 公開（公告）日: 2010-01-06
• 發明（設計）人: 路輝;郎榮玲;路倩
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京永創新實專利事務所
• 代理人: 周長琪

1.一種基于聚類方法的測量數據粗大誤差處理系統，其特征在于：該系統包括測量數據獲 取模塊(1)、測量數據庫模塊(2)、特征提取模塊(3)、特征庫模塊(4)、聚類方法選擇模 塊(5)、聚類結果模塊(6)、規則提取模塊(7)、規則庫模塊(8)和報告生成模塊(9)； 測量數據獲取模塊(1)與測量數據庫模塊(2)連接，并向測量數據庫模塊(2)發送數 據；測量數據庫模塊(2)分別與特征提取模塊(3)和規則庫模塊(8)連接，并分別向特 征提取模塊(3)和規則庫模塊(8)發送數據；特征提取模塊(3)分別與特征庫模塊(4) 和聚類方法選擇模塊(5)連接，并分別向特征庫模塊(4)和聚類方法選擇模塊(5)發送 數據；聚類方法選擇模塊(5)與聚類結果模塊(6)連接，并向聚類結果模塊(6)發送數 據；聚類結果模塊(6)分別與規則提取模塊(7)和報告生成模塊(9)連接，并分別向規 則提取模塊(7)和報告生成模塊(9)發送數據；規則提取模塊(7)與規則庫模塊(8)連 接，并向規則庫模塊(8)發送數據；規則庫模塊(8)與報告生成模塊(9)連接，并向報 告生成模塊(9)發送數據；

其中測量數據獲取模塊(1)是與目前各種采集系統的接口，采集系統包括目前的各種智 能儀器系統和參數采集系統，測量數據獲取模塊(1)能夠同時獲取多種類型的測量數據，并 將測量數據發送給測量數據庫模塊(2)；

測量數據庫模塊(2)將從測量數據獲取模塊(1)得到的數據按照設計好的數據庫格式 存儲到相應的數據庫表中，數據是單維的數據或多維的數據，數據采用統一的數據庫模塊結 構；測量數據包括測量數據的基本信息和測量數據的具體數值信息，測量數據的基本信息包 括采集系統的名稱、采集參數的名稱和標號，測量數據的具體數據信息包括測量的次數和相 應的測量結果，其通過標號與采集參數關聯；

特征提取模塊(3)通過相應簡化屬性的處理方法，在能夠保留住數據的最重要特性的同 時，將測量的屬性進行簡化處理，進而減少運算過程；特征提取模塊(3)將處理后的屬性發 送到特征庫模塊(4)中；特征提取模塊(3)采用主成分分析方法，根據特征值的大小按照 從大到小的次序為特征向量排序，得到一個由具有數據協方差最大值的第一個特征向量所表 示的正交基；找到這組數據按照能量最大化的排列方式所指示的方向；

聚類方法選擇模塊(5)提供不同種類的聚類方法，用戶根據具體應用進行選擇，進而得 到聚類結果，即得到數據的簇特性，并將聚類結果發送至聚類結果模塊(6)；

規則提取模塊(7)根據相應的聚類結果，對數據進行類別特征提取，形成規則，以供對 來源于相同采集系統的數據直接進行分析，并將相應的規則存入規則庫模塊(8)中，規則庫 模塊(8)的信息主要包括以下幾方面的內容：規則所屬的采集系統、規則所對應的簇的類別、 規則前提描述、規則結論描述以及每條規則所對應的置信度；規則提取模塊(7)還通過領域 專家提供的知識進行獲取，并將相應的專家經驗形成規則存入到規則庫模塊(8)中；每一條 規則都有相應的置信度，根據測量數據粗大誤差處理的結果與規則匹配的程度對置信度進行 修改，提高匹配度高的規則的置信度；

報告生成模塊(9)將粗大誤差處理后的結果以用戶界面顯示的方式顯示給用戶，為用戶 進行粗大誤差處理提供借鑒。

2.一種應用權利要求1所述的基于聚類方法的測量數據粗大誤差處理系統的處理方法，其 特征在于：該方法包括如下步驟：

步驟1：從采集系統獲取數據

根據不同采集系統接口的特性，測量數據獲取模塊(1)通過相應的接口獲取相應的測量 數據，并將相應的測量數據發送到測量數據庫模塊(2)中；

步驟2：選擇剔除粗大誤差的模式，利用已有規則或采用聚類方法直接處理

獲取相應的測量數據后，用戶選擇利用已有規則直接進行粗大誤差的處理，或選擇利用 聚類方法直接進行處理；

所述的利用已有規則直接處理的具體流程包括以下兩個步驟：

首先，遍歷規則庫模塊(8)，進行規則匹配；

根據當前測量數據的特性，在規則庫模塊(8)中進行相應判定規則的搜索，如果找到了 相應的已有規則，將已有規則的前提與測量數據進行比較，若滿足已有規則的前提，那么該 測量數據與已有規則匹配，認為該測量數據含有粗大誤差；若沒有滿足已有規則的前提，則 該測量數據是正常數據；

如果沒有找到相應的已有規則，說明目前的規則庫模塊(8)中沒有與該測量數據相匹配 的規則，系統自動轉入利用聚類方法直接進行處理的過程；

然后，提高規則置信度；

在規則庫模塊(8)中進行相應判定規則的搜索，如果找到了相應的已有規則，將已有規 則的前提與測量數據進行比較，若滿足已有規則的前提，那么該測量數據與已有規則匹配， 此時用戶根據判別的準確性提高已有規則的置信度；

如果用戶沒有選擇利用已有規則進行粗大誤差的判斷或者在規則匹配的過程中沒有匹配 到相應的已有規則，則系統進入采用聚類方法直接處理的過程；

所述的直接利用聚類方法進行處理的具體過程包括以下五個步驟：

首先，特征提取狀態準備；

系統首先判斷測量數據的維數，如果是多維數據，那么需要判斷是否需要進行特征提取， 若需要，利用主成分分析方法進行屬性約簡，特征提取模塊(3)根據測量數據的維數采用降 維處理，獲取最能夠體現粗大誤差特性的參數作為聚類方法的輸入特征，得到最簡單的特征 描述，同時將提取的主成分信息發送至特征庫模塊(4)中，否則直接進行下一步；如果是單 維數據，則直接進入下一步；

其次，聚類方法選擇；

用戶根據測量數據的特點通過聚類方法選擇模塊(5)選擇相應的聚類方法，如果沒有選 擇，則系統的聚類方法選擇模塊(5)自動利用k-means方法進行處理；

然后，獲取簇和簇特性；

根據聚類方法選擇模塊(5)提供的方法進行處理得到聚類結果，即得到相應的簇特性， 對于含有單一測量參數的測量數據來說，一般情況應該得到一個標準簇，這個標準簇內的對 象彼此相似，體現了相似性數據的集合；對于含有多維測量參數的測量數據來說，得到多個 簇，每個簇內的數據具有相似性；根據不同簇的特性，總結相應的特性和類別標號，這部分 工作由用戶標識或由系統自動標識；

然后，粗大誤差的判定和處理；

在聚類的過程中，能夠得到不同的簇，即不同的數據集合，集合中的數據具有相似性； 同時能夠得到不屬于任何簇的數據，該數據被認為是含有粗大誤差的數據，按照粗大誤差的 處理原則，應該從數據集中剔除；如果此次處理的數據不含有任何粗大誤差，那么所有的數 據都被分配到簇中，即都被視為正常數據；

最后，規則提取，存入規則庫模塊；

規則提取模塊(7)根據簇的特性提取相應的數據特征，形成粗大誤差的判定規則，并存 入到規則庫模塊(8)中；

基于聚類方法的測量數據粗大誤差處理系統能夠進行自學習，在進行數據處理的過程中 根據來自不同采集系統數據的處理結果，生成判定規則，為其它測量數據的處理提供快速處 理的依據，而且判定規則本身也是經過不斷訓練和學習得到的；

步驟3：處理結果顯示

報告生成模塊(9)將系統的處理結果以報告和圖形界面的方式顯示給用戶，便于用戶處 理。