[發明專利]海量圖像特征向量中的快速聚類預處理方法

有效

• 申請號: 201610964786.8
• 申請日: 2016-11-04
• 公開（公告）號: CN106547890B
• 公開（公告）日: 2018-04-03
• 發明（設計）人: 王健;鐘斌
• 申請（專利權）人: 深圳云天勵飛技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙)44248
• 代理人: 于標

技術領域

本發明涉及圖像處理領域，尤其涉及一種海量圖像特征向量中的快速聚類預處理方法。。

背景技術

在圖像智能分析領域，針對圖像分析的先期步驟一般都包含圖像的結構化處理，結構化處理過程對圖像的像素點陣數據進行運算（如利用神經網絡的模型）后，最終得到一個維度有限的高維向量來表達原始圖像的特征，此向量一般也稱為圖像的特征向量，圖像特征向量是輸入數據的類型。

在圖像智能分析中，有兩個基本的問題，一是其解決圖像“是什么”的分類問題（如人臉檢測），二是解決圖片個體在已知的某一類事物集合中“是誰（是哪個）”的識別問題（如人臉識別）。目前，深度神經網絡是識別類圖像智能分析領域的一個主流技術，而對此類功能神經網絡的訓練主流方法是監督學習的訓練方法。監督學習的訓練方法需要大量的標注數據用于訓練的輸入，特別針對某種類型圖像“識別”問題而言，需要大量的已聚好類的某種事物圖片和其特征的集合，這個集合其中的每一個類是此種事物中的某個個體在不同狀態、條件、長時間跨度、角度下采集的圖片及其特征。舉人臉識別而言，所需要的訓練數據是不同的人的圖像集合，且這些集合中每一個人都是在不同的狀態、光照、角度、表情、清晰度以及年齡等各條件情況下采集的圖像。

在實際的場景中，人們很容易通過實地采集和網絡爬取等技術方案迅速累積億萬級的海量圖像數據；從這些海量的圖像數據中，如何采用有效的方法得到可用于神經網絡模型訓練已聚類的圖像集合，一般采用預處理+人工篩查的方式來得到已經Ground Truth的標注數據，因此如何使預處理步驟的結果盡可能準確、快速以及高效，則需要被仔細考慮。大部分的聚類方法都有如下待解決的問題:

n 聚類的類型個數不確定，聚類可能得到的類型理論上有無窮多種；

n 不同類型元素之間不互相重疊；

n 同時支持離線分析和實時分析；

n 人工分析預處理環節用，聚類結果容忍一定的錯誤；

n 針對海量數據進行預處理，處理速度需要足夠快；

n 按條件聚類（如類型內元素個數的最大值和最小值，入選類別數總數上限）；

n 高可用的容錯和異常恢復機制。

現有的技術方案中，雖然有很多經典的聚類算法，但都沒有直接有效地解決如上所述的問題場景的解決方案。

傳統的K-Means聚類算法或K-Means的演進類算法如KNN算法，它首先要求是確定一個假設的類型個數K，而這正是場景中首先不符合的，另外K-Means算法也允許不同的類型之間可以相互重疊，這也不符合問題的所描述的場景，另外K-Means的類的算法在運行時也需要針對一些已知總數的數據集，這也不符合本場景中所提出到的實時分析需求，因為在實時輸入的分析處理中，輸入數據庫的總數是不確定且是流式處理的。另外在實現方式上，K-Mean需要多輪處理，這對于海量數據處理來說將很難滿足實時性的要求。

另外也有一些機構和團隊研究了基于輸入數據采樣和高斯估計的頻繁項特征值挖掘方法，支持離線分析和實時處理，但類似的方法均采用了輸入采樣雖然提高了處理速度，但損失了結果的準確性；其按時間周期進行處理的方法只能說是近實時而不是純實時的處理；在離線處理模式下，因為不好定義輸入周期而導致結果存在很大的不確定性，另外在上述場景中提到按條件聚類方面，在此類場景下也缺乏良好的支持。

另外也有一些直接的聚類方案，基于幾何向量間的距離或其它相似度的衡量進行基于一一比較的聚類，但通常這些算法沒有針對海量數據進行特別的設計，在處理方案的并行度、計算的復雜度、分類的準確性及運行的可靠性方面沒有進行良好的設計，而導致方案在海量數據的環境下計算速度和準確率方面都表現不佳，不具備實用性。

綜上所述，對于圖像識別領域的標注數據的聚類預處理，有其特別的需求和場景特點，很難直接用現用的方案來解決。

發明內容

為了解決現有技術中的問題，本發明提供了一種海量圖像特征向量中的快速聚類預處理方法，解決現有技術中計算內存要求高和運算復雜的問題。

本發明是通過以下技術方案實現的：設計、制造了一種海量圖像特征向量中的快速聚類預處理方法，包括如下步驟：（A）兩級線程池處理；（B）兩級Map的存儲結構處理；所述兩級線程池包括進行簡單預聚類的初級預處理線程池和進行次級聚類合并的次級合并線程池；所述兩級Map的存儲結構中，將大的聚類結果Map劃分成子Map,子Map的合并比較操作并行進行。