[發明專利]基于智能芯片的SOM神經網絡算法處理方法

有效

• 申請號: 202010714776.5
• 申請日: 2020-07-23
• 公開（公告）號: CN111860818B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 季振洲;林灝銓;王佩錕
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06T1/20
• 代理公司: 北京匯捷知識產權代理事務所(普通合伙) 11531
• 代理人: 馬金華

本發明提出了一種基于智能芯片的自組織特征映射神經網絡(Self?organizing Map,SOM)算法處理方法。SOM神經網絡是無監督機器學習中一種經典的聚類算法，在圖像處理、數據挖掘、深度學習有廣泛的應用。本發明將SOM神經網絡算法劃分成不存在數據依賴的多個步驟，這個過程在下文中稱為Kernel的劃分。在保證每個步驟高并行度的情況下，將各個步驟在GPU上實現，對應下文里Kernel的分步驟實現與優化。在單個Kernel在GPU上完成高效的實現后，再將所有的步驟整合為一個Kernel。對整合后的Kernel進行深度優化，并將各個分步驟整合迭代的過程中，使用全局同步的方法，最終實現了一個可以在GPU端單次Kernel啟動即可完成的高效的SOM神經網絡算法。

技術領域

本發明屬于計算機技術領域，更進一步設計計算機視覺和深度學習技術領域中的一種使用開放性計算語言OpenCL(Open Computing Language)的自組織映射神經網絡并行處理方法。本發明可以實現對自組織映射神經網絡的計算過程進行加速。

背景技術

自組織特征映射神經網絡(Self-organizing Map,SOM)是一種聚類算法。它是人工神經網絡的生物學合理模型，可以通過計算映射將任意維度的輸入信號轉換為一維或二維離散映射，并以自適應方式來實現該過程。它是在無監督的情況下自動對輸入數據進行分類，對輸入模式進行自組織學習，能夠反復的調整連接權值，并最終在輸出層將分類結果表示出來。

SOM神經網絡算法在機器學習、圖像處理和深度學習中有廣泛的應用。在許多應用場景中，需要對數據進行實時的處理，因此對高效實現SOM神經網絡算法提出了要求。傳統的機器學習算法的主要計算工具是CPU，因為CPU具有良好的通透性并且硬件架構已經成熟。但是，當數據量增加時，尤其是SOM神經網絡算法，CPU的執行效率不能滿足需求。與此同時，隨著GPU技術的發展，GPU提供大量的并行運算單元，并且可以并行處理大量數據，該架構正好可以應用于該算法。本發明研究了SOM神經網絡算法在GPU上的有效實現，SOM神經網絡算法的本質是一個通過多次迭代來求得最優解的過程。

在對SOM神經網絡算法進行優化研究時發現，機器學習算法通常需要在一個大型數據集上進行多次迭代，這表示每次迭代都有大量的數據同步，并且每次數據同步都需要啟動GPU上的內核函數。實際上，GPU上的數據同步和內核啟動都是極其耗時的。本發明對SOM神經網絡算法的實現過程中，GPU端啟動一次內核函數便可以完成所以的迭代操作，消除了多次內核函數啟動時間，同時也減少了不必要的全局同步，并對算法本身進行了深度的優化，獲得了較好的優化效果。

發明內容

發明的目的：為了解決現有技術中存在的不足，傳統的機器學習算法的主要計算工具是CPU，因為CPU具有良好的通透性并且硬件架構已經成熟。但是，當數據量增加時，尤其是SOM神經網絡算法，CPU的執行效率不能滿足需求。與此同時，隨著GPU技術的發展，GPU提供大量的并行運算單元，并且可以并行處理大量數據，該架構正好可以應用于該算法。

技術方案：為實現上述目的，本發明采用的具體方案如下：

(1)初始化，歸一化權值向量，建立初始優勝領域，學習率賦予初始值；

(2)輸入歸一化樣本：

(2a)數據點集X被平均分為s份，s是計算X子集中所有數據點標記的處理器的個數，每個線程執行賦予X_i單獨的處理器的坐標和計算范圍；

(3)計算點積，并選出點積值最大的獲勝節點：

(3a)確定每一個work-group的線程規模，在本發明優化中，設置work-group大小為128；

(3b)確定每一個thread可使用的寄存器規模，大小為m個float4類型的棧內存(float4 reg_Buffer[m])，并且加一個大小為m個int類型內存空間(int counter_Buffer[m])；