[發明專利]具有增減量功能的海量微博數據分布式分類裝置及方法

有效

• 申請號: 201310732005.9
• 申請日: 2013-12-26
• 公開（公告）號: CN103729431B
• 公開（公告）日: 2017-01-18
• 發明（設計）人: 王國仁;信俊昌;聶鐵錚;趙相國;丁琳琳
• 申請（專利權）人: 東北大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 沈陽東大知識產權代理有限公司21109
• 代理人: 梁焱

1.一種具有增減量功能的海量微博數據分布式分類裝置，其特征在于，包括多個從控制機和一個主控制機，所述的從控制機包括向量器、剝離器、轉換器、后項計算器和前項計算器；所述的主控制機包括前項緩存器、后項緩存器、更新前項累加器、更新后項累加器、前項整合器、后項整合器、參數生成器和分類生成器；其中，

向量器：用于將標注后的文本字段進行特征提取，并將提取的特征和標注類型表示成向量形式，并將該向量發送至剝離器；

剝離器：用于對向量化后的文本字段進行剝離，獲得所有文本字段的特征矩陣和分類結果矩陣，并將文本字段的特征矩陣發送至轉換器，將分類結果矩陣發送至后項計算器；

轉換器：用于將特征矩陣中的元素進行歸一化處理，并在極限學習機選擇一個激勵函數，將歸一化處理后的特征矩陣中的元素代入所選擇的激勵函數中，獲得極限學習機的隱層輸出矩陣，并將隱層輸出矩陣發送至后項計算器和前項計算器；

前項計算器：用于根據獲得的隱層輸出矩陣，獲得第一中間結果，所述的第一中間結果為隱層輸出矩陣的轉置矩陣與自身的乘積，當采集原始微博數據時，將獲得的第一中間結果發送至前項緩存器，當采集更新微博數據時，將獲得的第一中間結果發送至更新前項累加器；

后項計算器：用于根據獲得的隱層輸出矩陣和微博數據訓練集的分類結果矩陣，獲得第二中間結果，所述的第二中間結果為隱層輸出矩陣的轉置矩陣與分類結果矩陣的乘積，當采集原始微博數據時，將獲得的第二中間結果發送至后項緩存器，當采集更新微博數據時，將獲得的第二中間結果發送至更新后項累加器；

前項緩存器：用于計算并存儲所有從控制機發送的第一中間結果的總和，并把總和發送至前項整合器；

后項緩存器：用于計算并存儲所有從控制機發送的第二中間結果的總和，并把總和發送至后項整合器；

更新前項累加器：用于計算并存儲所有從控制機發送的更新微博數據第一中間結果的總和，并把總和發送至前項整合器；

更新后項累加器：用于計算并存儲所有從控制機發送的更新微博數據第二中間結果的總和，并把總和發送至后項整合器；

前項整合器：

當微博數據量發生變化時，用于將前項緩存器存儲的原始數據的第一中間結果和更新前項累加器存儲的更新微博數據的第一中間結果進行合并，獲得匯總微博數據的第一中間結果并發送至參數生成器；

當微博數據量未發生變化時，用于直接將前項緩存器存儲的第一中間結果發送至參數生成器；

后項整合器：

當微博數據量發生變化時，用于將后項緩存器存儲的原始微博數據的第二中間結果和更新后項累加器存儲的更新微博數據的第二中間結果，獲得匯總微博數據的第二中間結果并發送至參數生成器；

當微博數據量未發生變化時，用于直接將后項緩存器存儲的第二中間結果發送至參數生成器；

參數生成器：用于根據獲得的匯總微博數據的第一中間結果和匯總微博數據的第二中間結果，計算獲得極限學習機輸出節點的權重向量參數并發送至分類生成器；

分類生成器：

當建立分類器時，用于根據獲得的輸出節點的權重向量參數和待分類微博數據的隱層輸出向量，確定微博數據分類函數，即完成微博數據分類器的構建；

當對被測微博數據進行分類檢測時，用于根據微博數據分類函數和被測微博數據隱層輸出向量，確定該被測微博數據的類型。