[發明專利]一種基于多層LSTM模型的并行處理分類方法

有效

• 申請號: 201811283244.X
• 申請日: 2018-10-31
• 公開（公告）號: CN109344911B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 楊可靜;蘭云飛;陳鐘;李青山;吳振豪;高健博;王曉青
• 申請（專利權）人: 北京國信云服科技有限公司;北京大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/55;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 劉曉嵐

1.一種基于多層LSTM模型的并行處理分類方法，其特征在于：包括以下步驟：

步驟1、對數據進行預處理，根據數據的分類體系，提取多個待分類實體的基礎信息，并進行向量化處理；

所述根據數據的分類體系，提取多個待分類實體的基礎信息，需要按照其重要性進行選擇，優先選擇重要性大的信息；

所述提取多個待分類實體的基礎信息，具體為：對于文本數據，所述基礎信息為分詞之后的詞；對于圖像數據，所述基礎信息為RGB三色中某一色的一行像素色彩；

針對不同的分類領域，需要確定相應的分類標準，從而提取數據的基礎信息；提取出數據的基礎信息后，還需要將基礎信息轉為計算機可理解的方式，即進行向量化；對于文本數據，需要將基礎信息轉換成一個高維的向量，將文本內容處理簡化為向量空間中的向量運算，并且它以空間上的相似度表達語義的相似度，最大程度上保留語義；對于圖片信息，基礎信息則對應一行或一列像素的RGB單個通道的值；

接收多個分類實體作為輸入；對于文本數據，將多個文本的詞向量作為輸入，圖像數據則是將多張圖片的一行或一列像素的單通道數據作為輸入；

步驟2、構建多層LSTM模型；

所述構建的多層LSTM模型包括三層神經網絡；第一層神經網絡為基礎信息層級的神經網絡，采用LSTM細胞單元，該層神經網絡每個細胞單元對應每條數據中的一個基礎信息，其輸入為每個數據在步驟1中得到的基礎信息，其輸出對應數據局部信息的高維向量，該層神經網絡分析數據的基礎信息從而理解出數據的局部信息，并將局部信息映射為高維向量；第二層神經網絡為局部信息層級的神經網絡，采用LSTM細胞單元，保證數據信息的持久化，該層神經網絡的每個細胞單元對應局部信息的高維向量，其接收第一層神經網絡的輸出向量，其輸出為該數據全局信息的高維向量，該層神經網絡通過分析數據中的局部信息達到理解全局信息的目的；第三層神經網絡為全局信息層級的神經網絡，其接收第二層神經網絡的輸出向量，對多個數據進行關聯分析，并輸出這些數據的綜合信息；最后則進行降維并輸出多個實體的分類結果；

多層LSTM模型對第三層的高維向量進行降維，并輸出多個實體的分類結果；第三層網絡的輸出為一個高維向量，無法直接作為分類結果，因而需要對高維向量降維，得到多個實體的分類結果；

該多層LSTM模型最后輸出了每個待分類實體的分類結果，結果向量的每一維對應一個實體的結果，由于每個值之間的相互獨立的，對每個待分類實體的輸出值進行單獨處理；

步驟3、將帶有標注的訓練數據輸入到多層LSTM模型中，用最小平方誤差為代價函數，計算多層LSTM模型輸出的結果與標注結果之間的誤差，并采用誤差反向傳播方法調整多層LSTM模型的參數，進而得到穩定收斂的多層LSTM模型；

步驟4、對于未分類的數據，經過步驟1的預處理，并將其輸入到步驟3得到的多層LSTM模型中，得到分類結果。