[發明專利]通過多個語言任務層級處理數據的深度神經網絡模型

有效

• 申請號: 201780068577.8
• 申請日: 2017-11-03
• 公開（公告）號: CN110192204B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 橋本和真;熊蔡明;R·佐赫爾
• 申請（專利權）人: 碩動力公司
• 主分類號: G06N3/0442
• 分類號: G06N3/0442;G06F40/216;G06F40/284;G06F40/30;G06N3/045;G06N3/084
• 代理公司: 北京市聯德律師事務所 11361
• 代理人: 黃大正;張來光

1.一種用于處理輸入語句中的詞的神經網絡系統的依賴性解析層組件；所述依賴性解析層疊加在產生語塊標簽嵌入和語塊狀態向量的語塊標簽嵌入層上；所述語塊標簽嵌入層又疊加在產生詞性(POS)標簽嵌入的POS標簽嵌入層上；所述依賴解析層組件包括：

依賴性父層和依賴性關系標簽分類器；

所述依賴性父層包括雙向長短期記憶(LSTM)和一個或更多個分類器，具有嵌入處理模塊、質量向量產生模塊和父標簽向量產生模塊，所述嵌入處理模塊用于處理詞嵌入、POS標簽嵌入、語塊標簽嵌入和語塊狀態向量，所述質量向量產生模塊用于從所述雙向LSTM產生的父標簽狀態向量產生父標簽概率質量向量，所述父標簽向量產生模塊用于從所述父標簽概率質量向量產生父標簽嵌入向量；以及

所述依賴性關系標簽分類器包括歸一化模塊和依賴性標簽向量產生模塊，所述歸一化模塊用于對所述父標簽狀態向量和所述父標簽嵌入向量進行縮放歸一化，所述依賴性標簽向量產生模塊用于從所述父標簽概率質量向量產生依賴性關系標簽嵌入向量；以及

輸出處理器，至少輸出所述依賴性關系標簽嵌入向量或基于其的依賴性關系標簽。

2.如權利要求1所述的依賴性解析層組件：

所述雙向LSTM用于進一步為所述輸入語句中的每個相應詞產生前向后向父標簽狀態向量，所述前向和后向父標簽狀態向量表示所述輸入語句中詞之間相互作用的前向和后向進展；以及

進一步包括注意力編碼器模塊和父標簽向量模塊，所述注意力編碼器模塊處理所述輸入語句中每個相應詞的前向和后向狀態向量，所述父標簽向量模塊用于從經編碼的注意力向量產生所述父標簽嵌入向量。

3.如權利要求2所述的依賴性解析層組件，其中通過其確定所述父標簽概率質量向量的可用分析框架標簽的數目小于前向和后向狀態的維度，從而形成維度瓶頸，在訓練雙向LSTM的神經網絡堆疊時，所述維度瓶頸減少過度擬合。

4.一種用于處理輸入語句中的詞的神經網絡系統的依賴性解析層組件；所述依賴性解析層疊加在產生語塊標簽嵌入和語塊狀態向量的語塊標簽嵌入層上；所述語塊標簽嵌入層又疊加在產生詞性(POS)標簽嵌入和POS狀態向量的POS標簽嵌入層上；所述依賴性解析層組件包括：

依賴性父層和依賴性關系標簽分類器；

所述依賴性父層包括依賴性父項分析器和注意力編碼器：

所述依賴性父項分析器包括處理所述輸入語句中的所述詞的雙向長短期記憶(LSTM)模塊，具有嵌入處理器和狀態向量產生模塊，所述嵌入處理器用于針對每個詞處理詞嵌入、POS標簽嵌入、語塊標簽嵌入和語塊狀態向量，所述狀態向量產生模塊用于產生表示所述輸入語句中的所述詞之間的相互作用的前向和后向進展的前向和后向狀態向量；以及注意力編碼器，用于處理所述輸入語句中每個相應詞的所述前向和后向狀態向量，以及用于對潛在依賴性的注意力進行編碼；

所述注意力編碼器包括歸一化模塊，用于應用縮放歸一化以產生父標簽概率質量向量，并將所述父標簽概率質量向量投影到父標注模塊，以產生父標簽嵌入向量；以及

所述依賴性關系標簽分類器，針對所述輸入語句中的每個相應詞，應用依賴性關系標簽向量產生模塊，以從嵌入向量和所述父標簽嵌入向量產生依賴性關系標簽概率質量向量，以及應用依賴性標簽向量產生模塊，以從所述依賴性關系標簽概率質量向量產生依賴性關系標簽嵌入向量；以及

輸出處理器，至少輸出反映每個詞的依賴性關系的分類標簽、所述依賴性關系標簽概率質量向量或所述依賴性關系標簽嵌入向量的結果。

5.如權利要求4所述的依賴性解析層組件，其中通過其確定依賴性關系標簽概率質量向量的可用分析框架標簽的數目小于前向和后向狀態的維度，從而形成維度瓶頸，在訓練雙向LSTM的神經網絡堆疊時，所述維度瓶頸減少過度擬合。