[發明專利]基于transformer和lstm的機器閱讀方法、裝置及可讀存儲介質

有效

• 申請號: 201911037790.X
• 申請日: 2019-10-29
• 公開（公告）號: CN110866098B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 周宸;駱加維;周寶;陳遠旭
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;王迎

本發明涉及人工智能技術領域，提出一種基于transformer和lstm的機器閱讀方法、裝置以及可存儲介質，其中的方法包括：通過glove詞向量訓練模型獲取詞向量；采用字符級卷積神經網絡獲取字段嵌入；將詞向量和字段嵌入進行拼接形成輸入向量；通過lstm和transformer對輸入向量進行特征的提取，獲取具有局部特征和整體特征的文本；通過Bidirectional Attention Flow模型以及transformer對獲取的文本進行處理，獲取文本中問題與答案所有關聯信息；通過lstm對獲取的文本中問題與答案所有關聯信息進行處理，將概率最高的一句話作為文本中問題的答案。本發明通過將transformer和lstm模型相互結合形成的新的機器閱讀網絡結構，解決目前不能同時獲取句子的整體相關性和局部相關性的問題。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于transformer和lstm的機器閱讀方法、電子裝置及可讀存儲介質。

背景技術

機器閱讀是自然語言處理的一個分支，主要的作用是根據用戶提出的問題和文本，帶著問題去文本中尋找答案。目前機器閱讀的技術從最初的根據機器翻譯的seq2seq到Bidaf、mlstm和r-net等依靠RNN為基礎的模型到依靠transformer的QAnet和BERT模型，都為機器閱讀做出了巨大的貢獻。

目前著名的機器閱讀的數據集，英文的有斯坦福大學的SQuAD和微軟的MS MARCO，中文的有百度的dureader。總的來說大部分技術的研究是基于SQuAD的數據集。目前流行的Bidaf、QAnet和BERT都是在SQuAD數據集上取得了巨大的進展，其中，目前的機器閱讀模型都是基于RNN，如mlstm和bidaf或者transformer框架等等，雖然有的模型可以體現文本的上下文關系，有的模型可以提取句子的整體相關性，但是目前還沒有一種方法，能夠同時獲取句子的整體性相關性和局部相關性。

為了解決上述問題，亟需一種可以同時讓句子獲得整體相關性和局部相關性的方法。

發明內容

本發明提供一種基于transformer和lstm的機器閱讀方法、電子裝置及計算機可讀存儲介質，其主要目的在于通過將transformer和lstm模型相互結合形成的新的機器閱讀網絡結構，解決目前不能同時獲取句子的整體相關性和局部相關性的問題。

為實現上述目的，本發明提供一種基于transformer和lstm的機器閱讀方法，包括：

采用glove詞向量訓練模型對待處理文本中所有的單詞進行預訓練，獲取映射在同一向量空間中的待處理文本中所有單詞的詞向量；

采用字符級卷積神經網絡對獲取的所有單詞的詞向量進行處理，獲取字段嵌入；

將所述詞向量和所述字段嵌入進行拼接，形成輸入向量，并通過highway非線性轉換層對所述輸入向量進行處理；

通過lstm對通過所述highway非線性轉換層處理過的輸入向量進行處理，獲取局部特征的文本，通過transformer對通過所述highway非線性轉換層處理過的輸入向量進行處理，獲取整體特征的文本，并對所述局部特征的文本與所述整體特征的文本進行融合形成具有局部特征和整體特征的文本；

通過Bidirectional Attention Flow模型以及transformer對獲取的具有局部特征和整體特征的文本進行處理，獲取文本中問題與答案所有關聯信息；

采用lstm對獲取的文本中問題與答案所有關聯信息進行處理，并輸出開始概率和結束概率，并將所述開始概率和結束概率相乘，并將相乘后概率最高的一句話作為文本中問題的答案。

優選地，所述glove詞向量訓練模型公式為：