[發(fā)明專利]一種機器閱讀理解方法、裝置、設(shè)備及存儲介質(zhì)有效
| 申請?zhí)枺?/td> | 202011348097.7 | 申請日： | 2020-11-26 |
| 公開（公告）號： | CN112464643B | 公開（公告）日： | 2022-11-15 |
| 發(fā)明（設(shè)計）人： | 陳松燦 | 申請（專利權(quán)）人： | 廣州視源電子科技股份有限公司 |
| 主分類號： | G06F40/211 | 分類號： | G06F40/211;G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京品源專利代理有限公司 11332 | 代理人： | 孟金喆 |
| 地址： | 510530 廣*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 機器 閱讀 理解 方法 裝置 設(shè)備 存儲 介質(zhì) | ||
本發(fā)明公開了一種機器閱讀理解方法、裝置、設(shè)備及存儲介質(zhì)。方法包括：對待理解的文本數(shù)據(jù)和目標(biāo)問題進(jìn)行編碼融合，得到第一矩陣，基于多頭注意力機制對第一矩陣進(jìn)行處理，得到第二矩陣，對第二矩陣進(jìn)行掩碼操作，分別得到文本矩陣和問題矩陣，基于協(xié)同多頭注意力機制對文本矩陣和問題矩陣進(jìn)行處理，得到第三矩陣，從第三矩陣中提取出第一特征矩陣和第二特征矩陣，基于第一特征矩陣和第二特征矩陣分別確定目標(biāo)問題的答案的起始位置和目標(biāo)問題的答案的結(jié)束位置。本發(fā)明實施例能夠更好地細(xì)化注意力焦點，進(jìn)而提高預(yù)測的答案的準(zhǔn)確度。
技術(shù)領(lǐng)域
本發(fā)明實施例涉及機器閱讀理解技術(shù)領(lǐng)域，尤其涉及一種機器閱讀理解方法、裝置、設(shè)備及存儲介質(zhì)。
背景技術(shù)
機器閱讀理解(Machine Reading Comprehension，MRC)是自然語言處理的核心任務(wù)之一，它對于搜索引擎、智能客服等都有直接的應(yīng)用價值。
機器閱讀理解是指：給定一段文本，如果對于任何有關(guān)該文本的問題，大多數(shù)母語人士能夠正確回答，且機器可以提供一個字符串，使發(fā)言者同意該字符串能夠回答此問題，并且不包含與之無關(guān)的信息。
機器閱讀理解方法分為兩類：分別為生成式和抽取式。生成式是從理論上來說不受知識的局限，對于問題自動生成答案。但是生成式有時產(chǎn)生的答案答非所問、句式不通，不能很好地體現(xiàn)出人類的思維邏輯以及自然表述的特點。抽取式通過給定問題以及相關(guān)的文章訓(xùn)練語言模型，讓機器具備閱讀的能力，并對提出的新問題，語言模型在相關(guān)文章中抽取出相應(yīng)的答案。相對于生成式而言，抽取式的技術(shù)優(yōu)勢更加明顯，應(yīng)用更為廣泛。
目前大部分抽取式機器閱讀理解的語言模型的輸出是一個上下文和問題連接在一起的一個長向量，此時模型并沒有足夠的能力去細(xì)化這一個長向量注意力的焦點，隨著層數(shù)的增多，上下文與問題之間的注意力就會逐漸被分散，造成模型的預(yù)測能力減弱，預(yù)測的答案準(zhǔn)確度低。
發(fā)明內(nèi)容
本發(fā)明提供一種機器閱讀理解方法、裝置、設(shè)備及存儲介質(zhì)，以實現(xiàn)有針對性的對文本數(shù)據(jù)和目標(biāo)問題進(jìn)行相互關(guān)注，能夠更好地細(xì)化注意力焦點，進(jìn)而提高預(yù)測的答案的準(zhǔn)確度。
第一方面，本發(fā)明實施例提供了一種機器閱讀理解方法，包括：
對待理解的文本數(shù)據(jù)和目標(biāo)問題進(jìn)行編碼融合，得到第一矩陣；
基于多頭注意力機制對所述第一矩陣進(jìn)行處理，得到第二矩陣；
對所述第二矩陣進(jìn)行掩碼操作，分別得到文本矩陣和問題矩陣；
基于協(xié)同多頭注意力機制對所述文本矩陣和所述問題矩陣進(jìn)行處理，得到第三矩陣；
從所述第三矩陣中提取出第一特征矩陣和第二特征矩陣，所述第一特征矩陣用于表征所述目標(biāo)問題的答案的起始位置，所述第二特征矩陣用于表征所述目標(biāo)問題的答案的結(jié)束位置；
基于所述第一特征矩陣和所述第二特征矩陣分別確定所述目標(biāo)問題的答案的起始位置和所述目標(biāo)問題的答案的結(jié)束位置。
第二方面，本發(fā)明實施例還提供了機器閱讀理解裝置，該裝置包括：
編碼融合模塊，用于對待理解的文本數(shù)據(jù)和目標(biāo)問題進(jìn)行編碼融合，得到第一矩陣；
第一注意力模塊，用于基于多頭注意力機制對所述第一矩陣進(jìn)行處理，得到第二矩陣；
掩碼操作模塊，用于對所述第二矩陣進(jìn)行掩碼操作，分別得到文本矩陣和問題矩陣；
第二注意力模塊，用于基于協(xié)同多頭注意力機制對所述文本矩陣和所述問題矩陣進(jìn)行處理，得到第三矩陣；
特征矩陣提取模塊，用于從所述第三矩陣中提取出第一特征矩陣和第二特征矩陣，所述第一特征矩陣用于表征所述目標(biāo)問題的答案的起始位置，所述第二特征矩陣用于表征所述目標(biāo)問題的答案的結(jié)束位置；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于廣州視源電子科技股份有限公司，未經(jīng)廣州視源電子科技股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011348097.7/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 上一篇：一種水位自動控制閥
- 下一篇：一種超平低磁不銹鋼BF2的制造方法
