[發(fā)明專利]基于層次化多頭交互注意力的對話狀態(tài)生成方法

有效

• 申請?zhí)枺?/td>: 202011341577.0
• 申請日: 2020-11-25
• 公開（公告）號: CN112131861B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 周玉;李梅;向露;宗成慶
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/284;G06F40/242;G06N3/04;G06N3/08;G06F16/332
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于任務型對話技術領域，具體涉及了一種基于層次化多頭交互注意力的對話狀態(tài)生成方法，旨在解決現(xiàn)有技術精度和準確度低以及成本高、效率低的問題。本發(fā)明包括：基于文本詞典進行對話文本預處理；通過編碼器進行各句子的獨立編碼，獲得對話文本的上下文表示；對解碼器輸入應用自我注意力機制，獲得當前時刻的解碼器輸入向量；應用多頭交互式注意力機制，融合字級別和句子級別的上下文表示，獲得對話文本當前時刻的上下文向量表示；結合當前時刻的解碼器輸入向量，通過非線性映射獲得實體和狀態(tài)作為對話文本的對話狀態(tài)。本發(fā)明可以在無字級別標注信息的情況下取得非常好的效果，不僅節(jié)約了數(shù)據(jù)標注的成本，也提高了模型的精確性與精度。

技術領域

本發(fā)明屬于任務型對話技術領域，具體涉及了一種基于層次化多頭交互注意力的對話狀態(tài)生成方法。

背景技術

任務型對話系統(tǒng)是在某一特定領域，通過自然語言交互的形式，輔助用戶完成某種特定任務的人機交互系統(tǒng)。目前任務型對話系統(tǒng)在各個垂直領域中都有很大的需求，尤其醫(yī)療領域。在醫(yī)療對話系統(tǒng)中，對用戶對話文本的分析和理解是構建醫(yī)療對話系統(tǒng)的第一步。首先需要識別出用戶文本以及對話歷史中出現(xiàn)的癥狀、檢查、藥物等疾病相關的實體，然后推斷出這些實體的狀態(tài)信息。

在醫(yī)療對話文本中，語法結構不規(guī)范，口語化嚴重的現(xiàn)象普遍存在。同一種癥狀或檢查會有各種不同的口語化的表述形式或習慣性的縮寫形式。甚至，有些實體知識是隱含在一段對話中的，需要對一部分對話進行推斷才能判斷實體類型。因此在醫(yī)療領域的對話理解模塊中不可或缺的一步是進行實體歸一化操作，將口語化不規(guī)范的文本轉化為醫(yī)療領域專業(yè)的實體文本。傳統(tǒng)實體識別的方法是基于序列標注的方法，需要先識別出文本中的實體，然后再進行歸一化處理。這種兩階段式的方法會有錯誤的累積，并且序列標注的方法需要字級別的標注信息，耗時耗力，另外在對話中，還存在大量冗余的與疾病無關的信息。此外，這種標注方式不能處理隱式的實體類型。

為了避免兩階段帶來的累積錯誤的問題，現(xiàn)有技術也提出了端到端生成的醫(yī)療對話文本的實體歸一化方法，可以直接根據(jù)對話歷史文本生成歸一化后的實體和狀態(tài)，避免了中間的錯誤累積和過程。然而這些現(xiàn)有技術將上下文看作一段文本，而忽略了對話文本信息具有多輪交互性的最大的特點，因而醫(yī)療對話文本的實體歸一化結果的精度和準確度還達不到預期，并且很多實體歸一化方法也需要提供字級別標注信息，成本高、效率低。

發(fā)明內容

為了解決現(xiàn)有技術中的上述問題，即現(xiàn)有端到端方法忽略了對話文本信息具有多輪交互性的特點，對話狀態(tài)生成的精度和準確度低以及對文字級別標注信息依賴較大，從而成本高、效率低的問題，本發(fā)明提供了一種基于層次化多頭交互注意力的對話狀態(tài)生成方法，該方法包括：

步驟S10，基于文本詞典對獲取的待處理對話文本進行預處理，獲得待處理對話文本對應的詞向量；所述文本詞典為統(tǒng)計文本語料中非重復字/詞獲得的字/詞與id的對應關系；

步驟S20，基于所述待處理對話文本對應的詞向量，通過編碼器進行各個句子的獨立編碼，獲得待處理對話文本的上下文表示；

以解碼器上一時刻輸出作為當前時刻輸入，并通過自注意力機制編碼當前時刻輸入的歷史向量化表示，將解碼器當前時刻輸入與所述歷史向量化表示相加作為當前時刻的解碼器輸入向量；所述解碼器，其第0時刻的輸入為設定字符；

步驟S30，基于待處理對話文本的上下文表示和當前時刻的解碼器輸入向量，通過多頭注意力機制計算待處理對話文本針對當前時刻解碼器輸入的上下文表示，獲取待處理對話文本當前時刻的上下文向量表示；

步驟S40，基于所述待處理對話文本當前時刻的上下文向量表示以及當前時刻的解碼器輸入向量，進行非線性映射獲得實體和狀態(tài)作為待處理對話文本的對話狀態(tài)；

其中，所述編碼器、解碼器分別為一個多層的基于Transformer構建的神經網絡。

在一些優(yōu)選的實施例中，所述待處理對話文本的上下文表示，其計算方法為：