[發明專利]基于量子測量與自注意力機制的問答任務匹配模型及方法

在審

• 申請號: 202110638002.3
• 申請日: 2021-06-08
• 公開（公告）號: CN113434646A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 宋世凱;宮秀軍;侯越先
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/284;G06F40/30;G06N3/04;G06N3/08;G06N10/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

1.一種基于量子測量與自注意力機制的問答任務匹配模型，其特征在于，所述任務匹配模型包括端到端的量子語言系統；所述量子語言系統由語言編碼器、測量矩陣編碼器、問答匹配模塊構成；其中問答句子中單個詞被認為是語言最小單位語義的疊加；不同詞之間能夠相互關聯；句子被視為混合狀態的物理系統，由不同的單詞組合而成，并且通過權重衡量單詞組合之間關系；形式上，單詞建模為多維希爾伯特空間中的單位向量，并由純態密度矩陣表示，句子是權重被歸一化的純態密度矩陣的疊加；在問答匹配任務中，句子的密度矩陣由一組正交的測量向量投影到投影平面，結果的長度對應于句子的密度矩陣被投影到平面的概率。

2.根據權利要求1所述的一種基于量子測量與自注意力機制的問答任務匹配模型，其特征在于，所述語言編碼器包括嵌入層和混合層；其中：

所述嵌入層是初始化單詞編碼；每個詞向量都由實部和虛部組成，在數學定義上，問答任務匹配模型將語義定義為正交的基態集合作為語言的最小單位，其中e_j為one-hot向量；單詞作為語義的疊加態由定義，其中滿足是實值非負的振幅，對應于詞向量的長度，類似量子理論中粒子波函數的表示方式；

所述混合層是將單詞編碼進行計算，使用自注意力機制獲得詞嵌入混合的權重，每個句子在訓練中獲得自身的語義權重，并對每個單詞的復向量做外積得到單詞純態的密度矩陣表示，再將純態密度矩陣加權相加得到單詞組合的混合態密度矩陣，每個單詞組合的密度矩陣表示為其中p(w_j)是由自注意力層獲取的權重π(w_i)并經過softmax歸一化，權重p(w_j)滿足描述了語義單元相對重要性的概率分布，|w_jw_j|是上文提到的語義疊加態做外積；

所述語言編碼器對句子中所有單詞的密度矩陣求和，得到對應句子的密度矩陣表示形式，問句和答句的密度矩陣分別為ρ_q和ρ_a。

3.根據權利要求1所述的一種基于量子測量與自注意力機制的問答任務匹配模型，其特征在于，

所述測量矩陣編碼器通過如下步驟獲取問答句子的測量編碼矩陣：

通過得到問句和答句的密度矩陣表示分別為和L為句子長度，并且對K個語義測量算子進行問句密度矩陣和答句密度矩陣的投影測量，將問句密度矩陣和答句密度矩陣輸入測量層，在經過語義測量算子的測量后得到兩組概率矩陣p¹和p²，其中每個概率向量由如下公式計算：

4.根據權利要求1所述的一種基于量子測量與自注意力機制的問答任務匹配模型，其特征在于，

所述問答匹配模塊通過如下公式獲得交互匹配分數：密度矩陣測量結果p¹和p²的向量距離作為問句和答句的匹配分數，本問答任務匹配模型先通過一組池化操作獲得每個測量值的最大投影概率，然后利用余弦相似度計算兩個向量之間的距離，其數學公式定義如下：

score＝cosine(pooling(p¹)，pooling(p²))。

5.一種基于量子測量與自注意力機制的問答任務匹配方法，基于權利要求1所述問答任務匹配模型，其特征在于，包括以下步驟：

(1)讀取訓練集中疑問句子和答案句子對，對訓練集中所有句子進行分詞，中文使用jiebe工具，英語使用Moses工具；

(2)構建詞向量矩陣，確定每一個單詞所對應的詞向量的維度，詞向量矩陣每一列表示一個單詞，并且會隨著問答任務匹配模型的訓練進行優化；

(3)計算出每個單詞的自注意力權重，并進一步計算得到每個句子的密度矩陣；

(4)根據每個句子的密度矩陣，計算得到每個句子對應的測量矩陣，并得到對應句子測量之后的結果；

(5)輸出最后結果；

(6)最后在問答匹配數據集上進行訓練和測試，測試的指標為MAP和MRR分數。