[發(fā)明專利]基于弱監(jiān)督學(xué)習(xí)和聯(lián)合學(xué)習(xí)機(jī)制的法律問答方法及設(shè)備

有效

• 申請?zhí)枺?/td>: 202110474027.4
• 申請日: 2021-04-29
• 公開（公告）號: CN113297360B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 朵思惟;余梓飛;張程華
• 申請（專利權(quán)）人: 天津匯智星源信息技術(shù)有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/35;G06Q50/18
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 孫曉鳳

1.一種法律問答方法，包括：

獲取用戶輸入的法律問題；

利用預(yù)先構(gòu)建的多標(biāo)簽分類模型和預(yù)設(shè)的法律標(biāo)簽集合，基于聯(lián)合學(xué)習(xí)機(jī)制對所述法律問題進(jìn)行分類，以得到所述法律問題的法律標(biāo)簽，

利用分詞算法對所述法律問題進(jìn)行分詞處理；

利用第一BERT預(yù)訓(xùn)練模型分別對經(jīng)過分詞處理的所述法律問題和所述法律標(biāo)簽集合進(jìn)行嵌入，以得到所述法律問題的詞向量序列和所述法律標(biāo)簽集合的標(biāo)簽向量序列；

對于所述詞向量序列中的每個(gè)詞向量，分別計(jì)算該詞向量與所述標(biāo)簽向量序列中的各個(gè)標(biāo)簽向量的余弦相似度，并確定所述余弦相似度中的最大值作為該詞向量的權(quán)重系數(shù)；

基于所述詞向量序列中的各個(gè)詞向量的所述權(quán)重系數(shù)，得到所述法律問題的加權(quán)向量表示；

對所述加權(quán)向量表示和所述法律標(biāo)簽集合應(yīng)用多標(biāo)簽分類算法，以得到所述法律標(biāo)簽集合的針對所述法律問題的得分向量；

確定所述得分向量中數(shù)值超過預(yù)設(shè)閾值的分量作為目標(biāo)分量；

將所述法律標(biāo)簽集合中與所述目標(biāo)分量對應(yīng)的法律標(biāo)簽作為所述法律問題的法律標(biāo)簽；

從法律問答對數(shù)據(jù)庫中檢索出與所述法律標(biāo)簽相關(guān)聯(lián)的候選法律問答對；

輸出至少一個(gè)所述候選法律問答對中的答案作為對所述法律問題的答復(fù)，

其中，所述多標(biāo)簽分類模型是經(jīng)過基于弱監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練和基于強(qiáng)監(jiān)督學(xué)習(xí)的訓(xùn)練的。

2.根據(jù)權(quán)利要求1所述的方法，其中，輸出至少一個(gè)所述候選法律問答對中的答案作為對所述法律問題的答復(fù)包括：

對于所述候選法律問答對中的每一個(gè)候選法律問答對，通過第二BERT預(yù)訓(xùn)練模型得到該候選法律問答對中的問句與所述法律問題的語義相似度；

將得到的多個(gè)所述語義相似度按從大到小的順序排序；

選取排序后的多個(gè)所述語義相似度中的前n個(gè)語義相似度作為目標(biāo)語義相似度，其中n為預(yù)設(shè)整數(shù)；

輸出所述候選法律問答對中與所述目標(biāo)語義相似度對應(yīng)的候選法律問答對中的答案作為對所述法律問題的答復(fù)。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于弱監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練包括：

對于多個(gè)未標(biāo)注法律問答對中的每一個(gè)未標(biāo)注法律問答對，將該未標(biāo)注法律問答對中的答案與所述法律標(biāo)簽集合進(jìn)行正則匹配，確定與該答案匹配的法律標(biāo)簽作為該未標(biāo)注法律問答對中的問句的偽標(biāo)簽，并將該問句和該偽標(biāo)簽的組合作為標(biāo)注訓(xùn)練數(shù)據(jù)來訓(xùn)練所述多標(biāo)簽分類模型。

4.根據(jù)權(quán)利要求3所述的方法，其中，將該問句和該偽標(biāo)簽的組合作為標(biāo)注訓(xùn)練數(shù)據(jù)來訓(xùn)練所述多標(biāo)簽分類模型包括：

利用所述多標(biāo)簽分類模型和所述法律標(biāo)簽集合，基于聯(lián)合學(xué)習(xí)機(jī)制對所述問句進(jìn)行分類，以得到所述問句的預(yù)測標(biāo)簽；

計(jì)算所述偽標(biāo)簽與所述預(yù)測標(biāo)簽之間的交叉熵?fù)p失函數(shù)；

調(diào)整所述多標(biāo)簽分類模型的參數(shù)以最小化所述交叉熵?fù)p失函數(shù)。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述基于強(qiáng)監(jiān)督學(xué)習(xí)的訓(xùn)練包括：

對于多個(gè)標(biāo)注法律問答對中的每一個(gè)標(biāo)注法律問答對，

利用經(jīng)過所述基于弱監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練的所述多標(biāo)簽分類模型和所述法律標(biāo)簽集合，基于聯(lián)合學(xué)習(xí)機(jī)制對該標(biāo)注法律問答對中的問句進(jìn)行分類，以得到該問句的預(yù)測標(biāo)簽；

計(jì)算該問句的真實(shí)標(biāo)簽與所述預(yù)測標(biāo)簽之間的交叉熵?fù)p失函數(shù)；

調(diào)整經(jīng)過所述基于弱監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練的所述多標(biāo)簽分類模型的參數(shù)以最小化所述交叉熵?fù)p失函數(shù)。