[發明專利]語義匹配方法、裝置和介質

在審

• 申請號: 202110073897.0
• 申請日: 2021-01-20
• 公開（公告）號: CN113407664A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 劉艾婷;李晨曦
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/30;G06F40/289
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟;黃玫

公開了語義匹配方法、裝置和介質，其涉及基于人工智能的自然語言處理。所述方法包括：對第一文本和第二文本執行分詞和拼接處理，得到第一詞序列；將第一詞序列提供至嵌入網絡，并轉換為第一詞向量；將第一詞向量提供至變換網絡，其中變換網絡包括第一到第N變換層，并且每個變換層具有對應的分類網絡；以及從第一到第N變換層依序進行以下操作：將該變換層所生成的特征向量提供至與其對應的分類網絡；利用該分類網絡基于其接收的特征向量生成語義匹配預測結果；在語義匹配預測結果滿足預定條件的情況下，基于語義匹配預測結果生成第一文本和第二文本的語義匹配結果。

技術領域

本公開涉及人工智能的技術領域，更具體地說，涉及語義匹配方法、裝 置和介質。

背景技術

針對搜索場景下的用戶問句和標準問句庫的語義匹配問題，經歷了從無 監督學習到有監督學習，從傳統機器學習到深度學習的技術演進。最早的 TF-IDF(termfrequency–inverse document frequency)、LD(Levenshtein Distance)、LCS(LongestCommon Subsequence)等算法，通過計算兩個語 句的詞匯重合度來得到語義匹配度。然而，由于這些算法基于詞的重合度和 共現信息來確定語義匹配度，因此對語句本身的語義信息挖掘不夠，無法做 到對用戶問句的深層理解。同時，當用戶問句較長時，無法定位到關鍵詞或 者關鍵短語。

近年來，深度學習算法取得了突破性進展，深度學習在語義匹配任務上 的應用日益受到更多的關注。盡管基于深度學習的語義匹配模型能夠挖掘更 深層次的語義信息，但是同時模型引入的參數過多(例如，1億多個參 數)，使得模型真正上線服務是很困難的。

發明內容

鑒于以上情形，期望提供新的語義匹配方法、裝置和介質，能夠在保證 模型性能沒有明顯下降的前提下達到加速預測的目的，解決計算資源昂貴和 內存緊張的難題。

根據本公開的一個方面，提供了一種語義匹配方法，包括：對輸入的第 一文本和第二文本執行分詞和拼接處理，以得到第一詞序列；將所述第一詞 序列提供至嵌入網絡，并通過所述嵌入網絡將所述第一詞序列轉換為第一詞 向量；將所述第一詞向量提供至變換網絡，其中所述變換網絡還包括串聯連 接的第一到第N變換層，其中，N為大于1的整數，所述第一變換層接收所 述第一詞向量作為輸入向量并且其他變換層接收與其串聯連接的上一變換層 生成的特征向量作為其輸入向量，每個變換層對所述輸入向量進行特征提取并生成特征向量，并且每個變換層具有與其對應的分類網絡；從第一變換層 開始逐層進行以下操作，直至生成所述第一文本和第二文本的語義匹配結 果：將該變換層所生成的特征向量提供至與其對應的分類網絡；利用該變換 層所對應的分類網絡基于其接收的特征向量生成語義匹配預測結果；在所述 語義匹配預測結果滿足預定條件的情況下，基于所述語義匹配預測結果生成 所述第一文本和第二文本的語義匹配結果。

另外，在根據本公開實施例的方法中，所述語義匹配預測結果包括指示 所述第一文本和第二文本是否匹配的概率值，且所述預定條件包括：所述概 率值大于預定閾值。

另外，在根據本公開實施例的方法中，在第i變換層所對應的分類網絡 的語義匹配預測結果滿足預定條件的情況下，停止所述變換網絡中其他變換 層及其對應分類網絡的操作，其中i為大于等于1的整數。

另外，在根據本公開實施例的方法中，所述多個分類網絡中的每一個包 括：全連接層、分類變換層和歸一化層，并且其中所述分類網絡基于其接收 的特征向量生成語義匹配預測結果，包括：所述全連接層接收所述分類網絡 所對應的變換層輸出的特征向量，并由所述全連接層將所述特征向量變換為 與語義匹配預測結果的類別數量對應的維度的特征向量；將所述全連接層輸 出的特征向量提供到所述分類變換層，并由所述分類變換層輸出經變換的特 征向量；將所述經變換的特征向量提供到所述歸一化層，由所述歸一化層對其中的各元素執行歸一化，并將歸一化的特征向量作為所述語義匹配預測結 果。