[發(fā)明專利]文本檢索方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010545374.7
• 申請日: 2020-06-16
• 公開（公告）號: CN111444320B
• 公開（公告）日: 2020-09-08
• 發(fā)明（設(shè)計）人: 時愛民;楊剛;葉俊鋒;仲如星
• 申請（專利權(quán)）人: 太平金融科技服務(wù)（上海）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/211;G06F40/289;G06F40/30
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃麗霞

1.一種文本檢索方法，其特征在于，所述方法包括：

響應(yīng)于文本檢索請求，所述文本檢索請求中包括檢索語句；

將所述檢索語句在待檢索文本集中通過TF-IDF算法進(jìn)行匹配，得到匹配的設(shè)定個數(shù)的候選文本；

根據(jù)文本特征對所述候選文本進(jìn)行拆分，得到拆分后的與每個候選文本對應(yīng)的多個文本段，采用XGBoost算法篩選每個候選文本對應(yīng)的多個文本段中的重要文本段；

通過語義表示學(xué)習(xí)模型獲取所述檢索語句的第一特征向量和每個所述候選文本中重要文本段的第二特征向量，所述語義表示學(xué)習(xí)模型是基于語義表示預(yù)訓(xùn)練模型BERT的網(wǎng)絡(luò)架構(gòu)實現(xiàn)的；

根據(jù)所述檢索語句的第一特征向量和每個所述候選文本中重要文本段的第二特征向量之間的相似度，獲取相似度較高的目標(biāo)個數(shù)的候選文本，所述目標(biāo)個數(shù)小于設(shè)定個數(shù)；

計算所述目標(biāo)個數(shù)的候選文本中每個候選文本相對于所述檢索語句的歷史關(guān)聯(lián)度，根據(jù)所述歷史關(guān)聯(lián)度的大小對所述目標(biāo)個數(shù)的候選文本進(jìn)行排序，所述歷史關(guān)聯(lián)度根據(jù)對應(yīng)候選文本的歷史點擊率和歷史下載率得到；

將排序后的所述目標(biāo)個數(shù)的候選文本確定為與所述檢索語句對應(yīng)的目標(biāo)檢索文本；

所述將所述檢索語句在待檢索文本集中通過TF-IDF算法進(jìn)行匹配，得到匹配的設(shè)定個數(shù)的候選文本，包括：根據(jù)TF-IDF算法獲取待檢索文本集中每一個待檢索文本與所述檢索語句之間的TF-IDF值；根據(jù)每一個待檢索文本與所述檢索語句之間的TF-IDF值的大小對所述待檢索文本進(jìn)行排序；將排序靠前的設(shè)定個數(shù)的待檢索文本作為匹配的候選文本。

2.根據(jù)權(quán)利要求1所述的文本檢索方法，其特征在于，所述根據(jù)所述檢索語句的第一特征向量和每個所述候選文本中重要文本段的第二特征向量之間的相似度，獲取相似度較高的目標(biāo)個數(shù)的候選文本，包括：

計算每一個所述候選文本中重要文本段的第二特征向量與所述檢索語句的第一特征向量之間的相似度；

將所述候選文本中相似度最高的所述重要文本段的相似度確定為對應(yīng)候選文本的相似度；

根據(jù)所述候選文本的相似度的大小對所述候選文本進(jìn)行排序；

將排序結(jié)果中排序靠前的目標(biāo)個數(shù)的候選文本確定為相似度較高的目標(biāo)個數(shù)的候選文本。

3.根據(jù)權(quán)利要求1所述的文本檢索方法，其特征在于，所述將排序后的所述目標(biāo)個數(shù)的候選文本確定為與所述檢索語句對應(yīng)的目標(biāo)檢索文本之前，所述方法還包括：

獲取歷史檢索數(shù)據(jù)，所述歷史檢索數(shù)據(jù)中包括歷史檢索語句以及與所述歷史檢索語句對應(yīng)的歷史目標(biāo)檢索文本；

若所述歷史檢索數(shù)據(jù)中不存在與所述檢索語句匹配的歷史檢索語句，則將排序后的所述目標(biāo)個數(shù)的候選文本確定為與所述檢索語句對應(yīng)的目標(biāo)檢索文本；

若所述歷史檢索數(shù)據(jù)中存在與所述檢索語句匹配的歷史檢索語句，則將與所述歷史檢索語句對應(yīng)的歷史目標(biāo)檢索文本，確定為與所述檢索語句對應(yīng)的目標(biāo)檢索文本。

4.根據(jù)權(quán)利要求1所述的文本檢索方法，其特征在于，所述計算所述目標(biāo)個數(shù)的候選文本中每個候選文本相對于所述檢索語句的歷史關(guān)聯(lián)度，包括：

根據(jù)所述檢索語句在所述目標(biāo)個數(shù)的候選文本中進(jìn)行全詞匹配，得到匹配的文本數(shù)量以及對應(yīng)的候選文本；

采用如下公式計算所述目標(biāo)個數(shù)的候選文本中每個候選文本相對于所述檢索語句的歷史關(guān)聯(lián)度，所述公式為：

，其中，C為候選文本相對于所述檢索語句的歷史關(guān)聯(lián)度，R為根據(jù)所述候選文本的歷史點擊率和歷史下載率分別對應(yīng)的權(quán)重得到的關(guān)聯(lián)度系數(shù)，T為目標(biāo)個數(shù)，D為匹配的文本數(shù)量。

5.根據(jù)權(quán)利要求1至4任一項所述的文本檢索方法，其特征在于，所述語義表示學(xué)習(xí)模型的生成方法包括：

獲取訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集包括若干個保險領(lǐng)域的非結(jié)構(gòu)化文本數(shù)據(jù)；

根據(jù)文本特征對每一個所述非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行文本拆分，得到拆分后的多個文本段，所述文本特征包括文本的字體屬性、字號屬性以及內(nèi)容標(biāo)識屬性；

對每個文本段進(jìn)行向量編碼，得到與所述文本段對應(yīng)的特征向量；

根據(jù)所述特征向量訓(xùn)練初始語義表示預(yù)訓(xùn)練模型，得到所述語義表示學(xué)習(xí)模型。