[發明專利]文檔檢索方法、設備及計算機可讀存儲介質

有效

• 申請號: 202011215045.2
• 申請日: 2020-11-03
• 公開（公告）號: CN112347223B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 王偉;李響;鄧俊毅;謝超
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33;G06F16/36;G06F40/216;G06F40/295;G06F40/30;G06N3/0442;G06N3/049;G06N3/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 魏潤潔

1.一種文檔檢索方法，其特征在于，所述文檔檢索方法包括以下步驟：

獲取被檢索文檔經整合后所得的被檢索文檔矩陣，并基于所述被檢索文檔矩陣提取所述被檢索文檔的多層級跨句語義信息，以得到包含所述多層級跨句語義信息的第一輸入向量；

獲取包含有預設檢索文檔庫中若干檢索文檔的多層級跨句語義信息的第二輸入向量集，并將所述第一輸入向量與所述第二輸入向量集作為采用不同比例掩蓋處理方式訓練后的預訓練語言模型的輸入，得到所述第一輸入向量與所述第二輸入向量集之間的特征相似度，以基于所述特征相似度確定出與所述被檢索文檔相匹配的目標檢索文檔，所述第一輸入向量和所述第二輸入向量包括：詞向量、位置向量和鄰接語義向量；

所述將所述第一輸入向量與所述第二輸入向量集作為采用不同比例掩蓋處理方式訓練后的預訓練語言模型的輸入，得到所述第一輸入向量與所述第二輸入向量集之間的特征相似度，以基于所述特征相似度確定出與所述被檢索文檔相匹配的目標檢索文檔的步驟，包括：

將所述第一輸入向量與所述第二輸入向量集作為采用不同比例掩蓋處理方式訓練后的預訓練語言模型的輸入，獲得所述被檢索文檔和各檢索文檔對應的文本特征，以通過哈密爾頓距離方式獲取所述第一輸入向量與所述第二輸入向量集之間的特征相似度，以基于所述特征相似度確定出與所述被檢索文檔相匹配的目標檢索文檔；

所述獲取被檢索文檔經整合后所得的被檢索文檔矩陣之前，還包括：

獲取由多個預訓練詞序列組成的預訓練語料，并生成所述預訓練語料的語料詞頻-逆文檔頻率屬性隊列與語料詞性屬性隊列；

根據各個所述預訓練詞序列分別在所述語料詞頻-逆文檔頻率屬性隊列與語料詞性屬性隊列中位置編號的乘積，對各個所述預訓練詞序列進行排序，得到預訓練掩蓋隊列；

根據先后順序確定預設比例標準，并按照預設比例標準，對所述預訓練掩蓋隊列中的各個已排序的預訓練詞序列進行保留和/或替換的掩蓋處理，所述掩蓋處理包括：按照第一比例對各個已排序的預訓練詞序列進行保留，按照第二比例對各個已排序的預訓練詞序列進行隨機替換，按照第三比例對各個已排序的預訓練詞序列進行特定符號替換。

2.如權利要求1所述的文檔檢索方法，其特征在于，所述基于所述被檢索文檔矩陣提取所述被檢索文檔的多層級跨句語義信息，以得到包含所述多層級跨句語義信息的第一輸入向量，包括：

獲取所述被檢索文檔矩陣的詞向量與位置向量；

基于詞頻-逆文檔頻率算法與命名實體識別技術，得到用于獲取所述被檢索文檔矩陣的鄰接語義向量的目標備選詞集合；

基于長短時記憶網絡模型，對所述目標備選詞集合中的每一備選詞進行編碼，以得到所述被檢索文檔矩陣的鄰接語義向量；

將所述詞向量、所述位置向量與所述鄰接語義向量作為所述第一輸入向量，其中，所述第一輸入向量存儲于區塊鏈中。

3.如權利要求2所述的文檔檢索方法，其特征在于，所述基于詞頻-逆文檔頻率算法與命名實體識別技術，得到用于獲取所述被檢索文檔矩陣的鄰接語義向量的目標備選詞集合，包括：

使用詞頻-逆文檔頻率算法對所述被檢索文檔矩陣中的詞序列進行加權處理，生成所述被檢索文檔矩陣對應的詞頻-逆文檔頻率屬性隊列；

對所述被檢索文檔矩陣的每一詞序列進行詞性分析，得到所述被檢索文檔矩陣對應的詞性頻率屬性隊列；

使用命名實體識別技術，識別所述被檢索文檔矩陣中每一語句序列的實體，并結合預設知識圖譜三元組，得到所述被檢索文檔矩陣對應的實體共現頻率屬性隊列；

結合所述詞頻-逆文檔頻率屬性隊列、所述詞性頻率屬性隊列與所述實體共現頻率屬性隊列，得到所述目標備選詞集合。