[發明專利]基于詞性的文本檢索方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110737521.5
• 申請日: 2021-06-30
• 公開（公告）號: CN113505196A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 楊鑫;趙從志;萬周斌;趙順峰
• 申請（專利權）人: 和美（深圳）信息技術股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33
• 代理公司: 北京鍾維聯合知識產權代理有限公司 11579
• 代理人: 安娜

1.一種基于詞性的文本檢索方法，其特征在于，包括：

獲取輸入文本，從語料庫中檢索與所述輸入文本相關的候選文本；

對所述輸入文本進行分詞處理，獲得若干個檢索詞；

從基于所述語料庫構建的詞典中獲取每個檢索詞與每個候選文本的相關性得分，其中，所述詞典中包括所述語料庫中的每個詞語與每個詞語所屬文本之間的相關性得分；

針對每個候選文本，對所述若干個檢索詞與該候選文本的相關性得分進行加權求和，以獲得該候選文本與所述輸入文本的相關度，其中，每個檢索詞對應的權重是基于該檢索詞的詞性和該檢索詞在所述輸入文本中出現的次數確定的；

基于每個候選文本與所述輸入文本的相關度，從候選文本中確定出所述輸入文本對應的檢索結果。

2.根據權利要求1所述的方法，其特征在于，對所述若干個檢索詞與該候選文本的相關性得分進行加權求和，以獲得該候選文本與所述輸入文本的相關度，具體包括：

基于如下公式獲得第i個候選文本D'_i與所述輸入文本Q的相關度：

其中，Q被分成n個檢索詞，R(q_j,D'_i)表示第j個檢索詞q_j與候選文本D'_i的相關性得分，w_j表示檢索詞q_j在所述輸入文本Q中出現的次數，表示基于檢索詞q_j的詞性確定的詞性權重。

3.根據權利要求2所述的方法，其特征在于，通過如下方式確定每個檢索詞對應的詞性權重：

基于預先設定的詞性和詞性權重之間的對應關系、以及每個檢索詞的詞性，確定每個檢索詞對應的詞性權重，其中，所述對應關系是基于各種詞性在所述語料庫中出現的占比確定的，占比和詞性權重正相關；或者

分別確定每種詞性對應的檢索詞與所述輸入文本的相似度，基于每種詞性對應的相似度確定每種詞性對應的詞性權重，將每個檢索詞所屬的詞性對應的詞性權重作為每個檢索詞的詞性權重。

4.根據權利要求1至3任一項所述的方法，其特征在于，通過如下方式構建所述詞典：

對所述語料庫中的每個文本進行分詞處理，獲得每個文本對應的詞語；

針對每個文本對應的每個詞語，基于該詞語在所述語料庫中的逆向文件頻率、該詞語在該文本中的出現次數以及該文本的文本長度，確定該詞語與該文本之間的相關性得分。

5.根據權利要求1至3任一項所述的方法，其特征在于，通過如下方式構建所述詞典：

對所述語料庫中的每個文本進行分詞處理，獲得每個文本對應的詞語；

針對每個文本對應的每個詞語，基于該詞語該文本中的詞性，確定該詞語在該文本中的詞性權重；

針對每個文本對應的每個詞語，基于該詞語在所述語料庫中的逆向文件頻率、該詞語在該文本中的出現次數、該文本的文本長度以及該詞語在該文本中的詞性權重，確定該詞語與該文本之間的相關性得分。

6.根據權利要求5所述的方法，其特征在于，所述基于該詞語在所述語料庫中的逆向文件頻率、該詞語在該文本中的出現次數、該文本的文本長度以及該詞語在該文本中的詞性權重，確定該詞語與該文本之間的相關性得分，具體包括：

基于如下公式確定所述語料庫中的詞語d_i與文本D_j之間的相關性得分：

其中，d_i為D_j中的第i個詞語，IDF(d_i)表示d_i在所述語料庫中的逆向文件頻率，表示d_i在D_j中的詞性權重，f_i表示d_i在D_j中的出現次數，表示D_j的文本長度，avgl表示所述語料庫中所有文本的平均文本長度，k₁和b為預設的調節因子。