[發(fā)明專利]一種項(xiàng)目文本的相似度檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110403617.8
• 申請(qǐng)日: 2021-04-15
• 公開（公告）號(hào): CN113076734B
• 公開（公告）日: 2023-01-20
• 發(fā)明（設(shè)計(jì)）人: 方正云;楊政;尹春林;李萍;劉柱揆;潘侃;朱華;蘇蒙
• 申請(qǐng)（專利權(quán)）人: 云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院
• 主分類號(hào): G06F40/194
• 分類號(hào): G06F40/194;G06F40/30;G06Q10/10
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長(zhǎng)明;許偉群

本申請(qǐng)涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，提供一種項(xiàng)目文本的相似度檢測(cè)方法及裝置，包括，提取待檢測(cè)項(xiàng)目文本的待測(cè)章節(jié)和對(duì)比項(xiàng)目文本的對(duì)比章節(jié)，通過待測(cè)語句與對(duì)比語句的余弦相似度和歐氏距離相似度，定義新的相似度模型，獲得待測(cè)語句多個(gè)第一相似度，根據(jù)待測(cè)語句的多個(gè)第一相似度，獲得所述待測(cè)語句的第二相似度，根據(jù)所述待測(cè)章節(jié)中全部待測(cè)語句的第二相似度以及全部待測(cè)語句對(duì)應(yīng)的第一預(yù)設(shè)權(quán)重，獲得所述待測(cè)章節(jié)的第三相似度，根據(jù)待檢測(cè)項(xiàng)目文本全部待測(cè)章節(jié)的第三相似度以及待測(cè)章節(jié)對(duì)應(yīng)的第二預(yù)設(shè)權(quán)重，獲得待檢測(cè)項(xiàng)目文本與對(duì)比項(xiàng)目文本的文本相似度，得到的文本相似度融合了語義層面的相似度，可以提高項(xiàng)目文本的相似度檢測(cè)效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，特別是涉及電力行業(yè)項(xiàng)目文本的相似度檢測(cè)方法及裝置。

背景技術(shù)

科技項(xiàng)目審查是科技計(jì)劃管理的重要工作，是推動(dòng)科技事業(yè)持續(xù)健康發(fā)展、促進(jìn)科技資源優(yōu)化配置、提高科技管理水平的重要手段。在審查階段，利用科技項(xiàng)目庫中的現(xiàn)有項(xiàng)目文本作為對(duì)比項(xiàng)目文本，對(duì)待測(cè)項(xiàng)目文本進(jìn)行相似度檢測(cè)是必要的一步，例如電力行業(yè)項(xiàng)目文本包括項(xiàng)目摘要、目的和意義、項(xiàng)目研究的背景、研究?jī)?nèi)容與實(shí)施方案、預(yù)期目標(biāo)和成果形式五個(gè)章節(jié)，在將待測(cè)項(xiàng)目文本與對(duì)比項(xiàng)目文本進(jìn)行相似度檢測(cè)時(shí)，是將兩個(gè)項(xiàng)目文本相對(duì)應(yīng)的章節(jié)進(jìn)行相似度檢測(cè)，例如，待測(cè)項(xiàng)目文本的項(xiàng)目摘要章節(jié)為待測(cè)章節(jié)，則將對(duì)比項(xiàng)目文本的項(xiàng)目摘要章節(jié)作為對(duì)比章節(jié)，通過判斷待測(cè)章節(jié)與對(duì)比章節(jié)的相似度，判斷待檢測(cè)章節(jié)的是否與對(duì)比章節(jié)雷同。

目前的科技項(xiàng)目文本相似度檢測(cè)方法主要分為兩大類：基于字符串編輯距離比較的方法和基于TF-IDF(Term Frequency-Inverse Document Frequency,詞頻—逆文件頻率)的方法，基于字符串編輯距離比較的方法只是在科研項(xiàng)目語句字符串層面進(jìn)行相似度比較，并沒有考慮每個(gè)句子語義層面的特征；基于TF-IDF的方法，是采用關(guān)鍵詞來進(jìn)行科研項(xiàng)目文本的相似度比較，此類方法只考慮了項(xiàng)目文本中幾個(gè)關(guān)鍵詞的特征，并沒有考慮項(xiàng)目文本的整體框架特征以及項(xiàng)目文本中每句話的語義特征。因此，基于字符串編輯距離比較的方法和基于TF-IDF的方法在針對(duì)文本不同但是語義相同的表述語句時(shí)，均無法有效的檢測(cè)兩者的語義相似度，在進(jìn)行項(xiàng)目文本相似度檢測(cè)時(shí)均需要人工審核進(jìn)行輔助。

可見現(xiàn)有技術(shù)在檢測(cè)預(yù)研項(xiàng)目文本時(shí)，難以在語義層面進(jìn)行相似度的檢測(cè)，而為完成不同項(xiàng)目文本的相似度檢測(cè)，通常需要人工審核的介入，從而增加了評(píng)審專家的工作量，提高了人工成本，降低了審核效率。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N項(xiàng)目文本的相似度檢測(cè)方法及裝置，以提供一種可以有效檢測(cè)待測(cè)項(xiàng)目文本與對(duì)比項(xiàng)目文本語義相似度的項(xiàng)目文本的相似度檢測(cè)方法及裝置。

本申請(qǐng)第一方面提供了一種項(xiàng)目文本的相似度檢測(cè)方法，包括：

提取待檢測(cè)項(xiàng)目文本的任一待測(cè)章節(jié)，以及提取對(duì)比項(xiàng)目文本中所述任一待測(cè)章節(jié)對(duì)應(yīng)的對(duì)比章節(jié)；

計(jì)算所述待測(cè)章節(jié)中任一待測(cè)語句與所述對(duì)比章節(jié)中全部對(duì)比語句的余弦相似度，以及對(duì)應(yīng)余弦相似度的歐氏距離相似度，所述對(duì)應(yīng)余弦相似度的歐氏距離相似度是指其待測(cè)語句與余弦相似度的待測(cè)語句為同一語句，且其對(duì)比語句與余弦相似度的對(duì)比語句為同一語句；

若余弦相似度的值大于或等于預(yù)設(shè)閾值，則將所述余弦相似度作為所述待測(cè)語句的第一相似度，若余弦相似度的值小于預(yù)設(shè)閾值，則將所述余弦相似度與對(duì)應(yīng)的歐氏距離相似度的均值作為所述待測(cè)語句的第一相似度，獲得所述待測(cè)語句的多個(gè)第一相似度；

根據(jù)所述待測(cè)語句的多個(gè)第一相似度的大小，獲得所述待測(cè)語句的第二相似度，所述第二相似度為多個(gè)第一相似度中數(shù)值最大的第一相似度；