[發(fā)明專利]語義識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810607163.4
• 申請(qǐng)日: 2018-06-13
• 公開（公告）號(hào): CN110598200B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 林義明;郭輝;劉建林;戴祥鷹
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F16/35;G06F16/33
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 羅英;劉芳

1.一種語義識(shí)別方法，其特征在于，包括：

獲取待處理的詞語片段；

將所述待處理的詞語片段與所有語義類別簇中的詞語片段進(jìn)行字符串匹配，所述語義類別簇包括數(shù)個(gè)同一類別詞語片段；

若匹配成功，則將所述待處理的詞語片段識(shí)別為與之匹配的語義類別簇的標(biāo)識(shí)詞語片段，所述標(biāo)識(shí)詞語片段用于標(biāo)注所屬語義類別簇的中心語義；

若匹配失敗，則根據(jù)預(yù)先訓(xùn)練的文本分類模型，確定所述待處理的詞語片段所屬的語義類別簇，并將所述待處理的詞語片段識(shí)別為所屬的語義類別簇的標(biāo)識(shí)詞語片段；

所述根據(jù)預(yù)先訓(xùn)練的文本分類模型，確定所述待處理的詞語片段所屬的語義類別簇，包括：

將所述待處理的詞語片段輸入所述預(yù)先訓(xùn)練的文本分類模型，所述預(yù)先訓(xùn)練的文本分類模型輸出所述詞語片段屬于各個(gè)語義類別簇的概率；將概率值最高的語義類別簇作為所述待處理的詞語片段所屬的語義類別簇。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)預(yù)先訓(xùn)練的文本分類模型，確定所述待處理的詞語片段所屬的語義類別簇之后，所述方法還包括：

根據(jù)所述所屬的語義類別簇的基本校驗(yàn)集，對(duì)所述待處理的詞語片段進(jìn)行校驗(yàn)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述語義類別簇的標(biāo)識(shí)詞語片段為預(yù)先指定的該語義類別簇中的詞語片段，或者，為該語義類別簇中長(zhǎng)度最短的詞語片段。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述待處理的詞語片段與所有語義類別簇中的詞語片段進(jìn)行字符串匹配之前，還包括：

獲取大量各類別的詞語片段；

根據(jù)聚類算法對(duì)所述各類別的詞語片段進(jìn)行聚類，得到不同類別的語義簇。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)聚類算法對(duì)所述各類別的詞語片段進(jìn)行聚類包括：

根據(jù)同義詞替換和杰卡德相似度相結(jié)合的方法，確定任意兩個(gè)詞語片段之間的距離；

根據(jù)所述距離對(duì)所述詞語片段進(jìn)行聚類。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)同義詞替換和杰卡德相似度相結(jié)合的方法，確定任意兩個(gè)詞語片段之間的距離包括：

對(duì)所述兩個(gè)詞語片段進(jìn)行拆分并去重，得到第一集合和第二集合；

應(yīng)用所述語義識(shí)別方法所屬的應(yīng)用領(lǐng)域的同義詞數(shù)據(jù)庫對(duì)所述第一集合和所述第二集合分別進(jìn)行同義詞替換，得到第三集合和第四集合；

計(jì)算所述第三集合和所述第四集合的杰卡德相似度；

根據(jù)所述杰卡德相似度確定所述兩個(gè)詞語片段之間的距離。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，在根據(jù)預(yù)先訓(xùn)練的文本分類模型，確定所述待處理的詞語片段所屬的語義類別簇之前，所述方法還包括：

根據(jù)所有的語義類別簇對(duì)所述文本分類模型進(jìn)行訓(xùn)練；

所述根據(jù)所有的語義類別簇對(duì)所述文本分類模型進(jìn)行訓(xùn)練包括：

為每一個(gè)語義類別簇設(shè)置類別標(biāo)簽；

以語義類別簇中的詞語片段作為輸入，以該語義類別簇的類別標(biāo)簽作為期望輸出，對(duì)所述文本分類模型進(jìn)行訓(xùn)練。

8.一種語義識(shí)別裝置，其特征在于，包括：

獲取模塊，用于獲取待處理的詞語片段；

匹配模塊，用于將所述待處理的詞語片段與所有語義類別簇中的詞語片段進(jìn)行字符串匹配，所述語義類別簇包括數(shù)個(gè)同一類別詞語片段；

第一識(shí)別模塊，用于若匹配成功，則將所述待處理的詞語片段識(shí)別為與之匹配的語義類別簇的標(biāo)識(shí)詞語片段，所述標(biāo)識(shí)詞語片段用于標(biāo)注所屬語義類別簇的中心語義；

第二識(shí)別模塊，用于若匹配失敗，則根據(jù)預(yù)先訓(xùn)練的文本分類模型，確定所述待處理的詞語片段所屬的語義類別簇，并將所述待處理的詞語片段識(shí)別為所屬的語義類別簇的標(biāo)識(shí)詞語片段；

所述第二識(shí)別模塊，具體用于將所述待處理的詞語片段輸入所述預(yù)先訓(xùn)練的文本分類模型，所述預(yù)先訓(xùn)練的文本分類模型輸出所述詞語片段屬于各個(gè)語義類別簇的概率；將概率值最高的語義類別簇作為所述待處理的詞語片段所屬的語義類別簇。