[發明專利]一種語料過濾方法及裝置

有效

• 申請號: 201410462611.8
• 申請日: 2014-09-11
• 公開（公告）號: CN104978375B
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 蔡兵
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙)44285
• 代理人: 王仲凱

技術領域

本發明涉及語料互聯網技術領域，特別涉及一種語料過濾方法及裝置。

背景技術

隨著互聯網信息的爆炸式增長，所有用戶均面臨著信息過剩的問題，為了幫助用戶更好地吸取信息、排除干擾，針對關鍵詞訂閱的資訊應用(APP，Application)應運而生。

由于中文里很多詞往往有多層含義，針對關鍵詞訂閱資訊會由此帶來了一些問題，比如“文章”這個詞既可以指“一種內容載體”，也可以指“內地娛樂男明星文章”，“聯想”這個詞既可以指“一個動詞，表示想像”，也可以指“國內PC巨頭聯想公司”，這種一詞多義的問題非常普遍，對于關鍵詞訂閱的APP，將每個詞主流含義對應的文章篩選出來顯得非常重要。比如訂閱“文章”這個關鍵詞的用戶，基本上都是想看跟“男明星文章”有關的一些娛樂新聞。

現有技術主要采用人工運營的方法，對于存在有多義的關鍵詞，利用人工手段或者機器篩選加人工審核的方式，來將非主流含義的資訊進行過濾，以達到凸顯關鍵詞主流含義的目的。

但是上述現有技術存在如下缺點：對于新產生的資訊，需要經過人工審核后才能到達用戶，因此會帶來延時從而導致資訊信息處理不及時，且由于所有多義關鍵詞都需要人工審核，人工成本大。

發明內容

本發明實施例提供了一種語料過濾方法及裝置，整個過程無需人工審核，語料過濾快速準確，縮短了語料到達用戶時間。

本發明實施例第一方面提供了一種語料過濾方法，包括：

對于待處理的每個語料，分別提取若干關鍵詞并保存；

對所保存的每個關鍵詞生成對應的關鍵詞向量；

根據所述每個關鍵詞對應的關鍵詞向量，分別計算待處理的每個語料與其所提取出的每個關鍵詞之間的關鍵詞相關性值；

獲取目標關鍵詞，確定對應的目標語料庫，所述目標語料庫為提取出所述目標關鍵詞的所有待處理的語料集合；

根據所述目標語料庫中各語料的目標關鍵詞的關鍵詞相關性值，對所述目標語料庫中，不滿足設定的目標關鍵詞的關鍵詞相關性值的取值要求的語料進行過濾。

本發明實施例第二方面提供了一種語料過濾裝置，包括：

提取單元，用于對于待處理的每個語料，分別提取若干關鍵詞并保存；

生成單元，用于對所保存的每個關鍵詞生成對應的關鍵詞向量；

計算單元，用于根據所述每個關鍵詞對應的關鍵詞向量，分別計算待處理的每個語料與其所提取出的每個關鍵詞之間的關鍵詞相關性值；

確定單元，用于獲取目標關鍵詞，確定對應的目標語料庫，所述目標語料庫為提取出所述目標關鍵詞的所有待處理的語料集合；

過濾單元，用于根據所述目標語料庫中各語料的目標關鍵詞的關鍵詞相關性值，對所述目標語料庫中，不滿足設定的目標關鍵詞的關鍵詞相關性值的取值要求的語料進行過濾。

從以上技術方案可以看出，本發明實施例具有以下優點：

通過對待處理的每個語料提取關鍵詞，對提取的每個關鍵詞生成關鍵詞向量，通過計算待處理的每個語料與該語料中提取的關鍵詞對應的關鍵詞向量之間的相關性值，可以過濾掉不滿足設定的目標關鍵詞的關鍵詞相關性值的取值要求的語料，整個過程無需人工審核，語料過濾快速準確，縮短了語料到達用戶時間。

附圖說明

圖1是本發明實施例中語料過濾方法的一個實施例示意圖；

圖2是本發明實施例中語料過濾方法的另一個實施例示意圖；

圖3是本發明實施例中語料過濾方法的另一個實施例示意圖；

圖4是本發明實施例中語料過濾方法的另一個實施例示意圖；

圖5是本發明實施例中語料過濾方法的另一個實施例示意圖；

圖6是本發明實施例中語料過濾裝置的一個實施例示意圖；

圖7是本發明實施例中語料過濾裝置的另一個實施例示意圖；

圖8是本發明實施例中語料過濾裝置的另一個實施例示意圖；

圖9是本發明實施例中語料過濾裝置的另一個實施例示意圖；

圖10是本發明實施例中語料過濾裝置的另一個實施例示意圖。

具體實施方式

本發明實施例提供了一種語料過濾方法及裝置，整個過程無需人工審核，語料過濾快速準確，縮短了語料到達用戶時間。