[發明專利]知識庫的構建方法及裝置、存儲介質、計算設備

有效

• 申請號: 201710706041.6
• 申請日: 2017-08-17
• 公開（公告）號: CN107526795B
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 湯奇峰;齊煒
• 申請（專利權）人: 晶贊廣告（上海）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/289
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍;吳敏

一種知識庫的構建方法及裝置、存儲介質、計算設備，所述方法包括：確定行業標準詞庫，以及與所述行業標準詞庫對應的有用詞規則和停用詞規則；基于所述有用詞規則從原始短語中提取有用詞語；對所述原始短語進行分詞，以得到多個詞語；如果所述多個詞語中包含與所述行業標準詞庫中的標準詞匹配的詞語，那么將所述匹配的詞語按照在所述原始短語中的位置關系組合，以得到組合詞語；將所述組合詞語與所述有用詞語組合以得到第一新短語，并將所述第一新短語加入知識庫。采用本發明技術方案能夠將雜亂無序的文本數據處理為規范有序，具有結構化數據格式的行業知識庫，方便后續數據處理，有利于提高行業信息和行業知識的準確率。

技術領域

本發明涉及信息處理領域，特別涉及一種知識庫的構建方法及裝置、存儲介質、計算設備。

背景技術

現代大數據處理的信息大部分來自于互聯網。互聯網數據包括互聯網上的公開數據或者爬蟲爬取的數據等海量數據。互聯網數據來源多樣，格式多樣；信息特征不明顯、不規整、不易讀，有很多干擾信息；數據存在沖突，甚至存在錯誤。這些沖突的或者錯誤的“臟數據”如果出現在統計結果中，不僅可能引起歧義，甚至也會得出錯誤的結論。因此，在基于互聯網數據的大數據處理中，現有技術一般采用數據清洗技術處理臟數據。所謂數據清洗，是指發現并糾正數據文件中的錯誤，對數據進行審查和校驗的過程。數據清洗的目的在于刪除重復和冗余信息，糾正錯誤，獲取一致性數據，方便后續的數據處理和分析。

但是，如何將雜亂無序的短語數據(也即原始短語)處理為規范有序，結構一致的行業知識庫的問題，目前尚未提出有效的解決方案。

發明內容

本發明解決的技術問題是如何將雜亂無序的原始短語處理為規范有序，結構一致的行業知識庫。

為解決上述技術問題，本發明實施例提供一種知識庫的構建方法，包括：確定行業標準詞庫，以及與所述行業標準詞庫對應的有用詞規則和停用詞規則；基于所述有用詞規則從原始短語中提取有用詞語；對所述原始短語進行分詞，以得到多個詞語；如果所述多個詞語中包含與所述行業標準詞庫中的標準詞匹配的詞語，那么將所述匹配的詞語按照在所述原始短語中的位置關系組合，以得到組合詞語；將所述組合詞語與所述有用詞語組合以得到第一新短語，并將所述第一新短語加入知識庫。

可選的，所述的知識庫的構建方法還包括：如果所述多個詞語中不包含與所述行業標準詞庫中的標準詞匹配的詞語，那么基于所述停用詞規則從所述原始短語中刪除停用詞語，以得到刪除后詞語；將所述刪除后詞語與所述有用詞語組合以得到第二新短語，并將所述第二新短語加入所述知識庫。

可選的，所述將所述刪除后詞語與所述有用詞語組合以得到第二新短語包括：如果所述刪除后詞語與所述有用詞語重復，那么刪除重復的內容后進行組合，以得到所述第二新短語。

可選的，所述行業標準詞庫中的標準詞包括：從公開數據和/或網絡爬蟲爬取的數據中獲取的標準詞。

可選的，所述有用詞規則和所述停用詞規則由正則表達式定義。

可選的，所述將所述組合詞語與所述有用詞語組合以得到第一新短語包括：如果所述組合詞語中包含的匹配的詞語與所述有用詞語重復，那么刪除重復的內容后進行組合，以得到所述第一新短語。

為解決上述技術問題，本發明實施例還提供一種知識庫的構建裝置，包括：確定模塊，適于確定行業標準詞庫，以及與所述行業標準詞庫對應的有用詞規則和停用詞規則；提取模塊，適于基于所述有用詞規則從原始短語中提取有用詞語；分詞模塊，適于對所述原始短語進行分詞，以得到多個詞語；第一詞語組合模塊，如果所述多個詞語中包含與所述行業標準詞庫中的標準詞匹配的詞語，那么所述第一詞語組合模塊適于將所述匹配的詞語按照在所述原始短語中的位置關系組合，以得到組合詞語；第一封裝模塊，適于將所述組合詞語與所述有用詞語組合，以得到第一新短語，并將所述第一新短語加入知識庫。