[發明專利]一種知識挖掘方法、平臺、系統及存儲介質

有效

• 申請號: 202110681170.0
• 申請日: 2021-06-18
• 公開（公告）號: CN113434571B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 簡仁賢;許鵬;彭亮;張夢真;閆鳴宇
• 申請（專利權）人: 竹間智能科技（上海）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/26;G06F16/36;G06F18/22
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 鐘繼蓮

本發明實施例公開了一種知識挖掘方法、平臺、系統及存儲介質，方法包括：從不同的數據源獲取外部數據，將外部數據的結構統一轉換為預設的內部結構，構建第一數據集；將所述第一數據集內的數據結構轉換為挖掘節點的數據結構類型，構建第二數據集；根據所述挖掘節點的任務類型，同時執行N個相應的挖掘算法對所述第二數據集中的數據進行挖掘，生成知識結果集，N為大于等于1的正整數；對所述知識結果集中的知識結果進行去重處理。本方法有效的減少了運營的重復性工作，可以快速進行梳理日志文檔數據、標準問語料擴寫或構建知識圖譜等工作。能夠快速適配不同的數據源，更快速的完成項目冷啟動。

技術領域

本發明涉及計算機軟件技術領域，具體涉及一種知識挖掘方法、平臺、系統及存儲介質。

背景技術

在現有的智能問答機器人中，運營人員在準備準備機器人數據步驟繁瑣，需要將大量結構不同的數據轉化為機器人可用的數據結構，然后對轉換后的數據進行挖掘處理。現有的挖掘平臺在對大量數據源進行挖掘處理時效率低下，耗時長。面對新的項目的機器人，準備機器人數據速度慢，無法完成冷啟動。

發明內容

針對現有技術中的技術缺陷，本發明實施例的目的在于提供一種知識挖掘方法、平臺、系統及存儲介質，以解決背景技術中所提出的技術問題。

為實現上述目的，第一方面，本申請提供了一種知識挖掘方法，包括：

從不同的數據源獲取外部數據，將外部數據的結構統一轉換為預設的內部結構，構建第一數據集；

將所述第一數據集內的數據結構轉換為挖掘節點的數據結構類型，構建第二數據集；

根據所述挖掘節點的任務類型，同時執行N個相應的挖掘算法對所述第二數據集中的數據進行挖掘，生成知識結果集，N為大于等于1的正整數；

對所述知識結果集中的知識結果進行去重處理。

可選的，通過數據下載軟件從數據源獲取外部數據。

可選的，所述挖掘節點的任務類型包括標準問語料擴寫、構建知識圖譜和挖掘日志聚類中的一種。

可選的，對所述知識結果集中的知識結果進行去重處理，具體包括：

采用逐一比對的方法計算所述知識結果集中不同知識結果之間的相似度，去除所述知識結果集中相似度高于閾值的兩條知識結果之一。

可選的，相似度高于閾值的兩條知識結果包括重合的兩條知識結果。

可選的，所述方法還包括：

對去重處理后的所述知識結果集進行存儲。

可選的，對去重處理后的所述知識結果集進行存儲，具體包括：

將知識結果和與每個所述知識結果一一對應的數據源和挖掘算法進行分層存儲，每一層均存儲到緩存器中。

第二方面，本申請還提供了一種知識挖掘平臺，包括：

第一數據集構建模塊，用于從不同的數據源獲取外部數據，將外部數據的結構統一轉換為預設的內部結構，構建第一數據集；

第二數據集構建模塊，用于將所述第一數據集內的數據結構轉換為挖掘節點的數據結構類型，構建第二數據集；

知識結果集生成模塊，用于根據所述挖掘節點的任務類型，同時接入、執行N個相應的挖掘算法對所述第二數據集中的數據進行挖掘，生成知識結果集，N為大于等于1的正整數；

去重處理模塊，用于對所述知識結果集中的知識結果進行去重處理。