[發明專利]基于文化天貓的多源異構數據采集方法、裝置和電子設備

在審

• 申請號: 202210253883.1
• 申請日: 2022-03-15
• 公開（公告）號: CN114756532A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 徐佳君
• 申請（專利權）人: 上海創圖網絡科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/242;G06F16/2455;G06F16/2458;G06F16/25;G06F40/216
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及計算機技術領域，具體涉及一種基于文化天貓的多源異構數據采集方法、裝置和電子設備，包括：創建不同類型多源異構文化數據源接口，利用所述多源異構文化數據源接口對各多源異構文化數據源進行采集；根據預設多源異構文化數據源清洗規則對采集的所述多源異構文化數據源進行清洗，得到清洗后的多源異構文化數據源；修正清洗后的多源異構文化數據源；根據預設多源異構文化數據采集規則對修正的多源異構文化數據進行關鍵詞提取；基于預設關鍵詞權重算法確定與所述多源異構文化數據源的索引路徑相對的唯一關鍵詞。本發明根據采集語法構建數據的采集規則，能夠動態采集數據，同時利用預設關鍵詞權重算法確定唯一關鍵詞，保證數據采集的準確性唯一性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于文化天貓的多源異構數據采集方法、裝置和電子設備。

背景技術

在企業信息化建設過程中，由于各業務系統建設和實施數據管理系統的階段性、技術性以及其它經濟和人為因素等因素影響，導致企業在發展過程中積累了大量采用不同存儲方式的業務數據，包括采用的數據管理系統也大不相同，從簡單的文件數據庫到復雜的網絡數據庫，它們構成了企業的異構數據源。多源數據是構建信息系統不可缺少的部分,主要分成兩類,一類是結構化數據,通常以數據表的形式存放于數據庫之中，另一類是非結構化數據,比如工廠設備數據、工人工作情況數據。由于各種數據源所使用的采集儀不同，不同的采集儀通訊協議不同，傳輸速率也不同，特別是在通訊方面存在多語義性，并且各種數據源中所采集的數據格式也通常是不同的。因此針對于各種數據源，需要分別單獨采用相應的采集工具進行采集，對于數據采集、管理和分析帶來非常的大的不便。

“文化天貓”具有第三方云服務平臺的屬性，在“文化天貓”平臺上，內容生產者、文化內容供給者可發布相關文化產品與文化服務，消費者可通過平臺了解到感興趣的文化產品及服務，現有技術中通過綜合數據處理和分析的系統進行數據調取、采集時，因為對接的數據源比較多，數據源的區分辨別技術比較低，采集數據多需要人工輔助，導致數據采集費時費力，而且數據采集的智能化低，數據采集的準確性和全面性較低，因此，如何實現對內容生產者、文化內容供給者發布的相關文化產品與文化服務進行準確快速的數據采集是需要解決的問題。

發明內容

本發明提供了一種基于文化天貓的多源異構數據采集方法、裝置和電子設備，用以動態采集數據，使數據采集更加全面、準確，同時保證數據采集的準確性唯一性。

本說明書實施例提供一種基于文化天貓的多源異構數據采集方法，包括：

創建不同類型多源異構文化數據源接口，利用所述多源異構文化數據源接口對各多源異構文化數據源進行采集；

根據預設多源異構文化數據源清洗規則對采集的所述多源異構文化數據源進行清洗，得到清洗后的多源異構文化數據源；

利用雙向修正的融合方法修正清洗后的多源異構文化數據源，得到修正多源異構文化數據；

根據預設多源異構文化數據采集規則對所述修正多源異構文化數據進行關鍵詞提取；

基于預設關鍵詞權重算法確定與所述多源異構文化數據源的索引路徑相對的唯一關鍵詞。

優選的，在創建不同類型多源異構文化數據源接口之前，包括：

建立關鍵詞表；

獲取所述多源異構文化數據源的采集內容，并創建對應的采集語法；

根據所述采集語法，建立多源異構文化數據采集規則；

將所述多源異構文化數據采集規則關聯到所述關鍵詞表對應的關鍵詞。

優選的，所述建立關鍵詞表，包括：

獲取多源異構文化數據源，確定多源異構文化數據源關鍵詞；