[發明專利]一種數據集成方法、裝置和系統

有效

• 申請號: 201611224002.4
• 申請日: 2016-12-27
• 公開（公告）號: CN108241709B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 李小濤;游樹娟;牛亞文
• 申請（專利權）人: 中國移動通信有限公司研究院;中國移動通信集團公司
• 主分類號: G06F16/383
• 分類號: G06F16/383;G06F16/2458;G06F16/25
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;安利霞

1.一種數據集成方法，其特征在于，包括：

根據不同節點中原始數據的主題類型，確定與所述原始數據對應的元數據標簽；

根據所述元數據標簽，獲取所述原始數據中對應所述元數據標簽的數據信息；

根據預設元數據格式，將所述元數據標簽與對應的數據信息結合，生成對應不同節點的元數據；

根據獲取到的查詢關鍵詞，確定與所述查詢關鍵詞關聯的詞語，得到待查詢詞語；在不同節點存儲的所述元數據中，查詢包括所述待查詢詞語的目標元數據，包括：在各個節點的元數據索引中，查詢是否存在所述待查詢詞語；若當前節點存在所述待查詢詞語，基于中文全文檢索引擎和文本深度表示模型，查詢出目標元數據，其中，根據相關性得分公式，得到當前元數據與所述待查詢詞語的相關度Score(Q,d,E)，若所述相關度滿足一預設條件，則確定所述當前元數據為目標元數據，Q表示目標關鍵詞的集合，d表示被檢索的元數據，E表示通過文本深度表示模型對Q中查詢詞進行語義擴展后得到的各個擴展詞的集合；

獲取對應所述目標元數據的原始數據。

2.根據權利要求1所述的數據集成方法，其特征在于，根據預設元數據格式，將所述元數據標簽與對應的數據信息結合，生成對應不同節點的元數據的步驟包括：

根據預設元數據格式，將所述元數據標簽按照標簽等級進行布局；將獲取到的數據信息添加到對應的元數據標簽中，生成對應不同節點的元數據，并將所述元數據保存在對應的節點中。

3.根據權利要求1所述的數據集成方法，其特征在于，所述元數據標簽包括固定標簽；

所述固定標簽表示元數據的屬性，包括原始數據的發布用戶、發布時間、主題、描述信息、數據庫存儲位置，以及元數據編號。

4.根據權利要求3所述的數據集成方法，其特征在于，所述元數據標簽還包括特性標簽，所述特性標簽表示原始數據的主題特性。

5.根據權利要求1所述的數據集成方法，其特征在于，根據獲取到的查詢關鍵詞，確定與所述查詢關鍵詞關聯的詞語，得到待查詢詞語的步驟包括：

對查詢關鍵詞進行分詞，得到目標關鍵詞；

基于文本深度表示模型，確定出與所述目標關鍵詞關聯的詞語；

將所述目標關鍵詞和與所述目標關鍵詞關聯的詞語整合，得到待查詢詞語。

6.根據權利要求1所述的數據集成方法，其特征在于，在各個節點的元數據索引中，查詢是否存在所述待查詢詞語的步驟包括：

根據所述待查詢詞語，獲取當前節點過濾器的位數組內的記錄信息；其中所述過濾器包括存儲在自身的位數組和存儲在數據庫中的計數表，所述計數表是二維數據表，記錄自身所屬節點的所有元數據索引經哈希函數處理后，映射到所述位數組中對應位的累加數值；

根據所述記錄信息，確定當前節點是否存在所述待查詢詞語。

7.根據權利要求6所述的數據集成方法，其特征在于，所述位數組是包括m位的二進制向量，若所述計數表中對應位的累加數值大于0，則所述位數組的對應位記為1；若所述計數表中對應位的累加數值等于0，則所述位數組的對應位記為0；

根據所述記錄信息，確定當前節點是否存在所述待查詢詞語的步驟包括：

若所述記錄信息表示對應所述待查詢詞語的位中存在至少一個0，則確定當前節點不存在所述待查詢詞語；若所述過濾器中對應所述待查詢詞語的位中不存在0，則確定當前節點存在所述待查詢詞語。

8.根據權利要求1所述的數據集成方法，其特征在于，所述相關性得分公式為：其中Q表示目標關鍵詞的集合，q_i表示Q的一個分詞，d表示被檢索的元數據，E表示通過文本深度表示模型對Q中查詢詞進行語義擴展后得到的擴展詞的集合，m_i表示的語義擴展詞數量，表示q_i與之間的語義相似度，表示的權重，為在d中的出現頻率，k和b為調節因子，dl為d的長度，avgdl為所有元數據的平均長度；N為索引中的全部記錄個數，為包含了的記錄個數，n為目標關鍵詞的集合Q包含的詞語個數。