[發明專利]基于語義標注的異構數據關聯方法及系統

在審

• 申請號: 201410854051.0
• 申請日: 2014-12-31
• 公開（公告）號: CN104679823A
• 公開（公告）日: 2015-06-03
• 發明（設計）人: 曾龍海;張少杰
• 申請（專利權）人: 智慧城市信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 深圳市華優知識產權代理事務所(普通合伙) 44319
• 代理人: 周丹

技術領域

本發明涉及計算機領域，并且特別涉及一種基于語義標注的異構數據關聯方法及系統。

背景技術

隨著互聯網技術的高速發展，數據量每天以指數的速度遞增，數據的來源也更加豐富和復雜，數據格式(例如，文本數據、音頻數據、視頻數據等)也越來越多，如何實現異構的數據融合和存儲的問題日益突出。

傳統的數據融合技術只是將異構數據進行統一存儲，并不具有語義。因此，需要一種基于語義標注的異構數據關聯方法及系統來實現異構數據的高度語義融合，對異構數據資源的高效檢索起到關鍵性的作用。

發明內容

本發明的目的在于提供一種基于語義標注的異構數據關聯方法及系統。

本發明實施例提供一種基于語義標注的異構數據關聯方法，其特征在于，包括：獲取異構數據源語義標簽以及異構數據源所包含的數據信息語義標簽；對所獲取的任一所述數據信息語義標簽進行語義文本拆分，建立與數據信息對應的語義字典庫；對所建立的至少兩個語義字典庫進行相似值計算；以及當所述相似值大于或等于設定閾值時，將所述至少兩個語義字典庫分別對應的所述數據信息及所述相似值進行關聯記錄。

優選地，在所述獲取異構數據源語義標簽以及異構數據源所包含的數據信息語義標簽的步驟之后，還包括：根據所述異構數據源語義標簽以及所述異構數據源所包含的數據信息語義標簽的獲取情況，對所述數據信息的內容進行分布式存儲。

優選地，對所建立的至少兩個語義字典庫進行相似值計算，包括：統計所述至少兩個語義字典庫中所包含的語義文本的出現頻率，構建頻率向量；對所述至少兩個語義字典庫中的所述語義文本進行比較，當存在有不同的語義文本時，分別在所述至少兩個語義字典庫構建的所述頻率向量中進行補充，生成同維頻率向量；以及根據生成的所述同維頻率向量計算所述至少兩個語義字典庫之間的所述相似值。

優選地，在統計各語義字典庫中所包含語義文本的出現頻率，構建頻率向量之前，還包括：對所述至少兩個語義字典庫中所包含的所述語義文本進行轉碼。

優選地，所述語義字典庫之間的所述相似值通過下述公式進行計算：

其中，x_i和y_i分別對應為不同語義字典庫所構建的所述同維頻率向量中的頻率值。

本發明實施例提供一種基于語義標注的異構數據關聯系統，其特征在于，包括：獲取模塊，用于獲取異構數據源語義標簽以及異構數據源所包含的數據信息語義標簽；建立模塊，耦合于所述獲取模塊，用于對所獲取的任一所述數據信息語義標簽進行語義文本拆分，建立與數據信息對應的語義字典庫；以及計算模塊，耦合于所述建立模塊，用于對所建立的至少兩個語義字典庫進行相似值計算，當所述相似值大于或等于設定閾值時，將所述至少兩個語義字典庫分別對應的所述數據信息及所述相似值進行關聯記錄。

優選地，還包括：存儲模塊，耦合于所述獲取模塊，用于根據所述異構數據源語義標簽以及所述異構數據源所包含的數據信息語義標簽的獲取情況，對所述數據信息的內容進行分布式存儲。

優選地，所述計算模塊包括：統計單元，用于統計所述至少兩個語義字典庫中所包含的語義文本的出現頻率，構建頻率向量；比較單元，用于對所述至少兩個語義字典庫中的所述語義文本進行比較，當存在有不同的語義文本時，分別在所述至少兩個語義字典庫構建的所述頻率向量中進行補充，生成同維頻率向量；以及計算單元，用于根據生成的所述同維頻率向量計算所述至少兩個語義字典庫之間的所述相似值。

優選地，所述計算模塊還包括：轉碼單元，用于對所述至少兩個語義字典庫中所包含的所述語義文本進行轉碼。

優選地，所述計算單元通過通過下述公式對所述語義字典庫之間的所述相似值進行計算：

其中，x_i和y_i分別對應為不同語義字典庫所構建的所述同維頻率向量中的頻率值。

本發明的基于語義標注的異構數據關聯系統以及方法將原來互相獨立的異構數據資源進行關聯，實現了不同數據源的信息融合，利用語義讓數據更加智能化；采用數據切塊的方法實現異構大數據的分布式存儲，讓數據能夠進行擴展，存儲空間可以動態添加，避免了大數據受存儲容量的限制。

附圖說明