[發明專利]支持結構化與非結構化大數據融合的方法和裝置

在審

• 申請號: 201810164770.8
• 申請日: 2018-02-27
• 公開（公告）號: CN108376174A
• 公開（公告）日: 2018-08-07
• 發明（設計）人: 沈志宏
• 申請（專利權）人: 河北中科開元數據科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 劉陽

本公開涉及一種支持結構化與非結構化大數據融合的方法，基于屬性圖數據模型，創建支持BLOB屬性值的多元大數據融合模型；支持BLOB屬性值的多元大數據融合模型對接收到的數據生成N元組數據；判斷生成的N元組數據為BLOB類型，將BLOB類型的屬性值存儲到第一預設位置；第一預設位置通過控制句柄與對應BLOB類型的屬性值的數據內容之間的映射以實現結構化與非結構化大數據的融合操作。該方法提供一種支持結構化非結構化多元數據融合管理模型STRUNS及針對STRUNS的實現系統。可以用于多元異構數據，即包括文本型、布爾型、數值型、時間型、BLOB型的整合管理與統一查詢，為大數據融合管理提供了理論模型和實用系統。本公開還涉及一種支持結構化與非結構化大數據融合的裝置。

技術領域

本公開涉及大數據技術領域，特別是涉及一種支持結構化與非結構化大數據融合的方法和裝置。

背景技術

隨著海量規模、多元異構數據的產生，傳統的數據庫技術（通常指關系數據庫系統）無法很好實現對海量、非結構化或半結構化數據集的管理。NoSQL、Hadoop等大數據技術的提出，能夠高效地解決分布式環境下全網域( Web Scale) 的非結構化信息的管理和處理問題，深化了大數據的應用。

圖模型（graph）及圖數據庫技術是NoSQL技術的一個重要分支，它應用圖形理論來存儲實體之間的關系信息。圖數據庫特別適用于社交網絡、實時推薦、金融征信系統等領域。領英（LinkedIn）、沃爾瑪、CISCO、HP、eBay等全球知名企業都在使用圖數據庫來管理信息。中國企業也在逐步開始用圖數據庫來構建自己的應用，尤其在征信領域，工商總局、天眼查、啟信寶、企查查等APP都用了關系網絡數據庫。華為、聯想也在密切關注關系網絡數據庫，考慮將它納入PaaS平臺。另一方面，針對大規模圖的分析逐漸成為企業提高業務智能的一個有力的手段。如在很多企業中，社交圖譜分析已經運用于反欺詐、影響力分析、輿情監測、市場細分、參與優化等需要快速確定復雜行為模式的應用。

圖模型支持多種類型的屬性，根據屬性圖的定義，屬性支持文本型、布爾型、數值型、時間型等多種類型。然而，該模型缺少對二進制大對象（BLOB：binary large object）的支持。而在信息系統中，BLOB作為非結構化數據的存儲形式，往往占據了相當大的比例。據統計，世界上85%的數據都是非結構化數據，這些數據每年都按指數增長60%（http://www.cio.com.cn/eyan/2295.html）。因此發明一種支持BLOB類型的大數據融合模型和方法，實現對結構化非結構化數據的統一管理和查詢，顯得尤其重要。

發明內容

基于此，有必要針對傳統技術存在的問題，提供一種支持結構化與非結構化大數據融合的方法和裝置。具體的，本公開提供一種支持結構化非結構化多元數據融合管理模型STRUNS，以及針對STRUNS的實現系統。可以用于多元異構數據，即包括文本型、布爾型、數值型、時間型、BLOB型的整合管理與統一查詢，為大數據融合管理提供了理論模型和實用系統。

第一方面，本公開實施例提供了一種支持結構化與非結構化大數據融合的方法，所述方法包括：基于屬性圖數據模型，創建支持BLOB屬性值的多元大數據融合模型；支持所述BLOB屬性值的所述多元大數據融合模型對接收到的數據生成N元組數據；判斷生成的所述N元組數據為BLOB類型，將所述BLOB類型的屬性值存儲到第一預設位置；所述第一預設位置通過控制句柄與對應所述BLOB類型的所述屬性值的數據內容之間的映射以實現結構化與非結構化大數據的融合操作。

在其中一個實施例中，創建支持所述BLOB屬性值的所述多元大數據融合模型為STRUNS數據模型，其中，所述STRUNS數據模型包括至少一種類型數據。

在其中一個實施例中，支持所述BLOB屬性值的所述多元大數據融合模型對接收到的數據生成N元組數據之后，還包括：對所述N元組數據在第二預設位置進行存儲。