[發明專利]一種基于圖數據結構的快速檢索方法

在審

• 申請號: 201611001983.6
• 申請日: 2016-11-14
• 公開（公告）號: CN108073620A
• 公開（公告）日: 2018-05-25
• 發明（設計）人: 張伯軒
• 申請（專利權）人: 北京航天長峰科技工業集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于圖數據結構的快速檢索方法，包括：(1)數據源采集：通過人為導入將圖基本結構在內存中構成；通過分布式消息中間件實時監聽多個數據采集系統，當數據采集系統接收到數據源更新變動請求時，就將信息反饋給分布式系統實時更新；(2)查詢檢索請求：分布式消息中間件實時監聽查詢系統產生的圖數據的查詢請求，當接收到請求時，就將請求多線程發往多個分布式節點并行執行并且快速返回給查詢系統；(3)圖數據檢索：根據消息中間件的請求，各個分布式節點進行并行計算檢索；(4)發送檢索結果：整合分布式節點基于內存并行查詢檢索的結果，將查詢結果多線程發送給消息請求者。

技術領域

本發明涉及大數據檢索技術領域，具體涉及一種基于圖數據結構的快速檢索方法。

背景技術

信息化時代，將數據持久化到關系型數據庫中是一種很傳統的數據持久化方式，然而隨著大數據時代的到來，這種數據存儲方式對于大數據的查詢檢索工作帶來了很大的困難，主要體現在操作繁瑣、速度緩慢、實時性更新檢索緩慢等。為解決這一問題，本申請人提供一種技術方案，通過連通圖結構來實現多源數據的存儲和關聯，借助分布式并行計算技術，實現圖數據的分布式存儲和并行式檢索查詢，并且更新數據源只需要重新更改某個節點中圖數據的結構和連接屬性即可，快速高效，圖結構數據存儲實現了數據關系存儲和檢索的靈活多變性，極大地擴寬了數據源來源，具有很好的兼容性，而且并行式計算框架保證了查詢數據的快速高效，可以輕而易舉地實現實時檢索查詢。

發明內容

本發明的目的在于借助圖數據結構，結合分布式并行計算框架，設計一種將多種數據源及數據關系分布式存儲并且提供實時查詢的接口，數據檢索通過并行式計算框架，可以實現圖數據的快速檢索查詢。

本發明的技術方案如下：

一種基于圖數據結構的快速檢索方法，其特征在于包括：

(1)數據源采集：數據源采集包括基礎數據錄入和實時數據更新；基礎數據錄入通過人為導入將圖基本結構在內存中構成，設置緩存，保證基礎圖數據結構常駐內存，實現實時的讀取檢索；實時數據更新，通過分布式消息中間件實時監聽多個數據采集系統，當數據采集系統接收到數據源更新變動請求時，監聽者就會將信息反饋給分布式系統，實現內存圖數據的實時更新；

(2)查詢檢索請求：分布式消息中間件實時監聽查詢系統產生的圖數據的查詢請求，當接收到請求時，就將請求多線程發往多個分布式節點，根據心跳機制判斷節點的反饋，從而實現請求的分指令分布式并行執行并且快速返回給查詢系統；

(3)圖數據檢索：根據消息中間件的請求，各個分布式節點進行并行計算檢索，并通過MapReduce過程，實現分布式查詢結果的合并整合，保證查詢檢索過程的快速完整；

(4)發送檢索結果：整合分布式節點基于內存并行查詢檢索的結果，通過中間件心跳機制收到的信息，將查詢結果多線程發送給消息請求者，實現圖結構數據快速檢索查詢。

本發明使海量數據存儲更新查詢更加方便快捷，簡化了數據管理工作，加快了工作進度；基于連通圖構建數據信息關系網，更加靈活方便，具有很高的可擴展性；分布式實現的消息中間件和分布式計算框架，多個Slaver之間和Master通過心跳機制來實現通信和相應，如果某個節點出現宕機，JobTracker會自動根據配置來分配節點任務，保證數據的存儲檢索和查詢能夠正常的快速高效的進行；分布式的存在，實現了廉價機器的性能組合發揮，能夠節省更多的成本，實現更高效的系統服務。

附圖說明

圖1是數據源采集系統框圖；

圖2是內存圖數據存儲方式示意圖；

圖3是圖數據實時檢索查詢方式示意圖。

具體實施方式