[發明專利]圖數據查詢任務處理方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202010147602.5
• 申請日: 2020-03-05
• 公開（公告）號: CN111400555B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 李肯立;翁同峰;周旭;廖清;彭鵬;林培英;羅文晟;李克勤
• 申請（專利權）人: 湖南大學
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903;G06F9/50
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 黃恕

本申請涉及一種圖數據查詢任務處理方法、裝置、計算機設備和存儲介質。所述方法包括：獲取圖數據集和圖數據查詢任務集，圖數據集為分布式存儲于多臺機器節點的圖數據結構的集合，識別圖數據集的圖數據類型，根據圖數據類型，計算圖數據查詢任務集中兩兩查詢任務間的相似度或差異度，基于兩兩查詢任務間的相似度或差異度，將圖數據查詢任務集劃分為多個圖數據查詢任務子集，將圖數據查詢任務子集輸入預設分布式圖查詢系統，得到對應的查詢結果。采用本方案解決了在分布式系統中處理批量任務時的負載均衡問題，同時優化了串行執行查詢任務低效問題和并行資源利用率低的問題，提高查詢任務執行效率，緩解查詢實時性需求問題。

技術領域

本申請涉及數據處理技術領域，特別是涉及一種圖數據查詢任務處理方法、裝置、計算機設備和存儲介質。

背景技術

隨著互聯網技術和電子信息化的迅速發展，各領域信息量成爆炸式增長，且人們對于數據傳輸數據處理的需求也日益提高。圖(graph)作為一種數據存儲結構，可有效表達各類信息，人們對于很多圖相關任務的實時性要求也越來越高，如實時輿論檢測、產品推薦等，基于硬盤的計算模式I/O(Input/Output)速度慢也影響用戶體驗。因此，需要利用內存高速I/O特性進行優化，但單臺機器內存無法滿足如此大規模的、結構復雜的圖數據存儲需求，于是基于分布式的圖計算方式應運而生。

然而，目前的分布式圖計算系統，通常是針對大規模圖計算任務處理，對于輕量級的圖數據查詢任務(如批個性化圖查詢任務)通常也是以pipeline的方式按序將任務輸入系統中執行，任務之間的差異性仍然會影響任務的執行，使得圖數據查詢任務的執行效率較低。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高圖數據查詢任務執行效率的圖數據查詢任務處理方法、裝置、計算機設備和存儲介質。

一種圖數據查詢任務處理方法，所述方法包括：

獲取圖數據集和圖數據查詢任務集，圖數據集為分布式存儲于多臺機器節點的圖數據結構的集合；

識別圖數據集的圖數據類型；

根據圖數據類型，計算圖數據查詢任務集中兩兩查詢任務間的相似度或差異度；

基于兩兩查詢任務間的相似度或差異度，將圖數據查詢任務集劃分為多個圖數據查詢任務子集；

將圖數據查詢任務子集輸入預設分布式圖查詢系統，得到對應的查詢結果。

在其中一個實施例中，圖數據類型包括稠密圖和稀疏圖；

根據圖數據類型，計算圖數據查詢任務集中兩兩查詢任務間的相似度或差異度包括：

當圖數據類型為稠密圖時，則計算圖數據查詢任務集中兩兩查詢任務間的相似度；

當圖數據類型為稀疏圖時，則計算圖數據查詢任務集中兩兩查詢任務間的差異度。

在其中一個實施例中，計算圖數據查詢任務集中兩兩查詢任務間的相似度包括：

獲取圖數據查詢任務集中兩兩查詢任務對應的查詢點以及各查詢點的鄰節點；

基于查詢點以及各查詢點的鄰節點，計算兩兩查詢任務間的相似度。

在其中一個實施例中，計算圖數據查詢任務集中兩兩查詢任務間的差異度包括：

獲取圖數據查詢任務集中兩兩查詢任務對應的查詢點；

從預設頂點嵌入向量集中選取出與查詢點對應的查詢點嵌入向量；

基于選取出的查詢點嵌入向量，計算兩兩查詢任務間的差異度。

在其中一個實施例中，從預設頂點嵌入向量集中選取出與查詢點對應的查詢點嵌入向量之前，還包括：