[發明專利]提供數據的裝置、方法和數據處理系統

在審

• 申請號: 201710229440.8
• 申請日: 2017-04-10
• 公開（公告）號: CN107807945A
• 公開（公告）日: 2018-03-16
• 發明（設計）人: 莊立;蔣一飛;李棟;朱帆;孔旗;楊光;王京傲
• 申請（專利權）人: 百度（美國）有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,楊莘

技術領域

本公開一般涉及數據集成的領域。更具體地，本公開涉及使用服務依賴圖來集成數據。

背景技術

一般地，數據集成涉及組合源于不同來源的數據以提供有意義的信息。例如，用戶可查詢關于城市的各種信息(諸如，天氣、酒店、人口統計資料等)。傳統上，有必要以例如單個模式在單個數據庫中存儲這種信息。然而，使用數據集成技術，數據集成系統可與多個后端進程進行交互以從各種來源(例如，數據庫)檢索數據。

相應地，當從各種來源接收數據時，數據集成系統可使用各種集成技術來聚集數據。在典型的數據集成系統中，使用固定的調用時間表執行這種后端進程的處理。然而，基于固定的調用時間表，開發者通常難以共享共用處理邏輯以檢索數據。相應地，使用新類型的對數據的請求，開發者可能必須要重新實現后端處理邏輯，這通常是低效的且易于出錯的。

發明內容

本申請的目的在于提供一種提供數據的裝置、方法和數據處理系統。

根據一個方面，提供了一種提供數據的裝置，可包括：響應于對數據的請求，確定檢索所述數據需要調用一個或多個服務以檢索與所述數據相關聯的次級數據的裝置；通過分析所述服務之間的依賴性來確定檢索所述次級數據所需服務的裝置，其中所述依賴性存儲為有向無環圖(DAG)表示，所述DAG包括作為所述DAG的節點的所述服務以及作為有向邊的兩個服務之間的依賴關系；基于在所述DAG內的所述服務的拓撲排序確定調用所述服務的序列的裝置；以及按所確定的序列檢索所述次級數據的裝置以及編譯所述次級數據以提供所請求的數據的裝置。

根據另一個方面，提供了一種提供數據的計算機實現方法，可包括：響應于對數據的請求，確定檢索所述數據需要調用一個或多個服務以檢索與所述數據相關聯的次級數據；通過分析所述服務之間的依賴性來確定檢索所述次級數據所需的服務，其中所述依賴性存儲為有向無環圖(DAG)表示，所述DAG包括作為所述DAG的節點的所述服務以及作為有向邊的兩個服務之間的依賴關系；基于在所述DAG內的所述服務的拓撲排序確定調用所述服務的序列；以及按所確定的序列檢索所述次級數據并編譯所述次級數據以提供所請求的數據。

根據又一個方面，提供了一種數據處理系統，該系統可包括根據本申請實施方式的提供數據的裝置。

附圖說明

本公開的實施方案在附圖的各圖中以舉例而非限制的方式示出，附圖中的相同參考數字指代相似的元件。

圖1是示出根據本公開一個實施方案的示例系統配置的框圖。

圖2是示出根據本公開一個實施方案的另一個示例系統配置的框圖。

圖3是示出根據本公開一個實施方案的數據集成系統的示例過程流的框圖。

圖4A是示出根據本公開一個實施方案的示例依賴圖的圖。

圖4B是示出根據本公開一個實施方案的在圖4A中所示的依賴圖的示例拓撲排序的圖。

圖5是示出根據本公開一個實施方案的在計算系統之間處理的示例流程圖。

圖6是示出根據本公開一個實施方案的使用用于調用服務的依賴圖的方法的示例流程圖。

圖7是示出根據本公開一個實施方案的示例計算系統的框圖。

具體實施方式

以下將參考所討論的細節來描述各種實施方案和方面，附圖將示出所述各種實施方案。以下描述和附圖是說明性的而不應當解釋為限制性的。描述了許多特定細節以提供對各種實施方案的全面理解。然而，在某些情況中，并未描述眾所周知或常規的細節以提供對實施方案的簡潔討論。本說明書中對“一個實施方案”或“一實施方案”的提及意味著結合該實施方案所描述的特定特征、結構或特性可包括在至少一個實施方案中。短語“在一個實施方案中”在本說明書中各個地方的出現不必全部是指同一實施方案。

如上所述，開發數據集成系統的挑戰是提供用于處理請求的有效機制的能力。本文所述的技術和系統克服了固定調度系統的限制。在一些實施方案中，數據集成系統可指代服務依賴圖(SDG)。另外，在一些實施方案中，可對SDG進行預編譯以允許開發者訪問和重新使用處理邏輯。例如，在一個實施方案中，可將SDG建模為有向無環圖(DAG)。由于DAG的性質，可導出有效的拓撲排序。基于導出的排序，調度器可確定用于訪問一個或多個服務的有效序列。可在系統內實現這種數據集成技術。