[發(fā)明專利]一種業(yè)務(wù)數(shù)據(jù)的處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201611236586.7
• 申請日: 2016-12-28
• 公開（公告）號: CN106777265B
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計）人: 羅海月;李建林;彭霖;王紅攀;劉朕;徐寧;王球
• 申請（專利權(quán)）人: 新奧科技發(fā)展有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

本發(fā)明提供了一種業(yè)務(wù)數(shù)據(jù)的處理方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，解決了現(xiàn)有技術(shù)中Data Services無法識別沒有增量標識的業(yè)務(wù)數(shù)據(jù)，進而無法實時更新業(yè)務(wù)數(shù)據(jù)。該方法通過SAP系統(tǒng)實時獲取業(yè)務(wù)數(shù)據(jù)；通過SAP系統(tǒng)的SLT組件對業(yè)務(wù)數(shù)據(jù)進行增量操作，生成增量數(shù)據(jù)表；通過Data Services組件調(diào)取SLT組件中的數(shù)據(jù)列表，并進行批量加載；其中，數(shù)據(jù)列表包括增量數(shù)據(jù)表。本發(fā)明實施例用于業(yè)務(wù)數(shù)據(jù)的處理。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種業(yè)務(wù)數(shù)據(jù)的處理方法及裝置。

背景技術(shù)

隨著數(shù)據(jù)量的不斷增大、數(shù)據(jù)類型的不斷增多，我們需要根據(jù)多樣的業(yè)務(wù)需求、不同的應(yīng)用場景，靈活的處理大量的數(shù)據(jù)。

現(xiàn)有技術(shù)中，使用較為廣泛的數(shù)據(jù)處理方案如：數(shù)據(jù)服務(wù)(英文全稱：DataServices)，對于增量數(shù)據(jù)Data Services是將增量數(shù)據(jù)連接可編程的web的應(yīng)用程序(英文全稱：Web Service)層進行消息隊列處理，然后再根據(jù)需求提取數(shù)據(jù)；對于全量數(shù)據(jù)通過Data Services進行批量加載將業(yè)務(wù)數(shù)據(jù)存儲至部分數(shù)據(jù)庫中、分布式文件系統(tǒng)(英文全稱：Hadoop Distributed File System，簡稱：HDFS)中或者連接Web Service接口；但是隨著數(shù)據(jù)量不斷增多，業(yè)務(wù)的多樣化，許多業(yè)務(wù)數(shù)據(jù)的源數(shù)據(jù)并無增量標識，因此DataServices不能將無增量標識的數(shù)據(jù)存儲到消息隊列，而是以全量數(shù)據(jù)的形式存儲業(yè)務(wù)源數(shù)據(jù)；示例性的，當通過Data Services把業(yè)務(wù)數(shù)據(jù)存儲至HDFS中時，Data Services可以對業(yè)務(wù)數(shù)據(jù)進行批量加載，由于Data Services不能識別無增量標識的業(yè)務(wù)數(shù)據(jù)，因此不能實時更新業(yè)務(wù)數(shù)據(jù)；并且由于Data Services受自身組件配置的局限性只支持數(shù)據(jù)庫(英文全稱：Database，簡稱：DB)、以及在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架(英文全稱：Hive)的部分功能，對日后的數(shù)據(jù)處理工作造成局限性。

由上述可知，現(xiàn)有技術(shù)中Data Services無法識別沒有增量標識的業(yè)務(wù)數(shù)據(jù)，進而無法實時更新業(yè)務(wù)數(shù)據(jù)。

發(fā)明內(nèi)容

本發(fā)明的實施例提供一種業(yè)務(wù)數(shù)據(jù)的處理方法及裝置，解決了現(xiàn)有技術(shù)中DataServices無法識別沒有增量標識的業(yè)務(wù)數(shù)據(jù)，進而無法實時更新業(yè)務(wù)數(shù)據(jù)。

為達到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：

第一方面、本發(fā)明實施例提供一種業(yè)務(wù)數(shù)據(jù)的處理方法，包括：

通過SAP系統(tǒng)實時獲取業(yè)務(wù)數(shù)據(jù)；

通過SAP系統(tǒng)的SLT組件對業(yè)務(wù)數(shù)據(jù)進行增量操作，生成增量數(shù)據(jù)表；

通過Data Services組件調(diào)取SLT組件中的數(shù)據(jù)列表，并進行批量加載；其中，數(shù)據(jù)列表包括增量數(shù)據(jù)表。

具體的，通過SAP系統(tǒng)實時獲取業(yè)務(wù)數(shù)據(jù)后，還包括：

通過SAP系統(tǒng)的SLT組件將業(yè)務(wù)數(shù)據(jù)生成全量數(shù)據(jù)表；

數(shù)據(jù)列表還包括全量數(shù)據(jù)表。

具體的，通過SAP系統(tǒng)的SLT組件對業(yè)務(wù)數(shù)據(jù)進行增量操作，生成增量數(shù)據(jù)表，包括：

通過SAP系統(tǒng)的SLT組件對業(yè)務(wù)數(shù)據(jù)中無增量標識的業(yè)務(wù)數(shù)據(jù)進行增量操作，并與業(yè)務(wù)數(shù)據(jù)中有增量標識的業(yè)務(wù)數(shù)據(jù)共同生成增量數(shù)據(jù)表。

具體的，通過Data Services組件調(diào)取SLT組件中的數(shù)據(jù)列表，并進行批量加載包括：

通過Data Services組件調(diào)取SLT組件中的數(shù)據(jù)列表；

判斷Data Services組件提取的數(shù)據(jù)列表中的數(shù)據(jù)是否為空；