[發明專利]一種業務數據的處理方法及裝置

有效

• 申請號: 201611236586.7
• 申請日: 2016-12-28
• 公開（公告）號: CN106777265B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 羅海月;李建林;彭霖;王紅攀;劉朕;徐寧;王球
• 申請（專利權）人: 新奧科技發展有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

1.一種業務數據的處理方法，其特征在于，包括：

通過SAP系統實時獲取業務數據；

通過SAP系統的SLT組件將所述業務數據生成全量數據表；

通過所述SAP系統的SLT組件對所述業務數據進行增量操作，生成增量數據表；

通過Data Services組件調取所述SLT組件中的數據列表，并進行批量加載，包括：對調取的所述數據列表中的數據按照數據類型進行分類，通過Web Service接口將分類后的所述數據列表中的數據接入到相應的存儲引擎；其中，分類后的數據類型與所述存儲引擎的類別對應，所述數據列表包括所述全量數據表和所述增量數據表。

2.根據權利要求1所述的業務數據的處理方法，其特征在于，所述通過所述SAP系統的SLT組件對所述業務數據進行增量操作，生成增量數據表，包括：

通過SAP系統的SLT組件對所述業務數據中無增量標識的業務數據進行增量操作，并與所述業務數據中有增量標識的業務數據共同生成增量數據表。

3.根據權利要求1所述的業務數據的處理方法，其特征在于，所述通過Data Services組件調取所述SLT組件中的數據列表，并進行批量加載包括：

通過Data Services組件調取所述SLT組件中的數據列表；

判斷所述Data Services組件提取的所述數據列表中的數據是否為空；

當所述Data Services組件提取的所述數據列表中的數據為空時，繼續調取所述SLT組件中所述數據列表中的數據；

當所述Data Services組件提取的所述數據列表中的數據不為空時，批量加載所述數據列表。

4.根據權利要求1所述的業務數據的處理方法，其特征在于，所述存儲引擎包括：Hive、Kudu、HBase、Kafka以及Impala。

5.一種業務數據的處理裝置，其特征在于，包括：

采集單元，用于通過SAP系統實時獲取業務數據；

數據單元，用于通過SAP系統的SLT組件將所述采集單元采集的業務數據生成全量數據表；

所述數據單元，還用于通過所述SAP系統的SLT組件對所述采集單元采集的業務數據進行增量操作，生成增量數據表；

加載單元，用于通過Data Services組件調取所述SLT組件中的數據列表，并進行批量加載；其中，所述數據列表包括所述數據單元生成的所述全量數據表和所述增量數據表；

所述加載單元，還用于通過Data Services組件調取所述SLT組件中的數據列表；

分類單元，用于對所述加載單元調取的所述數據列表中的數據按照數據類型進行分類；

存儲單元，用于通過Web Service接口將所述分類單元分類后的所述數據列表中的數據接入到相應的存儲引擎；其中，分類后的數據類型與所述存儲引擎的類別對應。

6.根據權利要求5所述的業務數據的處理裝置，其特征在于，所述數據單元，還用于通過SAP系統的SLT組件對所述采集單元采集的業務數據中無增量標識的業務數據進行增量操作，并與所述采集單元采集的業務數據中有增量標識的業務數據共同生成增量數據表。

7.根據權利要求5所述的業務數據的處理裝置，其特征在于，所述業務數據的處理裝置還包括：

判別單元，用于判斷所述Data Services組件提取的所述數據列表中的數據是否為空；

所述加載單元，還用于當所述判別單元判斷所述Data Services組件提取的所述數據列表中的數據為空時，所述加載單元繼續調取所述SLT組件中所述數據列表中的數據；

所述加載單元，還用于當所述判別單元判斷所述Data Services組件提取的所述數據列表中的數據不為空時，所述加載單元批量加載所述數據列表。