[發明專利]一種數據處理方法以及裝置

在審

• 申請號: 201910337573.6
• 申請日: 2019-04-24
• 公開（公告）號: CN111857981A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 徐攀登
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/27;H04L1/00
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁;竇曉慧

1.一種數據處理方法，其特征在于，包括：

獲得目標任務和所述目標任務所需處理的目標數據，所述目標數據來源于第一網絡環境；

如果確定所述目標數據滿足第二網絡環境的數據質量要求，則啟動所述目標任務。

2.根據權利要求1所述的方法，其特征在于，所述獲得目標任務，包括：

根據預定的離線數據處理流程，獲得數據依賴關系集合；

根據所述數據依賴關系集合，獲得目標任務。

3.根據權利要求2所述的方法，其特征在于，所述根據預定的離線數據處理流程，獲得數據依賴關系集合，包括：

對所述離線數據處理流程所對應的任務語句進行解析，獲得數據依賴關系集合；

或者，從針對所述離線數據處理流程的任務配置信息中獲得所述數據依賴關系集合。

4.根據權利要求2所述的方法，其特征在于，所述數據依賴關系集合包括數據表與數據表之間的依賴關系集合、數據表與數據任務之間的依賴關系集合以及數據任務與數據任務之間的依賴關系，所述根據所述數據依賴關系集合，獲得目標任務，包括：

根據所述數據表與數據表之間的依賴關系集合，獲得基礎數據表；

根據所述基礎數據表和所述數據表與數據任務之間的依賴關系集合，獲得依賴于所述基礎數據表的數據任務；

根據所述依賴于基礎數據表的數據任務和所述數據任務與數據任務之間的依賴關系集合，獲得所述目標任務。

5.根據權利要求4所述的方法，其特征在于，所述獲得所述目標任務所需處理的目標數據，包括：

獲得所述目標任務所需處理的目標數據對應的第一業務時間區間集合；所述第一業務時間區間集合包括至少一個數據表對應的業務時間區間；

獲得所述基礎數據表中的基礎數據對應的第二業務時間區間集合；所述第二業務時間區間集合包括至少一個數據表對應的業務時間區間；

判斷所述第一業務時間區間集合與所述第二業務時間區間集合是否相同；

如果所述第一業務時間區間集合與所述第二業務時間區間集合相同，則確定所述基礎數據表中的基礎數據為所述目標數據。

6.根據權利要求5所述的方法，其特征在于，所述數據表與數據任務之間的依賴關系集合包括業務時間參數，所述業務時間參數用于表示數據任務對應的基準時間與該數據任務所需處理的數據對應的業務時間區間的換算關系，所述獲得所述目標任務所需處理的目標數據對應的第一業務時間區間集合，包括：

獲得所述目標任務對應的基準時間；

根據所述目標任務對應的基準時間和所述業務時間參數，獲得所述目標任務所需處理的目標數據對應的第一業務時間區間集合。

7.根據權利要求6所述的方法，其特征在于，所述獲得所述目標任務對應的基準時間，包括：

從來源于所述第一網絡環境的所述基礎數據表中的基礎數據中獲得業務數據更新頻率最高的基礎數據；

將所述業務數據更新頻率最高的基礎數據的業務數據更新時間中與當前時間所需的業務數據一致的更新時間，作為所述目標任務對應的基準時間。

8.根據權利要求1所述的方法，其特征在于，還包括：

對來源于第一網絡環境的跨網絡數據進行數據校驗，獲得未發生傳輸錯誤的跨網絡數據；

按照第二網絡環境的數據質量驗證方法，對所述未發生傳輸錯誤的跨網絡數據進行數據質量驗證，獲得符合第二網絡環境的使用需求的跨網絡數據；

對應的，所述確定所述目標數據滿足第二網絡環境的數據質量要求，包括：

如果所述符合第二網絡環境的使用需求的跨網絡數據中包含所述目標數據，則確定所述目標數據滿足第二網絡環境的數據質量要求。