[發(fā)明專利]數據處理方法及裝置、計算機可讀存儲介質及處理器

在審

• 申請?zhí)枺?/td>: 202011419308.1
• 申請日: 2020-12-07
• 公開（公告）號: CN112612857A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設計）人: 孫舟;李香龍;潘鳴宇;邱明泉;王偉賢;陳振;袁小溪;李卓群;劉祥璐
• 申請（專利權）人: 國網北京市電力公司;國家電網有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22;G06F16/27
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 李靜茹

1.一種數據處理方法，其特征在于，包括：

獲取多個數據源的多維數據，其中，所述多個數據源包括：關系型數據庫、數據倉庫以及實時文件數據；

基于所述多維數據的數據類型，確定所述多維數據對應的目標存儲方式，其中，所述目標存儲方式包括如下至少之一：分布式存儲、列式存儲、行式存儲；

按照所述目標存儲方式對所述多維數據進行存儲。

2.根據權利要求1所述的方法，其特征在于，獲取多個數據源的多維數據包括：

抽取所述關系型數據庫和所述數據倉庫中存儲的數據，得到抽取出的數據；

利用文件聚合處理技術對所述實時文件數據進行處理，得到處理后的數據；

基于所述抽取出的數據和所述處理后的數據，得到所述多維數據。

3.根據權利要求1所述的方法，其特征在于，在按照所述目標存儲方式對所述多維數據進行存儲之后，所述方法還包括：

獲取多個第一碎片文件；

將所述多個第一碎片文件進行合并，生成第一歸檔文件；

將所述第一歸檔文件進行存儲。

4.根據權利要求3所述的方法，其特征在于，將所述多個第一碎片文件進行合并，生成第一歸檔文件包括：

基于每個第一碎片文件的文件名稱，生成所述每個第一碎片文件的哈希代碼；

基于所述每個第一碎片文件的哈希代碼與所述多個第一碎片文件的數量，生成所述每個第一碎片文件對應的索引；

基于所述每個第一碎片文件和對應的索引，生成所述第一歸檔文件。

5.根據權利要求3所述的方法，其特征在于，在將所述第一歸檔文件進行存儲之后，所述方法包括：

獲取第二碎片文件；

將所述第二碎片文件進行合并，生成第二歸檔文件；

將所述第二歸檔文件的索引文件與所述第一歸檔文件的索引文件進行合并；

基于合并后的索引文件，將所述第二碎片文件移動至所述第一歸檔文件中，并刪除所述第二歸檔文件。

6.根據權利要求3所述的方法，其特征在于，在將所述第一歸檔文件進行存儲之后，所述方法包括：

獲取第一讀取請求，其中，所述第一讀取請求用于讀取所述第一歸檔文件中的目標碎片文件；

確定所述目標碎片的目標索引；

讀取所述第一歸檔文件中所述目標索引對應的文件內容，其中，所述文件內容包含：所述目標碎片文件，以及其他碎片文件。

7.根據權利要求1至6中任意一項所述的方法，其特征在于，在按照所述目標存儲方式對所述多維數據進行存儲之后，所述方法包括：

確定數據連接池中存儲的目標數據連接，其中，所述數據連接池中存儲有第一預設數量的數據連接；

通過所述目標數據連接接收第二讀取請求；

獲取所述第二讀取請求對應的數據結果；

通過所述目標數據連接發(fā)送所述數據結果，并釋放所述目標數據連接。

8.根據權利要求7所述的方法，其特征在于，在確定數據連接池中存儲的目標數據連接之前，所述方法包括：

檢測所述數據連接池中是否存在空閑數據連接；

如果所述數據連接池中存在所述空閑數據連接，則確定所述空閑數據連接為所述目標數據連接。

9.根據權利要求8所述的方法，其特征在于，如果所述數據連接池中不存在所述空閑數據連接，所述方法包括：

判斷所述數據連接池中存儲的數據連接的數量是否達到第二預設數量；

如果所述數量未達到所述第二預設數量，則在所述數據連接池中創(chuàng)建新的數據連接，并確定所述新的數據連接為所述目標數據連接；

如果所述數量達到所述第二預設數量，則等待預設時間，并獲取釋放后的數據連接為所述目標數據連接。

10.根據權利要求7所述的方法，其特征在于，獲取所述第二讀取請求對應的數據結果包括：

獲取所述第二讀取請求對應的索引信息；

基于所述索引信息獲取所述數據結果。