[發明專利]數據讀取方法、裝置、設備及存儲介質

在審

• 申請號: 202010128291.8
• 申請日: 2020-02-28
• 公開（公告）號: CN111414362A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 帥宇
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 徐進之

1.一種數據讀取方法，其特征在于，所述方法包括：

獲取目標數據表，提取所述目標數據表的物理地址信息，并根據所述物理地址信息生成待處理任務表；

根據預設業務需求確定單次數據處理量，并根據所述單次數據處理量將所述待處理任務表分割成一個或多個數據塊；

生成一個或多個所述數據塊的偽列rowid，并根據所述rowid讀取所述目標數據表。

2.根據權利要求1所述的方法，其特征在于，所述獲取目標數據表，提取所述目標數據表的物理地址信息，并根據所述物理地址信息生成待處理任務表的步驟之前還包括:

判斷所述目標數據表中的數據量是否超過第一閾值；

若所述數據量大于所述第一閾值，則根據所述數據量設置并發進程的進程數；

根據所述進程數將所述目標數據表分成對應數量的子目標數據表。

3.根據權利要求1所述的方法，其特征在于，所述生成一個或多個所述數據塊的偽列rowid，并根據所述rowid讀取所述目標數據表的步驟之后還包括：

獲取狀態日志，通過所述狀態日志獲得數據異常數據塊；

獲取所述異常數據塊的rowid并標記為異常rowid，重新讀取所述異常rowid以及所述異常rowid之后一個或多個數據塊。

4.根據權利要求1所述的方法，其特征在于，所述獲取目標數據表，提取所述目標數據表的物理地址信息，并根據所述物理地址信息生成待處理任務表的步驟包括：

從系統數據庫中獲取所述目標數據表，由系統提取所述目標數據表的物理地址信息，所述物理地址信息包括所述目標數據表的范圍extent和屬性信息；

將所述物理地址信息中的每個所述extent作為一個獨立任務，并根據各個所述獨立任務對應的屬性信息生成待處理任務表。

5.根據權利要求1所述的方法，其特征在于，所述生成一個或多個所述數據塊的偽列rowid，并根據所述rowid讀取所述目標數據表的步驟包括：

根據數據表編號、文件編號、塊編號以及行編號生成各個所述數據塊的rowid，所述rowid包括起始rowid和終止rowid；

根據所述起始rowid和所述終止rowid定位至目標數據塊，依次讀取對應的一個或多個所述目標數據塊，直到讀取所述目標數據表。

6.根據權利要求5所述的方法，其特征在于，所述根據所述起始rowid和所述終止rowid定位至目標數據塊的步驟之后還包括：

對所述目標數據塊中的目標數據執行加鎖操作，并在讀取目標數據之后進行鎖釋放。

7.根據權利要求1所述的方法，其特征在于，所述生成一個或多個所述數據塊的偽列rowid，并根據所述rowid讀取所述目標數據表的步驟之后還包括：

根據所述rowid在所述目標數據表中的數據進行數據編輯操作。

8.一種數據讀取裝置，其特征在于，所述數據讀取裝置包括：

獲取模塊，用于獲取目標數據表，提取所述目標數據表的物理地址信息，并根據所述物理地址信息生成待處理任務表；

分割模塊，用于根據預設業務需求確定單次數據處理量，并根據所述單次數據處理量將所述待處理任務表分割成一個或多個數據塊；

讀取模塊，用于生成一個或多個所述數據塊的偽列rowid，并根據所述rowid讀取所述目標數據表。

9.一種數據讀取設備，其特征在于，所述數據讀取設備包括處理器，存儲器以及存儲在所述存儲器中的數據讀取程序，所述數據讀取程序被所述處理器運行時，實現如權利要求1-7中任一項所述的數據讀取方法的步驟。

10.一種計算機存儲介質，其特征在于，所述計算機存儲介質上存儲有數據讀取程序，所述數據讀取程序被處理器運行時實現如權利要求1-7中任一項所述數據讀取方法的步驟。