[發(fā)明專利]數(shù)據(jù)讀取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010128291.8
• 申請(qǐng)日: 2020-02-28
• 公開（公告）號(hào): CN111414362A
• 公開（公告）日: 2020-07-14
• 發(fā)明（設(shè)計(jì)）人: 帥宇
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/25
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 徐進(jìn)之

本發(fā)明公開了一種數(shù)據(jù)讀取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取目標(biāo)數(shù)據(jù)表，提取所述目標(biāo)數(shù)據(jù)表的物理地址信息，并根據(jù)所述物理地址信息生成待處理任務(wù)表；根據(jù)預(yù)設(shè)業(yè)務(wù)需求確定單次數(shù)據(jù)處理量，并根據(jù)所述單次數(shù)據(jù)處理量將所述待處理任務(wù)表分割成一個(gè)或多個(gè)數(shù)據(jù)塊；生成一個(gè)或多個(gè)所述數(shù)據(jù)塊的偽列rowid，并根據(jù)所述rowid讀取所述目標(biāo)數(shù)據(jù)表。本發(fā)明基于大數(shù)據(jù)，將目標(biāo)數(shù)據(jù)表分成多個(gè)數(shù)據(jù)塊后再進(jìn)行數(shù)據(jù)讀取，提高了數(shù)據(jù)處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)讀取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

Oracle數(shù)據(jù)庫(kù)中保存有大量的數(shù)據(jù)表，由于數(shù)據(jù)量龐大，因此要對(duì)數(shù)據(jù)庫(kù)做大批量修改時(shí)，會(huì)造成數(shù)據(jù)庫(kù)鎖全表，并且長(zhǎng)時(shí)間的空間占用會(huì)造成Oracle快照過舊的異常。而現(xiàn)有的游標(biāo)分段處理方案會(huì)占用大量空間引發(fā)異常運(yùn)行，并且無(wú)法并發(fā)執(zhí)行，占用消耗過多系統(tǒng)資源，容易造成系統(tǒng)業(yè)務(wù)阻塞，從而大大降低了數(shù)據(jù)處理效率。因此，如何提高數(shù)據(jù)處理效率，是當(dāng)前亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)讀取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在提高數(shù)據(jù)處理效率。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)讀取方法，所述方法包括：

獲取目標(biāo)數(shù)據(jù)表，提取所述目標(biāo)數(shù)據(jù)表的物理地址信息，并根據(jù)所述物理地址信息生成待處理任務(wù)表；

根據(jù)預(yù)設(shè)業(yè)務(wù)需求確定單次數(shù)據(jù)處理量，并根據(jù)所述單次數(shù)據(jù)處理量將所述待處理任務(wù)表分割成一個(gè)或多個(gè)數(shù)據(jù)塊；

生成一個(gè)或多個(gè)所述數(shù)據(jù)塊的偽列rowid，并根據(jù)所述rowid讀取所述目標(biāo)數(shù)據(jù)表。

優(yōu)選地，所述獲取目標(biāo)數(shù)據(jù)表，提取所述目標(biāo)數(shù)據(jù)表的物理地址信息，并根據(jù)所述物理地址信息生成待處理任務(wù)表的步驟之前還包括:

判斷所述目標(biāo)數(shù)據(jù)表中的數(shù)據(jù)量是否超過第一閾值；

若所述數(shù)據(jù)量大于所述第一閾值，則根據(jù)所述數(shù)據(jù)量設(shè)置并發(fā)進(jìn)程的進(jìn)程數(shù)；

根據(jù)所述進(jìn)程數(shù)將所述目標(biāo)數(shù)據(jù)表分成對(duì)應(yīng)數(shù)量的子目標(biāo)數(shù)據(jù)表。

優(yōu)選地，所述生成一個(gè)或多個(gè)所述數(shù)據(jù)塊的偽列rowid，并根據(jù)所述rowid讀取所述目標(biāo)數(shù)據(jù)表的步驟之后還包括：

獲取狀態(tài)日志，通過所述狀態(tài)日志獲得數(shù)據(jù)異常數(shù)據(jù)塊；

獲取所述異常數(shù)據(jù)塊的rowid并標(biāo)記為異常rowid，重新讀取所述異常rowid以及所述異常rowid之后一個(gè)或多個(gè)數(shù)據(jù)塊。

優(yōu)選地，所述獲取目標(biāo)數(shù)據(jù)表，提取所述目標(biāo)數(shù)據(jù)表的物理地址信息，并根據(jù)所述物理地址信息生成待處理任務(wù)表的步驟包括：

從系統(tǒng)數(shù)據(jù)庫(kù)中獲取所述目標(biāo)數(shù)據(jù)表，由系統(tǒng)提取所述目標(biāo)數(shù)據(jù)表的物理地址信息，所述物理地址信息包括所述目標(biāo)數(shù)據(jù)表的范圍extent和屬性信息；

將所述物理地址信息中的每個(gè)所述extent作為一個(gè)獨(dú)立任務(wù)，并根據(jù)各個(gè)所述獨(dú)立任務(wù)對(duì)應(yīng)的屬性信息生成待處理任務(wù)表。

優(yōu)選地，所述生成一個(gè)或多個(gè)所述數(shù)據(jù)塊的偽列rowid，并根據(jù)所述rowid讀取所述目標(biāo)數(shù)據(jù)表的步驟包括：

根據(jù)數(shù)據(jù)表編號(hào)、文件編號(hào)、塊編號(hào)以及行編號(hào)生成各個(gè)所述數(shù)據(jù)塊的rowid，所述rowid包括起始rowid和終止rowid；

根據(jù)所述起始rowid和所述終止rowid定位至目標(biāo)數(shù)據(jù)塊，依次讀取對(duì)應(yīng)的一個(gè)或多個(gè)所述目標(biāo)數(shù)據(jù)塊，直到讀取所述目標(biāo)數(shù)據(jù)表。

優(yōu)選地，所述根據(jù)所述起始rowid和所述終止rowid定位至目標(biāo)數(shù)據(jù)塊的步驟之后還包括：