[發(fā)明專利]一種數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法、裝置、設(shè)備和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010029002.9
• 申請(qǐng)日: 2020-01-12
• 公開（公告）號(hào): CN111274295B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 魏本帥;杜彥魁
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張濤

本發(fā)明公開了一種數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法，包括：根據(jù)數(shù)據(jù)塊的使用情況將數(shù)據(jù)塊分為空閑數(shù)據(jù)塊、部分寫入數(shù)據(jù)塊和已寫滿數(shù)據(jù)塊；將空閑數(shù)據(jù)塊和部分寫入數(shù)據(jù)塊中的空閑空間的起始地址分別寫入狀態(tài)記錄表中；響應(yīng)于數(shù)據(jù)加載開始后查詢到狀態(tài)記錄表中存在空閑數(shù)據(jù)塊，讀取空閑數(shù)據(jù)塊的起始地址并將數(shù)據(jù)寫入到起始地址對(duì)應(yīng)的空閑空間；響應(yīng)于數(shù)據(jù)加載開始后查詢到狀態(tài)記錄表中不存在空閑數(shù)據(jù)塊但存在部分寫入數(shù)據(jù)塊，讀取部分寫入數(shù)據(jù)塊的起始地址并將數(shù)據(jù)寫入到起始地址對(duì)應(yīng)的空閑空間，數(shù)據(jù)加載完成后相應(yīng)地改變狀態(tài)記錄表中數(shù)據(jù)塊的使用情況。本發(fā)明還公開了一種裝置、設(shè)備和介質(zhì)。本發(fā)明實(shí)現(xiàn)了數(shù)據(jù)庫(kù)的快速加載入庫(kù)，降低了數(shù)據(jù)入庫(kù)時(shí)間。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，更具體地，特別是指一種數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

現(xiàn)階段，數(shù)據(jù)庫(kù)在加載數(shù)據(jù)時(shí)，需要先從數(shù)據(jù)表存儲(chǔ)數(shù)據(jù)的初始位置進(jìn)行順序掃描，掃描到數(shù)據(jù)塊空閑的位置時(shí)才開始插入數(shù)據(jù)，同樣第二條數(shù)據(jù)的插入也是如此，所有數(shù)據(jù)的插入需要反復(fù)掃描數(shù)據(jù)表中的空閑位置，這樣尋找空閑位置占用了數(shù)據(jù)加載入庫(kù)的大量時(shí)間。對(duì)大批量數(shù)據(jù)加載時(shí)的效率影響非常大。同時(shí)，數(shù)據(jù)插入時(shí)需要同時(shí)向redo日志中進(jìn)行相應(yīng)數(shù)據(jù)插入，索引也需要進(jìn)行相關(guān)維護(hù)，也同樣增加了數(shù)據(jù)加載入庫(kù)的時(shí)間，對(duì)大批量數(shù)據(jù)加載時(shí)的效率影響非常大。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法、裝置、設(shè)備和介質(zhì)，可以實(shí)現(xiàn)數(shù)據(jù)表的數(shù)據(jù)快速加載入庫(kù)，可以極大降低數(shù)據(jù)入庫(kù)時(shí)間。

基于上述目的，本發(fā)明一方面提供了一種數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法，該方法包括：數(shù)據(jù)庫(kù)實(shí)時(shí)掃描每個(gè)數(shù)據(jù)塊，并根據(jù)數(shù)據(jù)塊的使用情況將數(shù)據(jù)塊分為空閑數(shù)據(jù)塊、部分寫入數(shù)據(jù)塊和已寫滿數(shù)據(jù)塊；將空閑數(shù)據(jù)塊和部分寫入數(shù)據(jù)塊中的空閑空間的起始地址分別寫入狀態(tài)記錄表中；響應(yīng)于數(shù)據(jù)加載開始后查詢到狀態(tài)記錄表中存在空閑數(shù)據(jù)塊，讀取空閑數(shù)據(jù)塊的起始地址并將數(shù)據(jù)寫入到起始地址對(duì)應(yīng)的空閑空間，并相應(yīng)改變狀態(tài)記錄表中數(shù)據(jù)塊的使用情況；響應(yīng)于數(shù)據(jù)加載開始后查詢到狀態(tài)記錄表中不存在空閑數(shù)據(jù)塊但存在部分寫入數(shù)據(jù)塊，讀取部分寫入數(shù)據(jù)塊的起始地址并將數(shù)據(jù)寫入到起始地址對(duì)應(yīng)的空閑空間，并相應(yīng)改變狀態(tài)記錄表中數(shù)據(jù)塊的使用情況。

在本發(fā)明的數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法的一些實(shí)施方式中，該方法還包括：對(duì)數(shù)據(jù)加載設(shè)置并行參數(shù)，以及響應(yīng)于數(shù)據(jù)加載，讀取并行參數(shù)并獲取與并行參數(shù)相同數(shù)量的起始地址，并且針對(duì)該與并行參數(shù)相同數(shù)量的起始地址同時(shí)進(jìn)行數(shù)據(jù)寫入。

在本發(fā)明的數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法的一些實(shí)施方式中，該方法還包括：響應(yīng)于數(shù)據(jù)加載過(guò)程中一個(gè)數(shù)據(jù)塊被寫滿，在狀態(tài)記錄表中查找下一個(gè)空閑空間的起始地址并繼續(xù)寫入數(shù)據(jù)。

在本發(fā)明的數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法的一些實(shí)施方式中，該方法還包括：響應(yīng)于查詢到狀態(tài)記錄表中不存在空閑數(shù)據(jù)塊也不存在部分寫入數(shù)據(jù)塊，停止數(shù)據(jù)加載并反饋數(shù)據(jù)庫(kù)已滿信息。

在本發(fā)明的數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法的一些實(shí)施方式中，該方法還包括：將數(shù)據(jù)庫(kù)配置為在數(shù)據(jù)加載過(guò)程中關(guān)閉狀態(tài)記錄表的日志寫功能。

在本發(fā)明的數(shù)據(jù)庫(kù)快速加載數(shù)據(jù)的方法的一些實(shí)施方式中，該方法還包括：將數(shù)據(jù)庫(kù)配置為在數(shù)據(jù)加載過(guò)程中關(guān)閉狀態(tài)記錄表的索引功能。