[發(fā)明專利]一種處理數(shù)據(jù)的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110349235.1
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN113111084A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 于海濱
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/28
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 郝紅玉;郭晗

本發(fā)明公開了一種處理數(shù)據(jù)的方法和裝置，涉及計(jì)算機(jī)技術(shù)領(lǐng)域。該方法的一具體實(shí)施方式包括：能夠根據(jù)數(shù)據(jù)倉(cāng)庫(kù)中的多個(gè)目標(biāo)數(shù)據(jù)表之間存在的關(guān)聯(lián)關(guān)系，構(gòu)建中間數(shù)據(jù)表；在接收到針對(duì)多個(gè)目標(biāo)數(shù)據(jù)表的處理請(qǐng)求時(shí)，從中間數(shù)據(jù)表中查找與處理請(qǐng)求相關(guān)的數(shù)據(jù)；通過構(gòu)建中間數(shù)據(jù)表，較大程度縮短了數(shù)據(jù)表之間的關(guān)聯(lián)路徑，降低了數(shù)據(jù)處理的資源消耗，并提高了數(shù)據(jù)處理開發(fā)的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種處理數(shù)據(jù)的方法和裝置。

背景技術(shù)

當(dāng)執(zhí)行處理數(shù)據(jù)時(shí)，往往需要從數(shù)據(jù)倉(cāng)庫(kù)包含的成千上萬數(shù)量的數(shù)據(jù)表中獲取并處理數(shù)據(jù)，在處理數(shù)據(jù)的過程中，待處理的數(shù)據(jù)通常需要從多個(gè)具有關(guān)聯(lián)關(guān)系的數(shù)據(jù)表中獲取。

但是，當(dāng)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)表關(guān)聯(lián)路徑較長(zhǎng)時(shí)，開發(fā)人員需要了解關(guān)聯(lián)路徑中每個(gè)數(shù)據(jù)表的每個(gè)字段的對(duì)應(yīng)關(guān)系，造成開發(fā)復(fù)雜度的增加，尤其是當(dāng)數(shù)據(jù)表的數(shù)量級(jí)較大時(shí)，降低了開發(fā)效率，提高了數(shù)據(jù)處理的資源消耗。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種處理數(shù)據(jù)的方法和裝置，能夠根據(jù)數(shù)據(jù)倉(cāng)庫(kù)中的多個(gè)目標(biāo)數(shù)據(jù)表之間存在的關(guān)聯(lián)關(guān)系，構(gòu)建中間數(shù)據(jù)表；在接收到針對(duì)多個(gè)目標(biāo)數(shù)據(jù)表的處理請(qǐng)求時(shí)，從中間數(shù)據(jù)表中查找與處理請(qǐng)求相關(guān)的數(shù)據(jù)；通過構(gòu)建中間數(shù)據(jù)表，較大程度縮短了數(shù)據(jù)表之間的關(guān)聯(lián)路徑，降低了數(shù)據(jù)處理的資源消耗，并提高了數(shù)據(jù)處理開發(fā)的效率。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種處理數(shù)據(jù)的方法，其特征在于，包括：獲取數(shù)據(jù)倉(cāng)庫(kù)中多個(gè)目標(biāo)數(shù)據(jù)表以及多個(gè)所述目標(biāo)數(shù)據(jù)表之間存在的直接關(guān)聯(lián)關(guān)系或者間接關(guān)聯(lián)關(guān)系；根據(jù)多個(gè)所述目標(biāo)數(shù)據(jù)表之間存在的所述直接關(guān)聯(lián)關(guān)系或者所述間接關(guān)聯(lián)關(guān)系以及所述目標(biāo)數(shù)據(jù)表包括的字段，為多個(gè)所述目標(biāo)數(shù)據(jù)表構(gòu)建中間數(shù)據(jù)表；在接收到針對(duì)多個(gè)所述目標(biāo)數(shù)據(jù)表的處理請(qǐng)求時(shí)，從所述中間數(shù)據(jù)表中查找與所述處理請(qǐng)求相關(guān)的數(shù)據(jù)；如果查找結(jié)果指示所述數(shù)據(jù)全部存儲(chǔ)于所述中間數(shù)據(jù)表，基于所述中間數(shù)據(jù)表處理所述數(shù)據(jù)；如果查找結(jié)果指示所述數(shù)據(jù)部分存儲(chǔ)于所述中間數(shù)據(jù)表，基于所述中間數(shù)據(jù)表，從多個(gè)所述數(shù)據(jù)表中查找與所述處理請(qǐng)求相關(guān)的數(shù)據(jù)，并處理所述數(shù)據(jù)。

可選地，所述處理數(shù)據(jù)的方法，其特征在于，獲取數(shù)據(jù)倉(cāng)庫(kù)中多個(gè)目標(biāo)數(shù)據(jù)表以及多個(gè)所述目標(biāo)數(shù)據(jù)表之間存在的直接關(guān)聯(lián)關(guān)系或者間接關(guān)聯(lián)關(guān)系，包括：獲取所述數(shù)據(jù)倉(cāng)庫(kù)中的多個(gè)數(shù)據(jù)表；在多個(gè)所述數(shù)據(jù)表中，查找具有相同字段的至少兩個(gè)目標(biāo)數(shù)據(jù)表，并確定至少兩個(gè)所述目標(biāo)數(shù)據(jù)表之間存在直接關(guān)聯(lián)關(guān)系；根據(jù)多個(gè)所述直接關(guān)聯(lián)關(guān)系以及每一個(gè)所述直接關(guān)聯(lián)關(guān)系所對(duì)應(yīng)的至少兩個(gè)所述目標(biāo)數(shù)據(jù)表，確定多個(gè)所述目標(biāo)數(shù)據(jù)表之間的間接關(guān)聯(lián)關(guān)系。

可選地，所述處理數(shù)據(jù)的方法，其特征在于，確定多個(gè)所述目標(biāo)數(shù)據(jù)表之間的間接關(guān)聯(lián)關(guān)系，包括：為每一個(gè)所述直接關(guān)聯(lián)關(guān)系所對(duì)應(yīng)的至少兩個(gè)所述目標(biāo)數(shù)據(jù)表，構(gòu)建關(guān)系字典；根據(jù)所述關(guān)系字典，為每一個(gè)所述目標(biāo)數(shù)據(jù)表查找存在間接關(guān)聯(lián)關(guān)系的其他目標(biāo)數(shù)據(jù)表。

可選地，所述處理數(shù)據(jù)的方法，其特征在于，確定多個(gè)所述目標(biāo)數(shù)據(jù)表之間的間接關(guān)聯(lián)關(guān)系，包括：將每一個(gè)所述目標(biāo)數(shù)據(jù)表抽象為結(jié)點(diǎn)；根據(jù)所述直接關(guān)聯(lián)關(guān)系，為多個(gè)所述結(jié)點(diǎn)構(gòu)建對(duì)應(yīng)的連接邊，得到關(guān)系圖；根據(jù)所述關(guān)系圖，為每一個(gè)所述目標(biāo)數(shù)據(jù)表查找存在間接關(guān)聯(lián)關(guān)系的其他目標(biāo)數(shù)據(jù)表。

可選地，所述處理數(shù)據(jù)的方法，其特征在于，進(jìn)一步包括：針對(duì)每一個(gè)所述目標(biāo)數(shù)據(jù)表，為所述目標(biāo)數(shù)據(jù)表所屬的直接關(guān)聯(lián)關(guān)系計(jì)算第一關(guān)聯(lián)數(shù)量，并為所述目標(biāo)數(shù)據(jù)表所屬的間接關(guān)聯(lián)關(guān)系的每一層關(guān)系計(jì)算第二關(guān)聯(lián)數(shù)量；結(jié)合所述第一關(guān)聯(lián)數(shù)量、所述第二關(guān)聯(lián)數(shù)量，執(zhí)行為多個(gè)所述目標(biāo)數(shù)據(jù)表構(gòu)建中間數(shù)據(jù)表的步驟。

可選地，所述處理數(shù)據(jù)的方法，其特征在于，所述為多個(gè)所述目標(biāo)數(shù)據(jù)表構(gòu)建中間數(shù)據(jù)表，包括：根據(jù)多個(gè)所述目標(biāo)數(shù)據(jù)表之間存在的所述直接關(guān)聯(lián)關(guān)系或者所述間接關(guān)聯(lián)關(guān)系，將多個(gè)所述目標(biāo)數(shù)據(jù)表聚類為多種類別；根據(jù)多種所述類別所包括的所述目標(biāo)數(shù)據(jù)表的第一關(guān)聯(lián)數(shù)量和第二關(guān)聯(lián)數(shù)量，構(gòu)建中間層數(shù)據(jù)表和至少一個(gè)外層數(shù)據(jù)表；組合所述中間層數(shù)據(jù)表和至少一個(gè)所述外層數(shù)據(jù)表，得到所述中間數(shù)據(jù)表。