[發(fā)明專利]數(shù)據(jù)查詢處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201610247009.1
• 申請(qǐng)日: 2016-04-20
• 公開（公告）號(hào): CN107305554A
• 公開（公告）日: 2017-10-31
• 發(fā)明（設(shè)計(jì)）人: 孫玨;陳京京
• 申請(qǐng)（專利權(quán)）人: 泰康保險(xiǎn)集團(tuán)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 隆天知識(shí)產(chǎn)權(quán)代理有限公司72003
• 代理人: 周濱,章侃銥

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)查詢處理方法及裝置。

背景技術(shù)

目前，大數(shù)據(jù)統(tǒng)計(jì)已應(yīng)用于社會(huì)各個(gè)行業(yè)領(lǐng)域中，數(shù)據(jù)分析技術(shù)也隨之發(fā)展。在銷售領(lǐng)域中，在進(jìn)行銷售數(shù)據(jù)統(tǒng)計(jì)時(shí)，通常會(huì)利用數(shù)據(jù)庫自關(guān)聯(lián)查詢技術(shù)，來分析個(gè)體銷售或消費(fèi)行為的歷史數(shù)據(jù)，從而得出可預(yù)計(jì)未來銷售或消費(fèi)行為的傾向性。但銷售數(shù)據(jù)量往往都是數(shù)以億計(jì)的，將其中任一數(shù)據(jù)字段進(jìn)行自關(guān)聯(lián)，都意味著數(shù)億的平方數(shù)量級(jí)的運(yùn)算，普通運(yùn)算系統(tǒng)難以承受如此大的運(yùn)算負(fù)荷。特別是對(duì)于保險(xiǎn)公司而言，為了進(jìn)行核保作業(yè)，每天都需要對(duì)每個(gè)銷售代理人均計(jì)算統(tǒng)計(jì)出其過往銷售歷史數(shù)據(jù)，以驗(yàn)證其當(dāng)日銷售保單的風(fēng)險(xiǎn)值。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)查詢處理方法及裝置，能夠加快數(shù)據(jù)查詢處理時(shí)間，提升處理效率。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明的一方面，提供了一種數(shù)據(jù)查詢處理方法，包括：根據(jù)查詢需求，在待處理數(shù)據(jù)表中建立分布鍵；根據(jù)所述分布鍵，拆分所述待處理數(shù)據(jù)表，以建立多個(gè)分布式數(shù)據(jù)表；為每個(gè)所述分布式數(shù)據(jù)表分配一個(gè)處理進(jìn)程；以及利用多線程操作，根據(jù)所述查詢需求，基于每個(gè)分布式數(shù)據(jù)表，進(jìn)行數(shù)據(jù)查詢操作。

根據(jù)本發(fā)明的一實(shí)施方式，根據(jù)所述查詢需求，基于每個(gè)分布式數(shù)據(jù)表，進(jìn)行數(shù)據(jù)查詢操作包括：在每個(gè)分布式數(shù)據(jù)表中進(jìn)行所述查詢需 求所需的自關(guān)聯(lián)數(shù)據(jù)查詢。

根據(jù)本發(fā)明的一實(shí)施方式，利用多線程操作，根據(jù)所述查詢需求，基于每個(gè)分布式數(shù)據(jù)表，進(jìn)行數(shù)據(jù)查詢操作之前還包括：為每個(gè)所述分布式數(shù)據(jù)表進(jìn)行同類數(shù)據(jù)查重及刪除操作。

根據(jù)本發(fā)明的一實(shí)施方式，為每個(gè)所述分布式數(shù)據(jù)表進(jìn)行同類數(shù)據(jù)查重及刪除操作包括：針對(duì)每個(gè)所述分布式數(shù)據(jù)表，判斷其中是否存在重復(fù)的同類數(shù)據(jù)；如果其中有重復(fù)的同類數(shù)據(jù)，則刪除所述同類數(shù)據(jù)，并將刪除所述同類數(shù)據(jù)后的所述分布式數(shù)據(jù)表保存為分布式數(shù)據(jù)中間表；以及根據(jù)所述查詢需求，基于每個(gè)分布式數(shù)據(jù)表，進(jìn)行數(shù)據(jù)查詢操作包括：根據(jù)每個(gè)所述分布式數(shù)據(jù)表及其對(duì)應(yīng)的所述分布式數(shù)據(jù)中間表，進(jìn)行所述查詢需求所需的互關(guān)聯(lián)數(shù)據(jù)查詢。

根據(jù)本發(fā)明的一實(shí)施方式，所述同類數(shù)據(jù)根據(jù)所述查詢需求確定。

根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)查詢處理裝置，包括：分布鍵建立模塊，用于根據(jù)查詢需求，在待處理數(shù)據(jù)表中建立分布鍵；數(shù)據(jù)表拆分模塊，用于根據(jù)所述分布鍵，拆分所述待處理數(shù)據(jù)表，以建立多個(gè)分布式數(shù)據(jù)表；進(jìn)程分配模塊，用于為每個(gè)所述分布式數(shù)據(jù)表分配一個(gè)處理進(jìn)程；以及數(shù)據(jù)查詢模塊，用于利用多線程操作，根據(jù)所述查詢需求，基于每個(gè)分布式數(shù)據(jù)表，進(jìn)行數(shù)據(jù)查詢操作。

根據(jù)本發(fā)明的一實(shí)施方式，所述數(shù)據(jù)查詢模塊包括：自關(guān)聯(lián)查詢子模塊，用于在每個(gè)分布式數(shù)據(jù)表中進(jìn)行所述查詢需求所需的自關(guān)聯(lián)數(shù)據(jù)查詢。

根據(jù)本發(fā)明的一實(shí)施方式，該裝置還包括：同類數(shù)據(jù)刪除模塊，用于在所述數(shù)據(jù)查詢模塊進(jìn)行所述數(shù)據(jù)查詢操作之前，為每個(gè)所述分布式數(shù)據(jù)表進(jìn)行同類數(shù)據(jù)查重及刪除操作。

根據(jù)本發(fā)明的一實(shí)施方式，所述同類數(shù)據(jù)刪除模塊包括：同類數(shù)據(jù)判斷子模塊，用于針對(duì)每個(gè)所述分布式數(shù)據(jù)表，判斷其中是否存在重復(fù)的同類數(shù)據(jù)；及同類數(shù)據(jù)刪除子模塊，用于當(dāng)所述同類數(shù)據(jù)判斷子模塊判斷所述分布式數(shù)據(jù)表中有重復(fù)的同類數(shù)據(jù)時(shí)，刪除所述同類數(shù)據(jù)，并將刪除所述同類數(shù)據(jù)后的所述分布式數(shù)據(jù)表保存為分布式數(shù)據(jù)中間表；以及所述數(shù)據(jù)查詢模塊包括：互關(guān)聯(lián)查詢子模塊，用于根據(jù)每個(gè)所述分 布式數(shù)據(jù)表及其對(duì)應(yīng)的所述分布式數(shù)據(jù)中間表，進(jìn)行所述查詢需求所需的互關(guān)聯(lián)數(shù)據(jù)查詢。

根據(jù)本發(fā)明的一實(shí)施方式，所述同類數(shù)據(jù)根據(jù)所述查詢需求確定。

根據(jù)本發(fā)明的數(shù)據(jù)查詢處理方法，通過將大數(shù)據(jù)量的數(shù)據(jù)表根據(jù)分布鍵進(jìn)行拆分，拆分出多個(gè)分布式的子表，且利用多線程操作分布式地處理各個(gè)子表，大大加快了數(shù)據(jù)查詢的處理時(shí)間，提升了數(shù)據(jù)查詢效率。經(jīng)測(cè)算，以一千萬條數(shù)據(jù)量的數(shù)據(jù)表為例，作業(yè)時(shí)間可以由原先的二十幾個(gè)小時(shí)縮短至半個(gè)小時(shí)左右，數(shù)據(jù)查詢處理時(shí)間明顯降低，效果十分顯著。

另外，根據(jù)一些實(shí)施例，本發(fā)明的數(shù)據(jù)查詢方法進(jìn)一步對(duì)拆分的分布式數(shù)據(jù)表中的同類數(shù)據(jù)進(jìn)行查重及刪除操作，采用該操作后進(jìn)一步減少了需統(tǒng)計(jì)數(shù)據(jù)量的規(guī)模，從而可以進(jìn)一步減少數(shù)據(jù)查詢處理的時(shí)間，進(jìn)一步提高處理效率。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性的，并不能限制本發(fā)明。

附圖說明

通過參照附圖詳細(xì)描述其示例實(shí)施例，本發(fā)明的上述和其它目標(biāo)、特征及優(yōu)點(diǎn)將變得更加顯而易見。