[發(fā)明專利]一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410234903.6
• 申請日: 2014-05-29
• 公開（公告）號: CN104077355B
• 公開（公告）日: 2018-04-27
• 發(fā)明（設(shè)計）人: 何方敏
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司11227
• 代理人: 王寶筠

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，特別是一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)。

背景技術(shù)

銀行實施前臺業(yè)務(wù)和后臺業(yè)務(wù)處理分離的工作模式，對于一項業(yè)務(wù)操作來說，前臺生成此業(yè)務(wù)操作的實體業(yè)務(wù)票據(jù)以及業(yè)務(wù)元數(shù)據(jù)信息，并將實體業(yè)務(wù)票據(jù)掃描得到電子影像票據(jù)，將電子影像票據(jù)存儲在磁盤中，并將業(yè)務(wù)元數(shù)據(jù)信息以及電子影像票據(jù)在磁盤中的位置信息對應(yīng)存儲在關(guān)系數(shù)據(jù)庫。

后臺在進(jìn)行上述業(yè)務(wù)操作的核查的過程中，先根據(jù)業(yè)務(wù)元數(shù)據(jù)信息從關(guān)系數(shù)據(jù)庫中查詢電子影像票據(jù)在磁盤中的位置信息，再根據(jù)位置信息從磁盤中查詢電子影像票據(jù)信息進(jìn)行核查。

但是采用上述方法存儲和查詢業(yè)務(wù)操作的電子影像票據(jù)信息時，隨著業(yè)務(wù)操作的不斷增加，關(guān)系數(shù)據(jù)庫中所存儲的業(yè)務(wù)元數(shù)據(jù)信息與電子影像票據(jù)在磁盤中的位置信息的對應(yīng)關(guān)系越來越多，導(dǎo)致關(guān)系數(shù)據(jù)庫中的存儲效率會越來越低；并且，關(guān)系數(shù)據(jù)庫中的存儲的數(shù)據(jù)越多，在根據(jù)位置信息從磁盤中查詢電子影像票據(jù)信息的效率就越低。采用關(guān)系數(shù)據(jù)庫實現(xiàn)業(yè)務(wù)操作的電子影像票據(jù)的存儲和查詢，當(dāng)關(guān)系數(shù)據(jù)庫中存儲大量的數(shù)據(jù)信息時，會降低數(shù)據(jù)信息的存儲和查詢效率。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題在于提供一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)，從而能夠利用分布式系統(tǒng)實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的存儲和查詢。

為此，本發(fā)明解決技術(shù)問題的技術(shù)方案是：

一種非結(jié)構(gòu)化數(shù)據(jù)存儲的方法，所述方法包括：

數(shù)據(jù)整合模塊將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進(jìn)行壓縮處理獲得壓縮數(shù)據(jù)包；

所述數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的主控機(jī)Master；

分布式系統(tǒng)的Master將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信息。

可選的，所述數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包發(fā)送至分布式數(shù)據(jù)庫的Master包括：

數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包按照分布式文件系統(tǒng)HDFS協(xié)議發(fā)送至分布式數(shù)據(jù)庫的Master。

可選的，所述業(yè)務(wù)交易信息包括：

交易號碼、文檔類型以及系統(tǒng)編號。

一種非結(jié)構(gòu)化數(shù)據(jù)查詢的方法，所述方法包括：

查詢模塊接收用戶輸入的查詢信息，所述查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息；

查詢模塊向分布式系統(tǒng)中的主控機(jī)Master發(fā)送查詢請求，所述查詢請求攜帶有所述查詢信息；

所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包。

可選的，所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包包括：

所述Master向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令，所述查詢命令攜帶有所述查詢信息；

分布在所述Master的每個數(shù)據(jù)節(jié)點接收到所述查詢命令后，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包；

分布在所述Master的節(jié)點向所述Master返回與所述查詢信息匹配的壓縮數(shù)據(jù)包。

可選的，所述方法還包括：

所述Master將所述壓縮數(shù)據(jù)包發(fā)送至展示模塊進(jìn)行展示。

可選的，所述查詢模塊向分布式系統(tǒng)中的Master發(fā)送查詢請求包括：

查詢模塊按照分布式文件系統(tǒng)HDFS協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求。

一種非結(jié)構(gòu)化數(shù)據(jù)存儲的裝置，所述裝置包括：

數(shù)據(jù)整合模塊與分布式系統(tǒng)中的主控機(jī)Master相連，分布式系統(tǒng)中的Master與多個數(shù)據(jù)節(jié)點相連；

數(shù)據(jù)整合模塊，用于將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進(jìn)行壓縮處理獲得壓縮數(shù)據(jù)包，將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的Master；

分布式系統(tǒng)的Master，用于將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信息；

數(shù)據(jù)節(jié)點，用于存儲所述壓縮數(shù)據(jù)包。

可選的，

所述數(shù)據(jù)整合模塊，用于將所述壓縮數(shù)據(jù)包按照分布式文件系統(tǒng)HDFS協(xié)議發(fā)送至分布式數(shù)據(jù)庫的Master。

一種非結(jié)構(gòu)化數(shù)據(jù)查詢的裝置，所述裝置包括：

查詢模塊與分布式系統(tǒng)中的主控機(jī)Master相連，分布式系統(tǒng)中的Master與多個數(shù)據(jù)節(jié)點相連；