[發(fā)明專利]數(shù)據(jù)字典生成方法、數(shù)據(jù)查詢方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010589195.3
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111737977B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 劉東煜;陳樂清;曾增烽;李炫
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F40/216
• 分類號(hào): G06F40/216;G06F40/242;G06F16/901;G06F16/903
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

本發(fā)明公開了一種數(shù)據(jù)字典生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，獲取第一待存儲(chǔ)數(shù)據(jù)，第一待存儲(chǔ)數(shù)據(jù)包括第一拼音節(jié)點(diǎn)和第二拼音節(jié)點(diǎn)；基于第一拼音節(jié)點(diǎn)和第二拼音節(jié)點(diǎn)，在預(yù)設(shè)的第一數(shù)據(jù)字典中進(jìn)行查詢，確定第一索引序列和第二索引序列；采用CSR方法對(duì)第一索引序列和第二索引序列進(jìn)行處理，得到候選索引組；在預(yù)設(shè)的第二數(shù)據(jù)字典中查詢每一候選索引組的候選頻率值，從候選索引組中篩選出候選頻率值符合預(yù)設(shè)要求的目標(biāo)索引組；將待存儲(chǔ)數(shù)據(jù)和目標(biāo)索引組進(jìn)行映射存儲(chǔ)，生成第三數(shù)據(jù)字典；通過結(jié)合第一數(shù)據(jù)字典和第二數(shù)據(jù)字典恢復(fù)得到第三數(shù)據(jù)字典，從而解決了數(shù)據(jù)存儲(chǔ)時(shí)的信息冗余問題。

技術(shù)領(lǐng)域

本發(fā)明涉及云存儲(chǔ)領(lǐng)域，尤其涉及一種數(shù)據(jù)字典生成方法、數(shù)據(jù)查詢方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的快速發(fā)展和社會(huì)各領(lǐng)域信息化水平的提高，數(shù)據(jù)量正以史無前例的速度井噴，人類正在進(jìn)入大數(shù)據(jù)時(shí)代。在信息管理系統(tǒng)中，通常會(huì)使用數(shù)據(jù)字典來存儲(chǔ)數(shù)據(jù)。目前基于分詞的字典庫(kù)一般需要1gram詞頻字典、1gram拼音-同音詞映射字典、2gram詞頻以及2gram拼音-同音詞映射字典這4類底層字典，且這四類底層字典需分別獨(dú)立存儲(chǔ)，在算法加載字典時(shí)不但要分別加載為四個(gè)HashMap，且需分別保存字典中的一一映射關(guān)系。因此，采用這種傳統(tǒng)的數(shù)據(jù)字典的存儲(chǔ)方式往往會(huì)造成較大的信息冗余和空間浪費(fèi)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)字典生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決數(shù)據(jù)存儲(chǔ)時(shí)的信息冗余問題。

本發(fā)明實(shí)施例提供一種數(shù)據(jù)查詢方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決數(shù)據(jù)查詢的效率不高問題。

一種數(shù)據(jù)字典生成方法，包括：

獲取第一待存儲(chǔ)數(shù)據(jù)，所述第一待存儲(chǔ)數(shù)據(jù)包括第一拼音節(jié)點(diǎn)和第二拼音節(jié)點(diǎn)；

基于所述第一拼音節(jié)點(diǎn)和所述第二拼音節(jié)點(diǎn)，在預(yù)設(shè)的第一數(shù)據(jù)字典中進(jìn)行查詢，確定第一索引序列和第二索引序列，其中，第一拼音節(jié)點(diǎn)指通過1gram對(duì)第一待存儲(chǔ)數(shù)據(jù)進(jìn)行句子劃分之后得到的第一個(gè)拼音數(shù)據(jù)；第二拼音節(jié)點(diǎn)指通過所述1gram對(duì)第一待存儲(chǔ)數(shù)據(jù)進(jìn)行句子劃分之后得到的第二個(gè)拼音數(shù)據(jù)；所述第一索引序列為所述第一拼音節(jié)點(diǎn)在所述第一數(shù)據(jù)字典中匹配到的1gram拼音節(jié)點(diǎn)所對(duì)應(yīng)的索引序列，所述第二索引序列為所述第二拼音節(jié)點(diǎn)在所述第一數(shù)據(jù)字典中匹配到的1gram拼音節(jié)點(diǎn)所對(duì)應(yīng)的索引序列；

采用CSR方法對(duì)所述第一索引序列和所述第二索引序列進(jìn)行處理，得到候選索引組；所述采用CSR方法對(duì)所述第一索引序列和所述第二索引序列進(jìn)行處理，得到候選索引組，包括：將第一索引序列作為矩陣的行，將第二索引序列作為矩陣的列；通過CSR方法中的行向量與列向量，確定矩陣中第一索引序列所對(duì)應(yīng)行的列索引數(shù)組，再將第一索引序列所對(duì)應(yīng)行的列索引數(shù)組與第二索引序列做交集處理，得到候選索引組；

在預(yù)設(shè)的第二數(shù)據(jù)字典中查詢每一所述候選索引組的候選頻率值，從所述候選索引組中篩選出所述候選頻率值符合預(yù)設(shè)要求的目標(biāo)索引組；

將所述待存儲(chǔ)數(shù)據(jù)和所述目標(biāo)索引組進(jìn)行映射存儲(chǔ)，生成第三數(shù)據(jù)字典。

一種數(shù)據(jù)查詢方法，包括：

獲取第一待查詢數(shù)據(jù)，將所述第一待查詢數(shù)據(jù)在第三數(shù)據(jù)字典中查詢，確定所述第一待查詢數(shù)據(jù)的待查詢索引組，其中，所述第三數(shù)據(jù)字典是采用所述的數(shù)據(jù)字典生成方法得到的；

基于所述待查詢索引組在第四數(shù)據(jù)字典的存儲(chǔ)數(shù)組中查詢，得到所述第一待查詢數(shù)據(jù)的目標(biāo)字符串，其中，所述第四數(shù)據(jù)字典是指用于存儲(chǔ)第六索引值與對(duì)應(yīng)的樣本頻率值的詞頻字典。

一種數(shù)據(jù)字典生成裝置，包括：

第一獲取模塊，用于獲取第一待存儲(chǔ)數(shù)據(jù)，所述第一待存儲(chǔ)數(shù)據(jù)包括第一拼音節(jié)點(diǎn)和第二拼音節(jié)點(diǎn)；