[發(fā)明專利]分布式的級(jí)聯(lián)裂變查詢方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201610252466.X
• 申請(qǐng)日: 2016-04-21
• 公開（公告）號(hào): CN107305568A
• 公開（公告）日: 2017-10-31
• 發(fā)明（設(shè)計(jì)）人: 郭瑞;郭祥
• 申請(qǐng)（專利權(quán)）人: 北京智能管家科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司11002
• 代理人: 李相雨

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種分布式的級(jí)聯(lián)裂變查詢方法及裝置。

背景技術(shù)

網(wǎng)絡(luò)、通訊及計(jì)算機(jī)技術(shù)的迅猛發(fā)展也極大程度地推動(dòng)了人工智能技術(shù)的進(jìn)步。在此背景下，語(yǔ)音處理及數(shù)據(jù)挖掘也受到了越來越多的關(guān)注。

語(yǔ)音處理可識(shí)別出說話人所說的內(nèi)容，并將其轉(zhuǎn)化為文本數(shù)據(jù)，進(jìn)而可以將這些總量持續(xù)增長(zhǎng)的數(shù)據(jù)持久保存下來，以為后續(xù)進(jìn)行數(shù)據(jù)挖掘，進(jìn)而進(jìn)行數(shù)據(jù)查詢提供基礎(chǔ)。

目前，數(shù)據(jù)查詢前所進(jìn)行的離線數(shù)據(jù)挖掘多使用單線程、單進(jìn)程處理數(shù)據(jù)，再加上數(shù)據(jù)的增長(zhǎng)速度十分迅速，導(dǎo)致數(shù)據(jù)挖掘時(shí)間長(zhǎng)，挖掘效率低，甚至容易導(dǎo)致系統(tǒng)崩潰，進(jìn)而影響后續(xù)用戶查詢數(shù)據(jù)的準(zhǔn)確性。

發(fā)明內(nèi)容

為消除現(xiàn)有數(shù)據(jù)查詢中進(jìn)行離線數(shù)據(jù)挖掘時(shí)存在的數(shù)據(jù)挖掘時(shí)間長(zhǎng)、挖掘效率低、甚至容易導(dǎo)致系統(tǒng)崩潰、影響用戶查詢數(shù)據(jù)的準(zhǔn)確性的弊端，本發(fā)明一方面提出了一種分布式的級(jí)聯(lián)裂變查詢方法，所述方法包括：

在預(yù)設(shè)的分布式系統(tǒng)開發(fā)框架中創(chuàng)建用于放置裂變?cè)~的裂變?cè)~文件以及用于放置裂變模式的裂變模式文件；

其中，所述裂變?cè)~為用于將語(yǔ)句劃分成裂變模式的關(guān)鍵詞，所述裂變模式為根據(jù)所述語(yǔ)句包含的所述關(guān)鍵詞的詞性以及包含的其他詞語(yǔ)的詞性將所述語(yǔ)句進(jìn)行劃分所得的模式；

根據(jù)所述裂變?cè)~文件中的裂變?cè)~以及所述裂變模式文件中的裂變模式進(jìn)行迭代裂變搜索，以確定裂變?cè)~集合和裂變模集合；

根據(jù)所述裂變?cè)~集合和裂變模集合對(duì)待查詢語(yǔ)句進(jìn)行裂變處理，并根據(jù)處理結(jié)果獲取并返回查詢結(jié)果。

可選地，所述根據(jù)所述裂變?cè)~文件中的裂變?cè)~以及所述裂變模式文件中的裂變模式進(jìn)行迭代裂變搜索，以確定裂變?cè)~集合和裂變模集合，包括：

根據(jù)所述裂變?cè)~文件中的裂變?cè)~以及對(duì)預(yù)設(shè)數(shù)量的語(yǔ)料進(jìn)行標(biāo)注所獲取的標(biāo)注結(jié)果挖掘新的裂變模式，并將所述新的裂變模式放入所述裂變模式文件中；

根據(jù)所述裂變模式文件中的所述裂變模式以及所述語(yǔ)料，挖掘新的裂變?cè)~，并將所述新的裂變?cè)~放入所述裂變?cè)~文件中；

交替重復(fù)上述挖掘新的裂變模式以及挖掘新的裂變?cè)~的步驟，直至不再出現(xiàn)新的裂變模式或新的裂變?cè)~，并將最終所得的裂變?cè)~文件和裂變模式文件分別作為裂變?cè)~集合和裂變模集合。

可選地，所述根據(jù)所述裂變?cè)~文件中的裂變?cè)~以及所述裂變模式文件中的裂變模式進(jìn)行迭代裂變搜索之前，所述方法還包括：

在所述分布式系統(tǒng)開發(fā)框架中對(duì)預(yù)設(shè)數(shù)量的語(yǔ)料進(jìn)行標(biāo)注，以獲取標(biāo)注結(jié)果；

相應(yīng)地，所述根據(jù)所述裂變?cè)~集合和裂變模集合對(duì)待查詢語(yǔ)句進(jìn)行裂變處理，并根據(jù)處理結(jié)果獲取并返回查詢結(jié)果，包括：

根據(jù)所述標(biāo)注結(jié)果、所述裂變?cè)~集合和裂變模集合對(duì)待查詢語(yǔ)句進(jìn)行裂變處理，并根據(jù)處理結(jié)果獲取并返回查詢結(jié)果。

可選地，所述分布式系統(tǒng)開發(fā)框架包括但不限于分布式系統(tǒng)基礎(chǔ)框架hadoop。

可選地，所述在所述分布式系統(tǒng)開發(fā)框架中對(duì)預(yù)設(shè)數(shù)量的語(yǔ)料進(jìn)行標(biāo)注，包括：

利用hadoop的map/reduce調(diào)用分詞程序?qū)λ稣Z(yǔ)料中的語(yǔ)句進(jìn)行分詞并按照詞性進(jìn)行標(biāo)注。

另一方面，本發(fā)明還提供了一種分布式的級(jí)聯(lián)裂變查詢裝置，包括：

文件創(chuàng)建單元，用于在預(yù)設(shè)的分布式系統(tǒng)開發(fā)框架中創(chuàng)建用于放置裂變?cè)~的裂變?cè)~文件以及用于放置裂變模式的裂變模式文件；

其中，所述裂變?cè)~為用于將語(yǔ)句劃分成裂變模式的關(guān)鍵詞，所述裂變模式為根據(jù)所述語(yǔ)句包含的所述關(guān)鍵詞的詞性以及包含的其他詞語(yǔ)的詞性將所述語(yǔ)句進(jìn)行劃分所得的模式；

集合確定單元，用于根據(jù)所述裂變?cè)~文件中的裂變?cè)~以及所述裂變模式文件中的裂變模式進(jìn)行迭代裂變搜索，以確定裂變?cè)~集合和裂變模集合；

裂變查詢單元，用于根據(jù)所述裂變?cè)~集合和裂變模集合對(duì)待查詢語(yǔ)句進(jìn)行裂變處理，并根據(jù)處理結(jié)果獲取并返回查詢結(jié)果。

可選地，所述集合確定單元進(jìn)一步用于：

根據(jù)所述裂變?cè)~文件中的裂變?cè)~以及對(duì)預(yù)設(shè)數(shù)量的語(yǔ)料進(jìn)行標(biāo)注所獲取的標(biāo)注結(jié)果挖掘新的裂變模式，并將所述新的裂變模式放入所述裂變模式文件中；

根據(jù)所述裂變模式文件中的所述裂變模式以及所述語(yǔ)料，挖掘新的裂變?cè)~，并將所述新的裂變?cè)~放入所述裂變?cè)~文件中；

交替重復(fù)上述挖掘新的裂變模式以及挖掘新的裂變?cè)~的步驟，直至不再出現(xiàn)新的裂變模式或新的裂變?cè)~，并將最終所得的裂變?cè)~文件和裂變模式文件分別作為裂變?cè)~集合和裂變模集合。

可選地，所述裝置還包括：