[發(fā)明專利]咨詢問題聚合的方法和裝置

在審

• 申請?zhí)枺?/td>: 201510341110.9
• 申請日: 2015-06-18
• 公開（公告）號: CN104866631A
• 公開（公告）日: 2015-08-26
• 發(fā)明（設(shè)計）人: 邵佳帥;陳海勇;牟川;邢志峰
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 姜勁;陸錦華

1.一種咨詢問題聚合的方法，其特征在于，包括：

獲取文本數(shù)據(jù)并對所述文本數(shù)據(jù)進(jìn)行預(yù)處理，所述文本數(shù)據(jù)是問答系統(tǒng)數(shù)據(jù)庫中存儲的之前咨詢過的問題的文本數(shù)據(jù)；

提取預(yù)處理后的文本數(shù)據(jù)的句子主干；

將所提取的句子主干進(jìn)行聚合并輸出所聚合的數(shù)據(jù)集合。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述文本數(shù)據(jù)進(jìn)行預(yù)處理包括：

對獲取的文本數(shù)據(jù)進(jìn)行字符歸一化、去除無用字符以及去除無用信息的處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，提取預(yù)處理后的文本數(shù)據(jù)的句子主干包括：

基于問句模式提取預(yù)處理后的文本數(shù)據(jù)的句子主干。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所提取的句子主干進(jìn)行聚合包括：

采用simhash算法，計算所提取的句子主干之間的海明距離，按照預(yù)設(shè)規(guī)則將海明距離小于預(yù)設(shè)閾值的句子聚合到同一數(shù)據(jù)集合。

5.根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，將所提取的句子主干進(jìn)行聚合還包括：

在將所提取的句子主干進(jìn)行聚合前，生成預(yù)處理后的文本數(shù)據(jù)與所提取的句子主干數(shù)據(jù)的哈希對應(yīng)關(guān)系；

在將所提取的句子主干進(jìn)行聚合后，將所聚合的數(shù)據(jù)集合內(nèi)的各句子主干根據(jù)所述哈希對應(yīng)關(guān)系的哈希值映射回預(yù)處理后的文本數(shù)據(jù)。

6.一種咨詢問題聚合的裝置，其特征在于，包括：

預(yù)處理模塊，用于獲取文本數(shù)據(jù)并對所述文本數(shù)據(jù)進(jìn)行預(yù)處理，所述文本數(shù)據(jù)是問答系統(tǒng)數(shù)據(jù)庫中存儲的之前咨詢過的問題的文本數(shù)據(jù)；

提取模塊，用于提取預(yù)處理后的文本數(shù)據(jù)的句子主干；

聚合模塊，用于將所提取的句子主干進(jìn)行聚合并輸出所聚合的數(shù)據(jù)集合。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述預(yù)處理模塊還包括：

用于對獲取的文本數(shù)據(jù)進(jìn)行字符歸一化、去除無用字符以及去除無用信息的模塊。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述提取模塊還包括：

用于基于問句模式提取預(yù)處理后的文本數(shù)據(jù)的句子主干的模塊。

9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述聚合模塊還包括：

用于采用simhash算法，計算所提取的句子主干之間的海明距離，按照預(yù)設(shè)規(guī)則將海明距離小于預(yù)設(shè)閾值的句子聚合到同一數(shù)據(jù)集合的模塊。

10.根據(jù)權(quán)利要求6至9任一所述的裝置，其特征在于，所述聚合模塊還包括：

用于在將所提取的句子主干進(jìn)行聚合前，生成預(yù)處理后的文本數(shù)據(jù)與所提取的句子主干數(shù)據(jù)的哈希對應(yīng)關(guān)系的模塊；以及

用于在將所提取的句子主干進(jìn)行聚合后，將所聚合的數(shù)據(jù)集合內(nèi)的各句子主干根據(jù)所述哈希對應(yīng)關(guān)系的哈希值映射回預(yù)處理后的文本數(shù)據(jù)的模塊。