[發明專利]一種數據處理方法和系統

有效

• 申請號: 201710285832.6
• 申請日: 2017-04-27
• 公開（公告）號: CN107193883B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 劉超;王洪俊;肖詩斌
• 申請（專利權）人: 北京拓爾思信息技術股份有限公司
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F16/332
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 陳曉娟;王方明

1.一種數據處理方法，其特征在于，包括：

獲取待處理的第一數據，所述第一數據為問題數據；

根據自然語言處理引擎抽取所述第一數據的關鍵詞序列；

預先生成關鍵詞-推薦問題詞典，包括：收集問題-答案對數據；調用中文自然語言處理引擎，抽取問題-答案對數據的關鍵詞；對關鍵詞的權重進行歸一化處理；對所有關鍵詞進行排序創建關鍵詞序列，對所有問題進行排序創建問題序列；生成關鍵詞-問題-權重的三元組矩陣；根據關鍵詞-問題-權重的三元組矩陣進行協同過濾計算；遍歷關鍵詞序列，獲得每個關鍵詞的推薦問題，生成所述關鍵詞-推薦問題詞典；

根據所述關鍵詞-推薦問題詞典確定所述第一數據的關鍵詞序列的推薦數據；

查詢預設的數據庫，得到與所述推薦數據匹配的答案數據。

2.根據權利要求1所述的方法，其特征在于，所述根據所述關鍵詞-推薦問題詞典確定所述第一數據的關鍵詞序列的推薦數據，包括：

遍歷所述第一數據的關鍵詞序列中的各關鍵詞，從所述關鍵詞-推薦問題詞典中確定所述各關鍵詞的推薦數據；

將所述各關鍵詞的推薦數據進行評分排序；

將評分最高的推薦數據確定為所述關鍵詞序列的推薦數據。

3.根據權利要求1所述的方法，其特征在于，所述根據自然語言處理引擎抽取所述第一數據的關鍵詞序列，包括：

對所述第一數據進行分詞；

利用詞頻-逆向文件頻率TF-IDF方式對分詞結果進行加權，抽取所述第一數據的關鍵詞序列。

4.根據權利要求1所述的方法，其特征在于，還包括：

收集熱門關鍵詞、熱門推薦數據、人工標注的關鍵詞和返回行為數據；

對所述熱門關鍵詞、熱門推薦數據、人工標注的關鍵詞和返回行為數據依次進行綜合權重計算和協同過濾計算，定時生成新的關鍵詞-推薦問題詞典。

5.一種數據處理系統，其特征在于，包括：

獲取模塊，用于獲取待處理的第一數據，所述第一數據為問題數據；

抽取模塊，用于根據自然語言處理引擎抽取所述第一數據的關鍵詞序列；

生成模塊，用于預先生成關鍵詞-推薦問題詞典，包括：收集問題-答案對數據；調用中文自然語言處理引擎，抽取問題-答案對數據的關鍵詞；對關鍵詞的權重進行歸一化處理；對所有關鍵詞進行排序創建關鍵詞序列，對所有問題進行排序創建問題序列；生成關鍵詞-問題-權重的三元組矩陣；根據關鍵詞-問題-權重的三元組矩陣進行協同過濾計算；遍歷關鍵詞序列，獲得每個關鍵詞的推薦問題，生成所述關鍵詞-推薦問題詞典；

確定模塊，用于根據所述關鍵詞-推薦問題詞典確定所述第一數據的關鍵詞序列的推薦數據；

查詢模塊，用于查詢預設的數據庫，得到與所述推薦數據匹配的答案數據。

6.根據權利要求5所述的系統，其特征在于，所述確定模塊，包括：

遍歷子模塊，用于遍歷所述第一數據的關鍵詞序列中的各關鍵詞，從所述關鍵詞-推薦問題詞典中確定所述各關鍵詞的推薦數據；

排序子模塊，用于將所述各關鍵詞的推薦數據進行評分排序；

確定子模塊，用于將評分最高的推薦數據確定為所述關鍵詞序列的推薦數據。

7.根據權利要求5所述的系統，其特征在于，所述抽取模塊，包括：

分詞子模塊，用于對所述第一數據進行分詞；

抽取子模塊，用于利用詞頻-逆向文件頻率TF-IDF方式對分詞結果進行加權，抽取所述第一數據的關鍵詞序列。

8.根據權利要求5所述的系統，其特征在于，還包括：

收集模塊，用于收集熱門關鍵詞、熱門推薦數據、人工標注的關鍵詞和返回行為數據；

更新模塊，用于對所述熱門關鍵詞、熱門推薦數據、人工標注的關鍵詞和返回行為數據依次進行綜合權重計算和協同過濾計算，定時生成新的關鍵詞-推薦問題詞典。