[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置及計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911420312.7
• 申請日: 2019-12-31
• 公開（公告）號: CN111143569B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計）人: 劉志煌
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284;G06F40/289;G06F40/30;G06Q30/0201;G06Q30/0203
• 代理公司: 深圳翼盛智成知識產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 蔡艾瑩

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

采集待訓練樣本，并對所述待訓練樣本進行詞性標注和預(yù)設(shè)類別標簽標定處理，得到相應(yīng)的目標詞性標注序列；

對所述目標詞性標注序列進行計算，得到頻繁序列以及相應(yīng)的置信度，將置信度滿足預(yù)設(shè)條件的頻繁序列確定為目標挖掘規(guī)則；

根據(jù)所述目標挖掘規(guī)則對所述目標詞性標注序列進行遍歷，迭代擴充預(yù)設(shè)類別標簽的挖掘詞；所述迭代擴充包括：根據(jù)所述目標挖掘規(guī)則對每一詞性進行預(yù)設(shè)類別標定的標定規(guī)則，將挖掘序列中的未標定預(yù)設(shè)類別標簽的分詞進行標定，將所述未標定的分詞作為相應(yīng)預(yù)設(shè)類別標簽的挖掘詞；

為符合目標挖掘規(guī)則的目標詞性標注序列添加分類訓練標簽，并提取添加分類訓練標簽的目標詞性標注序列中的詞向量和相應(yīng)的權(quán)重向量；

根據(jù)所述詞向量、權(quán)重向量以及分類訓練標簽對分類網(wǎng)絡(luò)模型進行訓練，得到訓練后的分類網(wǎng)絡(luò)模型，基于訓練后的分類網(wǎng)絡(luò)模型對目標詞性標注序列進行分類處理；

所述對所述目標詞性標注序列進行計算，得到頻繁序列以及相應(yīng)的置信度，將置信度滿足預(yù)設(shè)條件的頻繁序列確定為目標挖掘規(guī)則的步驟，包括：

通過頻繁序列挖掘算法對所述目標詞性標注序列進行挖掘，得到相應(yīng)的頻繁序列；

獲取每一頻繁序列中包含的預(yù)設(shè)類別標簽的第一目標種類數(shù)以及預(yù)設(shè)類別標簽的總種類數(shù)；

根據(jù)所述第一目標種類數(shù)與所述總種類數(shù)的比值確定相應(yīng)的第一置信度；

將所述第一置信度大于第一預(yù)設(shè)置信度閾值的頻繁序列確定為目標挖掘規(guī)則。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述通過頻繁序列挖掘算法對所述目標詞性標注序列進行挖掘，得到相應(yīng)的頻繁序列的步驟，包括：

獲取預(yù)設(shè)支持率和所述待訓練樣本的分句數(shù)量；

根據(jù)所述預(yù)設(shè)支持率和所述分句數(shù)量的乘積確定相應(yīng)的預(yù)設(shè)支持度；

通過頻繁序列挖掘算法挖掘所述目標詞性標注序列的公共規(guī)則，確定符合所述公共規(guī)則的目標詞性標注序列的目標數(shù)量；

當所述目標數(shù)量大于所述預(yù)設(shè)支持度時，將所述公共規(guī)則確定為頻繁序列。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述對所述待訓練樣本進行詞性標注和預(yù)設(shè)類別標簽標定處理，得到相應(yīng)的目標詞性標注序列的步驟，包括：

對所述待訓練樣本進行分句、分詞和詞性標注操作，得到相應(yīng)的詞性標注序列；

獲取預(yù)設(shè)類別標簽的挖掘詞，并確定所述詞性標注序列中的挖掘詞；

為所述詞性標注序列中的挖掘詞標定相應(yīng)的預(yù)設(shè)類別標簽，得到相應(yīng)的目標詞性標注序列。

4.根據(jù)權(quán)利要求1至3任一項所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述目標挖掘規(guī)則對所述目標詞性標注序列進行遍歷，迭代擴充預(yù)設(shè)類別標簽的挖掘詞的步驟，包括：

確定所述目標詞性標注序列中與所述目標挖掘規(guī)則的頻繁序列匹配的挖掘序列；

獲取每一挖掘序列中包含的預(yù)設(shè)類別標簽的第二目標種類數(shù)以及預(yù)設(shè)類別標簽的總種類數(shù)，并根據(jù)所述第二目標種類數(shù)與所述總種類數(shù)的比值確定相應(yīng)的第二置信度；

將所述第二置信度大于第二預(yù)設(shè)置信度閾值的挖掘序列確定為目標挖掘序列，并按照所述目標挖掘規(guī)則對所述目標挖掘序列中的分詞進行預(yù)設(shè)類別標簽標定，擴充預(yù)設(shè)類別標簽的挖掘詞；

重新執(zhí)行獲取每一挖掘序列中包含的預(yù)設(shè)類別標簽的第二目標種類數(shù)以及預(yù)設(shè)類別標簽的總種類數(shù)的步驟，迭代對所述目標挖掘序列中的分詞進行預(yù)設(shè)類別標簽標定，擴充預(yù)設(shè)類別標簽的挖掘詞，直至迭代次數(shù)滿足預(yù)設(shè)迭代閾值。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述按照所述目標挖掘規(guī)則對所述目標挖掘序列中的分詞進行預(yù)設(shè)類別標簽標定，擴充預(yù)設(shè)類別標簽的挖掘詞的步驟，包括：

獲取所述目標挖掘規(guī)則中對每一詞性進行預(yù)設(shè)類別標簽標定的標定規(guī)則；

根據(jù)所述標定規(guī)則對所述目標挖掘序列中的分詞按照詞性進行預(yù)設(shè)類別標簽標定，擴充預(yù)設(shè)類別標簽的挖掘詞。