[發(fā)明專(zhuān)利]社區(qū)內(nèi)容風(fēng)險(xiǎn)評(píng)估方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910221531.6
• 申請(qǐng)日: 2019-03-22
• 公開(kāi)（公告）號(hào): CN110046251A
• 公開(kāi)（公告）日: 2019-07-23
• 發(fā)明（設(shè)計(jì)）人: 趙智源;祝慧佳;周書(shū)恒;郭亞;徐陳虹
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F17/27;G06K9/62;G06F16/958
• 代理公司: 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許振新;朱文杰

1.一種社區(qū)內(nèi)容風(fēng)險(xiǎn)評(píng)估方法，其特征在于，包括：

對(duì)所述社區(qū)內(nèi)容的整體內(nèi)容文本進(jìn)行分詞，獲得分詞文本，并將每一個(gè)所述分詞文本轉(zhuǎn)換為文本向量；

對(duì)每一個(gè)所述文本向量聚類(lèi)，構(gòu)建簇，其中，每一個(gè)所述簇中包含所述文本向量對(duì)應(yīng)的分詞文本；

確定每一個(gè)簇對(duì)應(yīng)的分詞文本抽樣數(shù)，并在每一個(gè)所述簇中，按照對(duì)應(yīng)的所述分詞文本抽樣數(shù)進(jìn)行分詞文本抽樣；

在每一個(gè)所述簇中，判斷每一個(gè)抽樣的分詞文本是否為風(fēng)險(xiǎn)內(nèi)容，并統(tǒng)計(jì)被確定為風(fēng)險(xiǎn)內(nèi)容的分詞文本的數(shù)量；

根據(jù)每一個(gè)所述簇中，被確定為風(fēng)險(xiǎn)內(nèi)容的分詞文本的數(shù)量，確定所述社區(qū)內(nèi)容的風(fēng)險(xiǎn)召回指標(biāo)。

2.如權(quán)利要求1的方法，其特征在于，所述將每一個(gè)分詞后的所述分詞文本轉(zhuǎn)換為文本向量的步驟中，使用預(yù)訓(xùn)練的TextCNN二分類(lèi)模型。

3.如權(quán)利要求1的方法，其特征在于，所述將每一個(gè)分詞后的所述分詞文本轉(zhuǎn)換為文本向量的步驟中，使用以下任意一種預(yù)設(shè)的模型：LSTM、word2vec、doc2vec。

4.如權(quán)利要求1的方法，其特征在于，所述對(duì)每一個(gè)所述文本向量聚類(lèi)，構(gòu)建簇的步驟中，使用以下任意一種算法：k-means算法、K-MEDOIDS算法、CLARANS算法。

5.如權(quán)利要求1的方法，其特征在于，所述確定每一個(gè)簇對(duì)應(yīng)的分詞文本抽樣數(shù)的步驟中，使用以下任意一種方式確定所述分詞文本抽樣數(shù)：分層定比、非比例分配法、奈曼法。

6.如權(quán)利要求5的方法，其特征在于，所述確定每一個(gè)簇對(duì)應(yīng)的分詞文本抽樣數(shù)的步驟中，如果所述簇包含的分詞文本的數(shù)量在所述社區(qū)內(nèi)容的整體內(nèi)容文本對(duì)應(yīng)的分詞文本的總數(shù)中所占的比例低于預(yù)設(shè)的閾值，采用非比例分配法確定所述簇對(duì)應(yīng)的分詞文本抽樣數(shù)。

7.如權(quán)利要求6的方法，其特征在于，所述對(duì)整體內(nèi)容文本進(jìn)行分詞，獲得分詞后的所述分詞文本的步驟之前，還包括：

對(duì)所述整體內(nèi)容文本進(jìn)行預(yù)處理。

8.一種社區(qū)內(nèi)容風(fēng)險(xiǎn)評(píng)估裝置，其特征在于，包括：

文本向量模塊，用于對(duì)所述社區(qū)內(nèi)容的整體內(nèi)容文本進(jìn)行分詞，獲得分詞文本，并將每一個(gè)所述分詞文本轉(zhuǎn)換為文本向量；

聚類(lèi)模塊，用于對(duì)每一個(gè)所述文本向量聚類(lèi)，構(gòu)建簇，其中，所述簇中包含所述文本向量對(duì)應(yīng)的分詞文本；

抽樣模塊，用于確定每一個(gè)所述簇對(duì)應(yīng)的分詞文本抽樣數(shù)，在每一個(gè)所述簇中，按照對(duì)應(yīng)的分詞文本抽樣數(shù)進(jìn)行分詞文本抽樣；

風(fēng)險(xiǎn)內(nèi)容統(tǒng)計(jì)模塊，用于在每一個(gè)所述簇中，判斷每一個(gè)抽樣的分詞文本是否為風(fēng)險(xiǎn)內(nèi)容，并統(tǒng)計(jì)被確定為風(fēng)險(xiǎn)內(nèi)容的分詞文本的數(shù)量；

風(fēng)險(xiǎn)召回指標(biāo)模塊，用于根據(jù)每一個(gè)所述簇中，被確定為風(fēng)險(xiǎn)內(nèi)容的分詞文本的數(shù)量，確定所述社區(qū)內(nèi)容的風(fēng)險(xiǎn)召回指標(biāo)。

9.一種社區(qū)內(nèi)容風(fēng)險(xiǎn)評(píng)估設(shè)備，其特征在于，包括：

存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令；以及，

處理器，用于在執(zhí)行計(jì)算機(jī)可執(zhí)行指令時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任意一項(xiàng)的方法中的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任意一項(xiàng)的方法中的步驟。