[發(fā)明專利]語料標(biāo)注方法及裝置

在審

• 申請?zhí)枺?/td>: 201810644479.0
• 申請日: 2018-06-21
• 公開（公告）號: CN108829679A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計）人: 吳健君;倪嘉呈
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明實施例提供的一種語料標(biāo)注方法及裝置，可以對待標(biāo)注語料庫中的各語料進(jìn)行切詞，獲得所述待標(biāo)注語料庫對應(yīng)的多個待轉(zhuǎn)換詞；根據(jù)訓(xùn)練語料庫對應(yīng)的各詞的詞向量確定所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量，其中，所述訓(xùn)練語料庫對應(yīng)的各詞是對所述訓(xùn)練語料庫中各語料進(jìn)行切詞后得到的；根據(jù)所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量確定所述待標(biāo)注語料庫中各語料的語料向量；對各語料向量進(jìn)行聚類，獲得多個聚類簇，對各聚類簇進(jìn)行標(biāo)注。由于本發(fā)明實現(xiàn)了對語料向量的聚類標(biāo)注，因此無需對每一個語料單獨進(jìn)行標(biāo)注，更加方便和快捷，有效提高了語料標(biāo)注的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理領(lǐng)域，特別涉及語料標(biāo)注方法及裝置。

背景技術(shù)

對語料庫中的語料進(jìn)行標(biāo)注是自然語言處理領(lǐng)域的一種重要技術(shù)，在查詢短語(Query)分析等方面有著廣泛的應(yīng)用。

現(xiàn)有的語料標(biāo)注技術(shù)需要分別對語料庫中的每一個語料單獨進(jìn)行標(biāo)注，由于語料庫中的語料數(shù)量較多，因此現(xiàn)有語料標(biāo)注技術(shù)的標(biāo)注效率較低。

如何提高語料標(biāo)注的效率仍是本領(lǐng)域一個亟待解決的技術(shù)難題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種語料標(biāo)注方法及裝置，以實現(xiàn)對語料的高效率批注，技術(shù)方案如下：

一種語料標(biāo)注方法，包括：

對待標(biāo)注語料庫中的各語料進(jìn)行切詞，獲得所述待標(biāo)注語料庫對應(yīng)的多個待轉(zhuǎn)換詞；

根據(jù)訓(xùn)練語料庫對應(yīng)的各詞的詞向量確定所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量，其中，所述訓(xùn)練語料庫對應(yīng)的各詞是對所述訓(xùn)練語料庫中各語料進(jìn)行切詞后得到的；

根據(jù)所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量確定所述待標(biāo)注語料庫中各語料的語料向量；

對各語料向量進(jìn)行聚類，獲得多個聚類簇，對各聚類簇進(jìn)行標(biāo)注。

可選的，所述根據(jù)訓(xùn)練語料庫對應(yīng)的各詞的詞向量確定所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量，包括：

對所述待標(biāo)注語料庫對應(yīng)的任一個待轉(zhuǎn)換詞：在訓(xùn)練語料庫對應(yīng)的各詞中查找該待轉(zhuǎn)換詞，如查找到，則從所述訓(xùn)練語料庫對應(yīng)的各詞的詞向量中確定該轉(zhuǎn)換詞的詞向量。

可選的，所述根據(jù)所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量確定所述待標(biāo)注語料庫中各語料的語料向量，包括：

確定所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的權(quán)重；

根據(jù)所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量和所述權(quán)重確定所述待標(biāo)注語料庫中各語料的語料向量。

可選的，所述根據(jù)所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的詞向量和所述權(quán)重確定所述待標(biāo)注語料庫中各語料的語料向量，包括：

通過公式

計算獲得所述待標(biāo)注語料庫中各語料的語料向量v(q_j)，其中，所述j為所述待標(biāo)注語料庫中語料的編號，所述i為語料切詞得到的各待轉(zhuǎn)換詞的編號，所述q_j為所述待標(biāo)注語料庫中編號為j的語料，所述n為語料q_j切詞得到的各轉(zhuǎn)換詞的數(shù)量，所述t_ij為編號為j的語料切詞得到的編號為i的待轉(zhuǎn)換詞，所述w(t_ij)為待轉(zhuǎn)換詞t_ij的權(quán)重，所述v(t_ij)為待轉(zhuǎn)換詞t_ij的詞向量，所述j、所述i和所述n均為自然數(shù)。

可選的，所述確定所述待標(biāo)注語料庫對應(yīng)的各待轉(zhuǎn)換詞的權(quán)重，包括：

根據(jù)公式