[發明專利]語料標注方法及裝置

在審

• 申請號: 201810644479.0
• 申請日: 2018-06-21
• 公開（公告）號: CN108829679A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 吳健君;倪嘉呈
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種語料標注方法，其特征在于，包括：

對待標注語料庫中的各語料進行切詞，獲得所述待標注語料庫對應的多個待轉換詞；

根據訓練語料庫對應的各詞的詞向量確定所述待標注語料庫對應的各待轉換詞的詞向量，其中，所述訓練語料庫對應的各詞是對所述訓練語料庫中各語料進行切詞后得到的；

根據所述待標注語料庫對應的各待轉換詞的詞向量確定所述待標注語料庫中各語料的語料向量；

對各語料向量進行聚類，獲得多個聚類簇，對各聚類簇進行標注。

2.根據權利要求1所述的方法，其特征在于，所述根據訓練語料庫對應的各詞的詞向量確定所述待標注語料庫對應的各待轉換詞的詞向量，包括：

對所述待標注語料庫對應的任一個待轉換詞：在訓練語料庫對應的各詞中查找該待轉換詞，如查找到，則從所述訓練語料庫對應的各詞的詞向量中確定該轉換詞的詞向量。

3.根據權利要求1或2所述的方法，其特征在于，所述根據所述待標注語料庫對應的各待轉換詞的詞向量確定所述待標注語料庫中各語料的語料向量，包括：

確定所述待標注語料庫對應的各待轉換詞的權重；

根據所述待標注語料庫對應的各待轉換詞的詞向量和所述權重確定所述待標注語料庫中各語料的語料向量。

4.根據權利要求3所述的方法，其特征在于，所述根據所述待標注語料庫對應的各待轉換詞的詞向量和所述權重確定所述待標注語料庫中各語料的語料向量，包括：

通過公式

計算獲得所述待標注語料庫中各語料的語料向量v(q_j)，其中，所述j為所述待標注語料庫中語料的編號，所述i為語料切詞得到的各待轉換詞的編號，所述q_j為所述待標注語料庫中編號為j的語料，所述n為語料q_j切詞得到的各轉換詞的數量，所述t_ij為編號為j的語料切詞得到的編號為i的待轉換詞，所述w(t_ij)為待轉換詞t_ij的權重，所述v(t_ij)為待轉換詞t_ij的詞向量，所述j、所述i和所述n均為自然數。

5.根據權利要求3所述的方法，其特征在于，所述確定所述待標注語料庫對應的各待轉換詞的權重，包括：

根據公式

w(t_ij)＝freq(t_ij)×idf(t_ij)

計算獲得所述待標注語料庫對應的各待轉換詞t_ij的權重w(t_ij)，其中，所述j為所述待標注語料庫中語料的編號，所述i為語料切詞得到的各待轉換詞的編號，所述t_ij為編號為j的語料切詞得到的編號為i的待轉換詞，所述freq(t_ij)為待轉換詞t_ij在編號為j的語料中出現的頻次，所述idf(t_ij)為待轉換詞t_ij的逆文檔頻率，所述j和所述i均為自然數。

6.根據權利要求1所述的方法，其特征在于，在所述根據所述待標注語料庫對應的各待轉換詞的詞向量確定所述待標注語料庫中各語料的語料向量之后，所述對各語料向量進行聚類之前，所述方法還包括：

對確定的各語料的語料向量進行歸一化處理；

所述對各語料向量進行聚類，包括：

對歸一化處理后的各語料向量進行聚類。