[發明專利]一種新詞的確定方法及裝置

有效

• 申請號: 202010696059.4
• 申請日: 2020-07-20
• 公開（公告）號: CN111563143B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 劉凡平;沈振雷;陳慧
• 申請（專利權）人: 上海二三四五網絡科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 上海唯源專利代理有限公司 31229
• 代理人: 曾耀先

1.一種新詞的確定方法，其基于深度神經網絡確定新詞，其特征在于，包括如下步驟：

a：基于N-Gram算法以及待鑒定文本生成多個原始候選詞；

b：通過大量的文本并基于字、字的語義信息、字的位置信息確定BERT模型，基于特征的方法對多個所述原始候選詞進行訓練，并確定多個向量化候選詞；

c：基于深度神經網絡將多個向量化候選詞輸出成標記為｛y₁，y₂｝的神經元，其中，

當y₁為1，y₂為0時，確定與所述向量化候選詞相對應的原始候選詞為詞語，當y₁為0，y₂為1時，確定與所述向量化候選詞相對應地原始候選詞不為詞語；

d：將一個或多個確定為詞語的一個或多個原始候選詞在數據庫中進行匹配，若不存在于數據庫中，則確定一個或多個所述原始候選詞為新詞。

2.根據權利要求1所述的確定方法，其特征在于，在所述步驟a中，通過如下方式中任一種將文本內容確定為所述待鑒定文本：

- 字節流；

- 字符流；或者

- 詞流。

3.根據權利要求1所述的確定方法，其特征在于，在所述步驟a中，基于所述N-Gram算法生成所述原始候選詞通過如下方式確定：

a1：將待鑒定文本進行大小為N的滑動窗口操作，形成長度為N的字符串,每個字符串稱為gram，其中，1〈N〈M，所述M為所述原始候選詞的字符串個數;

a2：將長度為N所形成的所有字符串確定為原始候選詞。

4.根據權利要求1所述的確定方法，其特征在于，在所述步驟b中，所述向量化候選詞為768維的向量。

5.根據權利要求1所述的確定方法，其特征在于，在所述步驟c中，通過如下方式確定深度神經網絡模型：將正例特征向量相對應的詞語以及負例特征向量相對應的非詞語按照相同比例的數據量對深度神經網絡模型進行訓練，并通過反向傳播算法調節模型參數使得所述深度神經網絡模型具備詞語判別的能力，

其中，所述正例特征向量與標記為｛1，0｝的神經元相對應，所述負例特征向量與標記為｛0，1｝的神經元相對應。

6.根據權利要求5所述的確定方法，其特征在于，所述反向傳播算法調節模型參數通過如下方式確定：

；

其中，表示新的權重，表示上一輪迭代中的權重，表示學習速率，表示反向傳播的誤差調整大小。

7.根據權利要求1所述的確定方法，其特征在于，在所述步驟c中，將多個向量化候選詞進行輸出通過如下方式：

，其中，

y是預測的輸出值，a是期望的輸出，L是指交叉熵損失函數值loss。

8.根據權利要求1所述的確定方法，其特征在于，所述數據庫為標準詞庫。

9.一種新詞的確定裝置，其采用如權利要求1-8中任一項所述的確定方法并基于深度神經網絡確定新詞，其特征在于，包括：

第一處理裝置（1）：基于N-Gram算法以及待鑒定文本生成多個原始候選詞；

第一確定裝置（2）：基于BERT模型對多個所述原始候選詞進行訓練，并確定多個向量化候選詞；

第二處理裝置（3）：基于深度神經網絡將多個向量化候選詞輸出成標記為｛y₁，y₂｝的神經元；

第二確定裝置（4）：將一個或多個確定為詞語的一個或多個原始候選詞在數據庫中進行匹配，若不存在于數據庫中，則確定一個或多個所述原始候選詞為新詞。

10.根據權利要求9所述的確定裝置，其特征在于，所述第一處理裝置（1）包括：

第三處理裝置（11）：將待鑒定文本進行大小為N的滑動窗口操作，形成長度為N的字符串;

第三確定裝置（12）：將長度為N所形成的所有字符串確定為原始候選詞。