[發(fā)明專利]一種新詞發(fā)現(xiàn)方法及裝置

在審

• 申請?zhí)枺?/td>: 201810409087.6
• 申請日: 2018-05-02
• 公開（公告）號: CN108595433A
• 公開（公告）日: 2018-09-28
• 發(fā)明（設計）人: 張明珠;陳雁;劉玉璽;趙加奎;歐陽紅;袁葆;吳佐平
• 申請（專利權）人: 北京中電普華信息技術有限公司;國網(wǎng)信息通信產業(yè)集團有限公司;國家電網(wǎng)公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 巴翠昆;王寶筠

1.一種新詞發(fā)現(xiàn)方法，其特征在于，包括：

獲取電力行業(yè)文檔；

基于通用詞庫對電力行業(yè)文檔進行分詞操作并獲得分詞結果；

對分詞結果執(zhí)行篩選操作，獲得符合篩選條件的候選詞集；

在所述候選詞集中基于信息熵的大小來確定新詞。

2.如權利要求1所述的方法，其特征在于，所述在所述候選詞集中確定新詞，包括：

針對候選詞集中各候選詞執(zhí)行下述步驟：

計算候選詞的左信息熵；

若所述左信息熵不大于閾值，則將候選詞與左鄰接分詞重新組成候選詞，直到左信息熵大于閾值；

若所述左信息熵大于閾值，則計算候選詞的右信息熵；

若所述右信息熵不大于閾值，則將候選詞與右鄰接分詞重新組成候選詞匯，直到右信息熵大于閾值；

將候選詞確定為作為新詞。

3.如權利要求2所述的方法，其特征在于，在將候選詞確定為作為新詞之前還包括：

將所述候選詞拆分為兩個詞匯；

計算所述兩個詞匯的互信息熵；

若所述兩個詞匯的互信息熵大于閾值，則執(zhí)行將所述候選詞確定為新詞的步驟。

4.如權利要求2所述的方法，其特征在于，在所述左信息熵大于閾值，以及，在右信息熵大于閾值之后，還包括：

判斷候選詞的長度是否大于預設長度；

若候選詞的長度大于預設長度，則刪除所述候選詞。

5.如權利要求1所述的方法，其特征在于，在所述候選詞集中確定新詞之后，還包括：

利用條件隨機場特征模型對新詞進行詞性標注；

添加標注詞性的新詞至電力行業(yè)詞庫。

6.一種新詞發(fā)現(xiàn)裝置，其特征在于，包括：

獲取文檔單元，用于獲取電力行業(yè)文檔；

分詞單元，用于基于通用詞庫對電力行業(yè)文檔進行分詞操作并獲得分詞結果；

篩選單元，用于對分詞結果執(zhí)行篩選操作，獲得符合篩選條件的候選詞集；

確定單元，用于在所述候選詞集中確定新詞。

7.如權利要求6所述的裝置，其特征在于，所述確定單元包括：

左信息熵計算單元，用于計算候選詞的左信息熵；

左重組單元，用于若所述左信息熵不大于閾值，則將候選詞與左鄰接分詞重新組成候選詞，直到左信息熵大于閾值；

右信息熵計算單元，用于若所述左信息熵大于閾值，則計算候選詞的右信息熵；

右重組單元，用于若所述右信息熵不大于閾值，則將候選詞與右鄰接分詞重新組成候選詞匯，直到右信息熵大于閾值；

新詞確定單元，用于將候選詞確定為作為新詞。

8.如權利要求7所述的裝置，其特征在于，還包括：

互信息計算單元，用于在將候選詞確定為作為新詞之前，將所述候選詞拆分為兩個詞匯，計算所述兩個詞匯的互信息熵；

判斷單元，用于若所述兩個詞匯的互信息熵大于閾值，則進入新詞確定單元執(zhí)行將所述候選詞確定為新詞的步驟。

9.如權利要求7所述的裝置，其特征在于，還包括：

刪除單元，用于在所述左信息熵大于閾值，以及，在右信息熵大于閾值之后，判斷候選詞的長度是否大于預設長度；若候選詞的長度大于預設長度，則刪除所述候選詞。

10.如權利要求6所述的裝置，其特征在于，還包括：

詞性標注單元，用于在所述候選詞集中確定新詞之后，利用條件隨機場特征模型對新詞進行詞性標注；

添加單元，用于添加標注詞性的新詞至電力行業(yè)詞庫。