[發(fā)明專利]面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211519557.7
• 申請(qǐng)日: 2022-11-30
• 公開（公告）號(hào): CN116151387A
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 張友豪;史海雄;馮衛(wèi)強(qiáng);劉守洲;吳筱巧
• 申請(qǐng)（專利權(quán)）人: 上海大智慧財(cái)匯數(shù)據(jù)科技有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F18/2411;G06F18/25
• 代理公司: 上海鍛創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 31448
• 代理人: 范文琦

1.一種面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法，其特征在于，包括：

輸入步驟：輸入新聞標(biāo)題、新聞?wù)摹⑿侣勚械臋C(jī)構(gòu)名稱和關(guān)鍵詞，并對(duì)輸入數(shù)據(jù)進(jìn)行格式化處理；

機(jī)構(gòu)實(shí)體定位步驟：進(jìn)行機(jī)構(gòu)定位，對(duì)于全部所述機(jī)構(gòu)名稱在新聞標(biāo)題或新聞?wù)闹羞M(jìn)行關(guān)聯(lián)；

特征提取步驟：根據(jù)機(jī)構(gòu)定位結(jié)果提取特征，并根據(jù)提取的特征構(gòu)建特征矩陣；

模型學(xué)習(xí)步驟：輸入所述特征矩陣，構(gòu)建模型及訓(xùn)練模型，利用機(jī)器學(xué)習(xí)方法進(jìn)行分類或排序；

輸出步驟：根據(jù)分類和排序結(jié)果，輸出新聞主體機(jī)構(gòu)判別結(jié)果。

2.根據(jù)權(quán)利要求1所述的面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法，其特征在于，所述輸入步驟包括：

步驟S1.1：剔除所述新聞標(biāo)題中的亂碼，對(duì)標(biāo)點(diǎn)符號(hào)做統(tǒng)一轉(zhuǎn)換；

步驟S1.2：剔除所述新聞?wù)闹芯W(wǎng)頁鏈接及亂碼，對(duì)標(biāo)點(diǎn)符號(hào)做統(tǒng)一轉(zhuǎn)換。

3.根據(jù)權(quán)利要求1所述的面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法，其特征在于，所述機(jī)構(gòu)實(shí)體定位步驟包括：

步驟S2.1：通過CRF機(jī)器學(xué)習(xí)將所述機(jī)構(gòu)名稱、新聞標(biāo)題或新聞?wù)牡娜Q轉(zhuǎn)化為簡稱；

步驟S2.2：根據(jù)步驟S2.1處理后的所有待匹配的機(jī)構(gòu)名稱，構(gòu)造有限狀態(tài)機(jī)；

步驟S2.3：根據(jù)所述有限狀態(tài)機(jī)，在新聞標(biāo)題和正文中進(jìn)行AC算法匹配；

步驟S2.4：根據(jù)步驟S2.3的匹配結(jié)果，剔除重復(fù)機(jī)構(gòu)實(shí)體，消除機(jī)構(gòu)實(shí)體歧義。

4.根據(jù)權(quán)利要求3所述的面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法，其特征在于，所述步驟S2.2具體包括：

步驟S2.2.1：基于所有待匹配機(jī)構(gòu)名稱，構(gòu)建有限狀態(tài)機(jī)；

步驟S2.2.2：將字符串作為輸入數(shù)據(jù)送入所述模式匹配機(jī)；

步驟S2.2.3：對(duì)機(jī)構(gòu)名稱進(jìn)行匹配。

5.根據(jù)權(quán)利要求3所述的面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法，其特征在于，所述步驟S2.3具體包括：

步驟S2.3.1：匹配新聞中對(duì)應(yīng)的機(jī)構(gòu)名稱；

步驟S2.3.2：對(duì)機(jī)構(gòu)名稱進(jìn)行狀態(tài)設(shè)置，若該字符不屬于機(jī)構(gòu)名稱，則將狀態(tài)設(shè)為-1，若該字符屬于機(jī)構(gòu)名稱，則按機(jī)構(gòu)名稱字符順序設(shè)置狀態(tài)集合s＝{1,2,…,N}；

步驟S2.3.3：設(shè)置合法的狀態(tài)轉(zhuǎn)移，包括：

進(jìn)入動(dòng)作：從-1轉(zhuǎn)移至第i個(gè)字符對(duì)應(yīng)的狀態(tài)，i字符需要在機(jī)構(gòu)名稱中，對(duì)應(yīng)的狀態(tài)集合為s；

轉(zhuǎn)移動(dòng)作：從第i個(gè)字符對(duì)應(yīng)的狀態(tài)轉(zhuǎn)移至第j個(gè)字符對(duì)應(yīng)的狀態(tài)，其中i,j?in?s,ij；

結(jié)束動(dòng)作：第i個(gè)字符對(duì)應(yīng)的狀態(tài)不在s集合中，狀態(tài)轉(zhuǎn)移為-1，則結(jié)束匹配。

6.根據(jù)權(quán)利要求1所述的面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法，其特征在于，所述特征提取步驟包括：

步驟S3.1：特征提取，對(duì)于所述新聞標(biāo)題和新聞?wù)闹械臋C(jī)構(gòu)實(shí)體定位結(jié)果，分別提取特征；

步驟S3.2：根據(jù)提取的特征，構(gòu)建特征矩陣，作為模型學(xué)習(xí)模塊的輸入；

其中，所述特征提取的種類包括：

出現(xiàn)的頻率：即機(jī)構(gòu)實(shí)體名稱在新聞標(biāo)題、新聞?wù)闹谐霈F(xiàn)的次數(shù)；

出現(xiàn)的位置：即機(jī)構(gòu)實(shí)體名稱在新聞標(biāo)題、新聞?wù)闹惺紫瘸霈F(xiàn)的位置；

共現(xiàn)次數(shù)：即兩個(gè)機(jī)構(gòu)實(shí)體或機(jī)構(gòu)實(shí)體與關(guān)鍵詞共同出現(xiàn)的次數(shù)。

7.根據(jù)權(quán)利要求1所述的面向新聞?lì)I(lǐng)域的主體機(jī)構(gòu)識(shí)別方法，其特征在于，所述模型學(xué)習(xí)步驟包括：

步驟S4.1：輸入所述特征矩陣，進(jìn)行機(jī)構(gòu)特征矩陣的得分排序；

步驟S4.2：運(yùn)用分類算法，將主體機(jī)構(gòu)與非主體機(jī)構(gòu)判別看成是二分類問題，運(yùn)用分類模型進(jìn)行分類判別；

步驟S4.3：集成多分類器結(jié)果，使用經(jīng)過優(yōu)化的分布式梯度提升庫XGBoost，將支持向量機(jī)SVM和邏輯回歸logistic作為基礎(chǔ)分類器進(jìn)行模型融合，使得多個(gè)分類器通過投票決定最終的分類結(jié)果。