[發(fā)明專利]段落的劃分方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711082718.X
• 申請(qǐng)日: 2017-11-07
• 公開(kāi)（公告）號(hào): CN109753647B
• 公開(kāi)（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 姜珂
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F40/279
• 分類號(hào): G06F40/279
• 代理公司: 北京鼎佳達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

1.一種段落的劃分方法，其特征在于，包括：

對(duì)待劃分文章進(jìn)行向量化處理得到段落向量，所述段落向量為使用一個(gè)數(shù)組表示一個(gè)自然段；

根據(jù)預(yù)先學(xué)習(xí)的段落分組模型，確定每個(gè)段落向量屬于所述段落分組模型中每個(gè)段落分組的概率，其中，所述段落分組中至少包含一個(gè)自然段，所述段落分組模型是基于邏輯回歸算法或支持向量機(jī)的段落分組模型；

將每個(gè)段落向量以及對(duì)應(yīng)的概率輸入隱馬爾科夫模型，以便根據(jù)每個(gè)段落向量以及對(duì)應(yīng)的概率確定隱含參數(shù)；

利用預(yù)設(shè)解碼算法對(duì)所述隱含參數(shù)進(jìn)行解碼，得到每個(gè)段落屬于段落分組的最大概率，根據(jù)所述最大概率對(duì)所述待劃分文章執(zhí)行段落劃分；

將每個(gè)段落向量以及對(duì)應(yīng)的概率輸入隱馬爾科夫模型，以便根據(jù)每個(gè)段落向量以及對(duì)應(yīng)的概率確定隱含參數(shù)包括：

對(duì)隱馬爾科夫模型中的初始狀態(tài)概率矩陣進(jìn)行初始化；

將每個(gè)段落向量以及對(duì)應(yīng)的概率作為可見(jiàn)觀測(cè)序列，記錄于觀測(cè)狀態(tài)轉(zhuǎn)移概率矩陣中；

計(jì)算每個(gè)自然段進(jìn)行自轉(zhuǎn)或者向后轉(zhuǎn)的轉(zhuǎn)移概率，將所述轉(zhuǎn)移概率記錄于所述隱含參數(shù)；

利用預(yù)設(shè)解碼算法對(duì)所述隱含參數(shù)進(jìn)行解碼，得到每個(gè)段落屬于段落分組的最大概率包括：

在所述隱含參數(shù)中計(jì)算轉(zhuǎn)移可能的最大概率；

根據(jù)所述最大概率通過(guò)回溯的方式確定最優(yōu)路徑，完成所述待劃分文章的段落劃分。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取樣本文章中進(jìn)行段落分組的標(biāo)記，確定每個(gè)段落分組中的信息要素；

對(duì)所述信息要素進(jìn)行訓(xùn)練學(xué)習(xí)，得到訓(xùn)練函數(shù)，形成段落分組模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，對(duì)待劃分文章進(jìn)行向量化處理得到段落向量包括：

將所述待劃分文章中每個(gè)自然段的字符使用數(shù)字表示，每個(gè)字符對(duì)應(yīng)一個(gè)數(shù)字；

根據(jù)信息增益對(duì)所述數(shù)字進(jìn)行計(jì)算得到預(yù)設(shè)數(shù)量的維度；

按照維度的信息熵大小進(jìn)行排名，獲取排名前N的維度，得到所述段落向量；其中，所述排名前N的維度作為段落向量的信息要素，記錄于所述數(shù)組中。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)預(yù)先學(xué)習(xí)的段落分組模型，確定每個(gè)段落向量屬于所述段落分組模型中每個(gè)段落分組的概率包括：

獲取所述段落分組模型中的訓(xùn)練函數(shù)；其中，所述段落分組模型中的每個(gè)段落分組對(duì)應(yīng)一個(gè)訓(xùn)練函數(shù)；

利用邏輯回歸算法或者支持向量機(jī)，對(duì)所述段落向量進(jìn)行回歸；

計(jì)算每個(gè)段落向量屬于所述每個(gè)段落分組對(duì)應(yīng)的訓(xùn)練函數(shù)的概率。

5.一種段落劃分的裝置，其特征在于，包括：

處理單元，用于對(duì)待劃分文章進(jìn)行向量化處理得到段落向量，所述段落向量為使用一個(gè)數(shù)組表示一個(gè)自然段；

第一確定單元，用于根據(jù)預(yù)先學(xué)習(xí)的段落分組模型，確定所述處理單元得到的每個(gè)段落向量屬于所述段落分組模型中每個(gè)段落分組的概率，其中，所述段落分組中至少包含一個(gè)自然段，所述段落分組模型是基于邏輯回歸算法或支持向量機(jī)的段落分組模型；

輸入單元，用于將每個(gè)段落向量以及對(duì)應(yīng)的概率輸入隱馬爾科夫模型，以便根據(jù)每個(gè)段落向量以及對(duì)應(yīng)的概率確定隱含參數(shù)；

解碼單元，用于利用預(yù)設(shè)解碼算法對(duì)所述隱含參數(shù)進(jìn)行解碼，得到每個(gè)段落屬于段落分組的最大概率，根據(jù)所述最大概率對(duì)所述待劃分文章執(zhí)行段落劃分；

所述輸入單元包括：

初始化模塊，用于對(duì)隱馬爾科夫模型中的初始狀態(tài)概率矩陣進(jìn)行初始化；

處理模塊，用于將每個(gè)段落向量以及對(duì)應(yīng)的概率作為可見(jiàn)觀測(cè)序列，記錄于觀測(cè)狀態(tài)轉(zhuǎn)移概率矩陣中；

計(jì)算模塊，用于計(jì)算每個(gè)自然段進(jìn)行自轉(zhuǎn)或者向后轉(zhuǎn)的轉(zhuǎn)移概率，將所述轉(zhuǎn)移概率記錄于所述隱含參數(shù)；

所述解碼單元包括：

計(jì)算模塊，用于在所述隱含參數(shù)中計(jì)算轉(zhuǎn)移可能的最大概率；

確定模塊，用于根據(jù)所述最大概率通過(guò)回溯的方式確定最優(yōu)路徑，完成所述待劃分文章的段落劃分。