[發明專利]新聞文本自動分段方法和裝置、服務器及可讀存儲介質

有效

• 申請號: 201711235393.4
• 申請日: 2017-11-29
• 公開（公告）號: CN108009151B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 肖丹;陳志群;陳錦冰;陳翔
• 申請（專利權）人: 深圳中泓在線股份有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/284;G06F40/242
• 代理公司: 深圳市港灣知識產權代理有限公司 44258
• 代理人: 微嘉

本發明公開了一種新聞文本自動分段方法和裝置、服務器及可讀存儲介質，方法包括以下步驟：建立新聞常見詞詞庫，根據新聞常見詞詞庫中的新聞常見詞選取待分段文章文本中的特征詞條集合；計算特征詞條集合中各特征詞條之間的關聯度；判斷待分段文章的文本中的字符是否為分割點，若是則根據所述特征詞條之間的關聯度計算各分割點的分割難度；根據各分割點的分割難度和分割難度閾值選擇特定的分割點進行分段。本發明技術方案根據待分段文本中特征詞條之間的關聯度通過預設算法選擇待分段文本中特定的分割點進行分段，從而減少了對從語音轉換成文本的新聞文本整理劃分的人工工作量。

技術領域

本發明涉及文本處理領域，尤其是一種新聞文本自動分段方法和裝置、服務器及可讀存儲介質。

背景技術

伴隨著語音識別技術的成熟和廣泛應用，已經實現了較為準確地將大量廣播、電視的新聞從語音轉換成文本。但在轉化成文本之后面臨一個問題，所有的新聞都糅合進文本中，并未對不同新聞事件進行劃分，給后續的處理工作帶來了麻煩，如果由人工來進行處理勢必帶來較大的工作量。其中，后續處理工作包括新聞事件的整理以及分發給相關部門，在輿情工作中涉及到某類新聞需要跟進處理的時候，需要的是剔除其他無關新聞后的相關新聞事件的單獨記錄。

發明內容

本發明的主要目的是提供一種新聞文本自動分段方法和裝置、服務器及可讀存儲介質，旨在減少對從語音轉換成文本的新聞文本整理劃分的人工工作量。

為實現上述目的，本發明提出一種新聞文本自動分段方法，包括以下步驟：

建立新聞常見詞詞庫，根據新聞常見詞詞庫中的新聞常見詞選取待分段文章文本中的特征詞條集合；

計算特征詞條集合中各特征詞條之間的關聯度；

判斷待分段文章的文本中的字符是否為分割點，若是則根據所述特征詞條之間的關聯度計算各分割點的分割難度；

根據各分割點的分割難度和分割難度閾值選擇特定的分割點進行分段。

優選地，建立新聞常見詞詞庫，根據新聞常見詞詞庫中的新聞常見詞選取待分段文章文本中的特征詞條集合的步驟，包括：

獲取網絡上預設數量新聞的事件標簽；

判斷所述事件標簽是否為高頻詞或單字詞；

去除高頻詞和單字詞后將余下的事件標簽歸入所述新聞常見詞詞庫內。

優選地，所述高頻詞為在詞語頻率表中詞頻數值高于預設閾值的詞條。

優選地，計算特征詞條集合中各特征詞條之間的關聯度的步驟，包括：

設置包含第一特征詞條的新聞篇數為X，設置包含第二特征詞條的新聞篇數為Y，設置同時包含第一特征詞條和第二特征詞條的新聞篇數為Z；

比較X/Z和Y/Z數值的大小，取其中較大者作為所述第一特征詞條和所述第二特征詞條之間的關聯度。

優選地，判斷待分段文章的文本中的字符是否為分割點，若是則根據所述特征詞條之間的關聯度計算各分割點的分割難度的步驟，包括：

判斷待分段文章的文本中的字符是否為分割點；

若是，則求取第n個分割點前(n-1)個句子中的新聞常見詞和后(n-1)個句子中的各新聞常見詞之間的理論關聯度{g1、g2、g3……gm}，其中(n-1)≥1；

根據兩個新聞常見詞相隔的句數len，求取兩者之間的實際關聯度G＝g*[1-len/(2n-2)]^(a)，其中，a為預設固定參數；

判斷最大實際關聯度G0＝max{G1、G2、G3……Gm}是否小于0.5；

若是，則第n個分割點的分割難度D＝G0；