[發明專利]新聞文本自動分段方法和裝置、服務器及可讀存儲介質

有效

• 申請號: 201711235393.4
• 申請日: 2017-11-29
• 公開（公告）號: CN108009151B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 肖丹;陳志群;陳錦冰;陳翔
• 申請（專利權）人: 深圳中泓在線股份有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/284;G06F40/242
• 代理公司: 深圳市港灣知識產權代理有限公司 44258
• 代理人: 微嘉

1.一種新聞文本自動分段方法，其特征在于，所述新聞文本自動分段方法包括以下步驟：

建立新聞常見詞詞庫，根據新聞常見詞詞庫中的新聞常見詞選取待分段文章文本中的特征詞條集合；

計算特征詞條集合中各特征詞條之間的關聯度；

判斷待分段文章的文本中的字符是否為分割點，若是則根據所述特征詞條之間的關聯度計算各分割點的分割難度；

根據各分割點的分割難度和分割難度閾值選擇特定的分割點進行分段；

判斷待分段文章的文本中的字符是否為分割點，若是則根據所述特征詞條之間的關聯度計算各分割點的分割難度的步驟，包括：

判斷待分段文章的文本中的字符是否為分割點；

若是，則求取第n個分割點前(n-1)個句子中的新聞常見詞和后(n-1)個句子中的各新聞常見詞之間的理論關聯度{g1、g2、g3……gm}，其中(n-1)≥1；

根據兩個新聞常見詞相隔的句數len，求取兩者之間的實際關聯度G＝g*[1-len/(2n-2)]^(a)，其中，a為預設固定參數；

判斷最大實際關聯度G0＝max{G1、G2、G3……Gm}是否小于0.5；

若是，則第n個分割點的分割難度D＝G0；

若否，根據關聯度大于或等于0.5的分割點的個數N，求得該點的分割難度D＝G0+(N-1)*0.1，其中，將前(n-1)個句子中的新聞常見詞與后(n-1)個句子中的新聞常見詞兩兩進行配對求取理論關聯度。

2.如權利要求1所述的新聞文本自動分段方法，其特征在于，建立新聞常見詞詞庫，根據新聞常見詞詞庫中的新聞常見詞選取待分段文章文本中的特征詞條集合的步驟，包括：

獲取網絡上預設數量新聞的事件標簽；

判斷所述事件標簽是否為高頻詞或單字詞；

去除高頻詞和單字詞后將余下的事件標簽歸入所述新聞常見詞詞庫內。

3.如權利要求2所述的新聞文本自動分段方法，其特征在于，所述高頻詞為在詞語頻率表中詞頻數值高于預設閾值的詞條。

4.如權利要求1所述的新聞文本自動分段方法，其特征在于，計算特征詞條集合中各特征詞條之間的關聯度的步驟，包括：

設置包含第一特征詞條的新聞篇數為X，設置包含第二特征詞條的新聞篇數為Y，設置同時包含第一特征詞條和第二特征詞條的新聞篇數為Z；

比較X/Z和Y/Z數值的大小，取其中較大者作為所述第一特征詞條和所述第二特征詞條之間的關聯度。

5.如權利要求1所述的新聞文本自動分段方法，其特征在于，根據各分割點的分割難度和分割難度閾值選擇特定的分割點進行分段的步驟，包括：

判斷第n個分割點的分割難度Dn是否大于分割難度閾值D0；

若是，則將該分割點去除；若否，則保留該分割點；

求取保留下來的任意兩分割點之間相隔句數為Lp，并判斷Lp是否大于新聞最小長度L，其中，L為固定參數；

若否，去除所述兩分割點之間分割難度較大的點并保留所述兩分割點之間分割難度較小的分割點，根據所有保留下來的分割點的位置進行分段。

6.一種新聞文本自動分段裝置，其特征在于，所述新聞文本自動分段裝置包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的新聞文本自動分段方法的程序，所述新聞文本自動分段方法的程序被所述處理器執行時實現如權利要求1至5中任一項所述的新聞文本自動分段方法的步驟。

7.一種服務器，其特征在于，包括如權利要求6所述的新聞文本自動分段裝置。

8.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有新聞文本自動分段方法的程序，所述新聞文本自動分段方法的程序被處理器執行時實現如權利要求1至5中任一項所述的新聞文本自動分段方法的步驟。