[發明專利]用于確定文本核心語句的方法和裝置

在審

• 申請號: 201710978320.8
• 申請日: 2017-10-18
• 公開（公告）號: CN107797990A
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 張翔;劉輝
• 申請（專利權）人: 渡鴉科技（北京）有限責任公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

1.一種用于確定文本核心語句的方法，其特征在于，包括：

從預設的文本集中獲取目標文本，其中，所述文本集包括多個文本，所述文本包括多個利用預設符號劃分的語句；

計算所述目標文本中的第一語句的基本特征，其中，所述基本特征包括詞頻-逆文檔頻率、信息熵、重復率、與目標文本的標題的相似度，所述第一語句為所述目標文本中的任一語句；

基于所述第一語句的基本特征，確定該所述第一語句是否為所述目標文本的核心語句。

2.根據權利要求1所述的方法，其特征在于，所述計算所述目標文本中的第一語句的基本特征，包括：

對所述文本集中的各文本的語句進行分詞，獲取分詞后的各詞語，其中，所述第一語句分詞后的詞語為第一詞語；

計算每個所述第一詞語的詞頻-逆文檔頻率，并根據各所述第一語句的詞頻-逆文檔頻率確定所述第一語句的詞頻-逆文檔頻率；

計算各所述第一詞語在所述目標文本的詞頻，并根據各所述第一詞語在所述目標文本的詞頻確定各所述第一詞語的信息熵；

計算所述第一語句在所述目標文本中的重復率；

計算所述第一語句與所述目標文本的標題的相似度。

3.根據權利要求1所述的方法，其特征在于，還包括：

對所述文本集中的各所述文本進行數據清洗，得到各所述文本的標題和正文。

4.根據權利要求2所述的方法，其特征在于，所述計算每個所述第一詞語的詞頻-逆文檔頻率，并根據各所述第一語句的詞頻-逆文檔頻率確定所述第一語句的詞頻-逆文檔頻率，包括：

獲取各所述第一詞語在所述目標文本中的詞頻；

獲取各所述第一詞語在所述文本集中的逆文檔頻率；

利用各所述第一詞語的詞頻和逆文檔頻率，計算每個所述第一詞語的詞頻-逆文檔頻率；

對各所述第一詞語的詞頻-逆文檔頻率求和，確定所述第一語句的詞頻-逆文檔頻率。

5.根據權利要求2所述的方法，其特征在于，所述計算各所述第一詞語在所述目標文本的詞頻，并根據各所述第一詞語在所述目標文本的詞頻確定各所述第一詞語的信息熵，包括：

獲取每個所述第一詞語在所述目標文本中的詞頻，計算各所述第一詞語的信息熵；

對各所述第一詞語的信息熵求和，確定所述第一語句的信息熵。

6.根據權利要求2所述的方法，其特征在于，所述計算所述第一語句與所述目標文本的標題的相似度，包括：

計算所述第一語句與所述目標文本的標題的編輯距離；

將所述第一語句的字符串長度與所述標題的字符串長度做對比，從中確定較長的字符串長度為第一字符串長度；

根據所述編輯距離和所述第一字符串長度的比值，確定所述第一語句與所述目標歌詞文本的標題的相似度。

7.根據權利要求1所述的方法，其特征在于，所述基于所述第一語句的基本特征，確定所述第一語句是否為所述目標文本的核心語句，包括：

對所述第一語句的詞頻-逆文檔頻率、信息熵、重復率、與目標文本的標題的相似度加權求和，確定所述第一語句的評分；

基于所述第一語句的評分大于第一預設閾值，確定所述第一語句為所述目標文本的核心語句。

8.根據權利要求1所述的方法，其特征在于，所述預設符號為換行符。

9.一種用于確定文本核心語句的裝置，其特征在于，包括：

獲取單元，配置用于從預設的文本集中獲取目標文本，其中，所述文本集包括多個文本，所述文本包括多個利用預設符號劃分的語句；

計算單元，配置用于計算所述目標文本中的第一語句的基本特征，其中，所述基本特征包括詞頻-逆文檔頻率、信息熵、重復率、與目標文本的標題的相似度，所述第一語句為所述目標文本中的任一語句；

確定單元，配置用于基于所述第一語句的基本特征，確定該所述第一語句是否為所述目標文本的核心語句。