[發明專利]文本特征提取方法、文本分類方法及裝置

在審

• 申請號: 201610044782.8
• 申請日: 2016-01-22
• 公開（公告）號: CN106997339A
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 王雄威
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 黃志華

1.一種文本特征提取方法，其特征在于，包括：

確定待提取文本特征的第一文本，以及至少一個用于提取文本特征的第一滑動窗口和相應的滑動步長；

針對每一第一滑動窗口，從設定的初始滑動位置開始，沿著構成所述第一文本的字符的排列路徑，以該第一滑動窗口相應的滑動步長滑動該第一滑動窗口，并提取滑動過程中該第一滑動窗口內的字符串，直至滑過構成所述第一文本的各字符；

將提取的字符串作為所述第一文本的文本特征輸出。

2.如權利要求1所述的方法，其特征在于，用于提取文本特征的第一滑動窗口的個數大于1，各第一滑動窗口的尺寸不相同且相應的滑動步長均為1個字符，所述設定的初始滑動位置為所述第一文本的起始字符所在位置；

針對每一第一滑動窗口，從設定的初始滑動位置開始，沿著構成所述第一文本的字符的排列路徑，以該第一滑動窗口相應的滑動步長滑動該第一滑動窗口，并提取滑動過程中該第一滑動窗口內的字符串，直至滑過構成所述第一文本的各字符，包括：

從所述第一文本的起始字符所在位置開始，遍歷所述第一文本中的字符，執行以下步驟：

步驟a1、將當前遍歷的字符所在位置作為各第一滑動窗口的當前開始位置；

步驟a2、從尺寸最小的第一滑動窗口的當前結束位置開始，遍歷每個第一滑動窗口的當前結束位置，執行以下步驟a3至步驟a5，直至尺寸最大的第一滑動窗口的當前結束位置：

步驟a3、判斷當前遍歷的當前結束位置是否為所述第一文本的結束字符所在位置，若是，則執行步驟a4，若否，則執行步驟a5；

步驟a4、取出當前開始位置和當前遍歷的當前結束位置之間的字符串，之 后結束；

步驟a5、取出當前開始位置和當前遍歷的當前結束位置之間的字符串。

3.如權利要求1所述的方法，其特征在于，確定待提取文本特征的第一文本之后，針對每一第一滑動窗口，從設定的初始滑動位置開始，沿著構成所述第一文本的字符的排列路徑，以該第一滑動窗口相應的滑動步長滑動該第一滑動窗口，并提取滑動過程中該第一滑動窗口內的字符串，直至滑過構成所述第一文本的各字符之前，所述方法還包括：

確定所述第一文本中包含重復文本，其中，重復文本包括單字符串重復文本和多字符串重復文本；

對所述第一文本進行去重處理，得到第二文本；

針對每一第一滑動窗口，從設定的初始滑動位置開始，沿著構成所述第一文本的字符的排列路徑，以該第一滑動窗口相應的滑動步長滑動該第一滑動窗口，并提取滑動過程中該第一滑動窗口內的字符串，直至滑過構成所述第一文本的各字符，具體為：

針對每一第一滑動窗口，從設定的初始滑動位置開始，沿著構成所述第二文本的字符的排列路徑，以該第一滑動窗口相應的滑動步長滑動該第一滑動窗口，并提取滑動過程中該第一滑動窗口內的字符串，直至滑過構成所述第一文本的各字符。

4.如權利要求3所述的方法，其特征在于，確定待提取文本特征的第一文本之后，對所述第一文本進行去重處理，得到第二文本之前，所述方法還包括：

確定所述第一文本中包含空格和/或單個標點符號；

若包含空格，則用設定字符對所述第一文本中包含的空格進行替換處理，其中，所述設定字符為除標點符號和空格外的字符；

若包含單個標點符號，則用設定字符對所述第一文本中包含的空格進行替換處理；

若包含空格和單個標點符號，則用設定字符分別對所述第一文本中包含的空格和單個標點符號進行替換處理。

5.如權利要求1所述的方法，其特征在于，確定待提取文本特征的第一文本之后，所述方法還包括：

若確定所述第一文本中包含重復文本，則提取所述第一文本中包含的重復文本，其中，重復文本包括單字符串重復文本和多字符串重復文本；

將提取的重復文本作為所述第一文本的文本特征輸出。

6.如權利要求5所述的方法，其特征在于，若確定所述第一文本中包含重復文本，則提取所述第一文本中包含的重復文本，包括：

判斷所述第一文本中是否包含單字符串重復文本；

若包含單字符串重復文本，則提取所述單字符串重復文本；

若不包含單字符串重復文本，則判斷所述第一文本中是否包含多字符串重復文本；

若包含多字符串重復文本，則提取所述多字符串重復文本。