[發明專利]一種文本數據標注方法、裝置、計算機裝置及計算機可讀存儲介質

在審

• 申請號: 201911406659.6
• 申請日: 2019-12-31
• 公開（公告）號: CN111159408A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 赫中翮;王志超;左凌峰;何子洋
• 申請（專利權）人: 湖南星漢數智科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/295
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明適用于互聯網技術領域，提供了一種文本數據標注方法、裝置、計算機裝置及計算機可讀存儲介質，該方法包括：獲取含有主賓關鍵字對的網頁文本，將網頁文本按照段落結構分段，進行分句處理，得到待處理語句；對待處理語句進行主賓關鍵字對、正則表達式及窮舉關鍵字匹配，在至少有一個匹配成功時，將待處理語句作為候選語句，將候選語句存入清單集合；循環遍歷清單集合，對所清單集合中的候選語句進行處理，從候選語句中選擇滿足預設條件的語句作為有效語句，將有效語句存入數據庫中；顯示有效語句。本發明提供的文本數據標注方法，可以提高文本數據的詞性標注的準確度。

技術領域

本發明屬于互聯網技術領域，尤其涉及一種文本數據標注方法、裝置、計算機裝置及計算機可讀存儲介質。

背景技術

現有的自然語言處理模型通用性很強，針對性不足，就不同專業領域的文本數據處理，獲得的詞性標注結果往往不盡如人意，導致實體詞性標注不準確，非實體專業詞的詞性標注與一般名詞相混淆?，F有技術中，通過使用外部簡單的工具修改詞庫，只能解決部分問題，但是無法從本質上解決文本數據的詞性標注不準確的問題。

發明內容

本發明實施例提供一種文本數據標注方法，旨在解決現有文本數據的詞性標注不準確的問題。

本發明是這樣實現的，一種文本數據標注方法，包括：

獲取含有預先定義的主賓關鍵字對的網頁文本，將所述網頁文本按照段落結構分段，將分段后的段落文本進行分句處理，得到待處理語句；

對所述待處理語句進行主賓關鍵字對、正則表達式及窮舉關鍵字匹配，在所述待處理語句與關鍵字對、正則表達式及窮舉關鍵字中至少有一個匹配成功的情況下，將匹配成功的待處理語句作為候選語句，將所述候選語句存入清單集合；

循環遍歷所述清單集合，通過自然語言處理模型對所清單集合中的所述候選語句進行處理，從所述候選語句中選擇滿足預設條件的語句作為有效語句，將所述有效語句存入數據庫中，其中，所述預設條件包括以下任一項：語句中包括至少兩個或兩個以上的詞的實體類型與所述關鍵字對的實體類型相同；語句中包括至少一個實體類型的詞，及根據正則表達式或窮舉關鍵字匹配得到的至少一個詞；

顯示所述有效語句，并將所述有效語句中與關鍵字對、正則表達式及窮舉關鍵字匹配的詞進行突出顯示。

可選的，所述獲取含有預先定義的主賓關鍵字對的網頁文本之前，所述文本數據標注方法包括：

從預先獲取的數據集的元素中獲取主語和賓語，依據所述元素的主語和賓語構成表示不同關系類型的所述主賓關鍵字對。

可選的，所述從所述候選語句中選擇滿足預設條件的語句作為有效語句，包括以下過程：

若所述預設條件為所述語句中包括至少兩個或兩個以上的詞的實體類型與所述關鍵字對的實體類型相同，則在所述關鍵字對均為人名PERSON實體類型的情況下，判斷所述候選語句的分詞結果中是否包括至少兩個PERSON實體類型的分詞，若是，則將所述候選語句確定為所述有效語句；

在所述關鍵字對包括人名PERSON實體類型及機構ORGANIZATION實體類型的情況下，判斷所述候選語句的分詞結果中是否包括至少一個人名PERSON實體類型的分詞及至少一個機構ORGANIZATION實體類型的分詞，若是，則將所述候選語句確定為所述有效語句；

在所述關鍵字對包括人名PERSON實體類型及地址LOCATION實體類型的情況下，判斷所述候選語句的分詞結果中是否包括至少一個人名PERSON實體類型的分詞及至少一個地址LOCATION實體類型的分詞，若是，則將所述候選語句確定為所述有效語句。

可選的，所述從所述候選語句中選擇滿足預設條件的語句作為有效語句，包括以下過程：