[發明專利]一種文本數據標注方法、裝置、計算機裝置及計算機可讀存儲介質

在審

• 申請號: 201911406659.6
• 申請日: 2019-12-31
• 公開（公告）號: CN111159408A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 赫中翮;王志超;左凌峰;何子洋
• 申請（專利權）人: 湖南星漢數智科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/295
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種文本數據標注方法，其特征在于，所述文本數據標注方法包括：

獲取含有預先定義的主賓關鍵字對的網頁文本，將所述網頁文本按照段落結構分段，將分段后的段落文本進行分句處理，得到待處理語句；

對所述待處理語句進行主賓關鍵字對、正則表達式及窮舉關鍵字匹配，在所述待處理語句與關鍵字對、正則表達式及窮舉關鍵字中至少有一個匹配成功的情況下，將匹配成功的待處理語句作為候選語句，將所述候選語句存入清單集合；

循環遍歷所述清單集合，通過自然語言處理模型對所清單集合中的所述候選語句進行處理，從所述候選語句中選擇滿足預設條件的語句作為有效語句，將所述有效語句存入數據庫中，其中，所述預設條件包括以下任一項：語句中包括至少兩個或兩個以上的詞的實體類型與所述關鍵字對的實體類型相同；語句中包括至少一個實體類型的詞，及根據正則表達式或窮舉關鍵字匹配得到的至少一個詞；

顯示所述有效語句，并將所述有效語句中與關鍵字對、正則表達式及窮舉關鍵字匹配的詞進行突出顯示。

2.根據權利要求1所述的文本數據標注方法，其特征在于，所述獲取含有預先定義的主賓關鍵字對的網頁文本之前，所述文本數據標注方法包括：

從預先獲取的數據集的元素中獲取主語和賓語，依據所述元素的主語和賓語構成表示不同關系類型的所述主賓關鍵字對。

3.根據權利要求1所述的文本數據標注方法，其特征在于，所述從所述候選語句中選擇滿足預設條件的語句作為有效語句，包括以下過程：

若所述預設條件為所述語句中包括至少兩個或兩個以上的詞的實體類型與所述關鍵字對的實體類型相同，則在所述關鍵字對均為人名PERSON實體類型的情況下，判斷所述候選語句的分詞結果中是否包括至少兩個PERSON實體類型的分詞，若是，則將所述候選語句確定為所述有效語句；

在所述關鍵字對包括人名PERSON實體類型及機構ORGANIZATION實體類型的情況下，判斷所述候選語句的分詞結果中是否包括至少一個人名PERSON實體類型的分詞及至少一個機構ORGANIZATION實體類型的分詞，若是，則將所述候選語句確定為所述有效語句；

在所述關鍵字對包括人名PERSON實體類型及地址LOCATION實體類型的情況下，判斷所述候選語句的分詞結果中是否包括至少一個人名PERSON實體類型的分詞及至少一個地址LOCATION實體類型的分詞，若是，則將所述候選語句確定為所述有效語句。

4.根據權利要求1所述的文本數據標注方法，其特征在于，所述從所述候選語句中選擇滿足預設條件的語句作為有效語句，包括以下過程：

若所述預設條件為在語句中包括至少一個實體類型的詞及根據正則表達式或窮舉關鍵字得到的至少一個詞，則判斷所述候選語句的分詞結果中是否包括至少一個實體類型的詞，及根據正則表達式或窮舉關鍵字匹配得到的至少一個詞；若是，則將所述匹配得到的至少一個詞的分詞結果由非實體類型修改為預定義類型，得到包括至少一個實體類型的分詞及至少一個預定義類型的分詞的處理后語句，將所述處理后語句作為有效語句。

5.根據權利要求1所述的文本數據標注方法，其特征在于，所述將所述有效語句存入數據庫中，包括以下過程：

根據所述主賓關鍵字對的實體類型、正則表達式及窮舉關鍵字匹配到的分詞的預定義類型，將所述有效語句存入對應的關系類型表中；

將所述有效語句通過主賓關鍵字對、正則表達式及窮舉關鍵字匹配到的分詞的下標索引存入所述對應的關系類型表中。