[發明專利]一種標注文本糾錯的數據處理系統

有效

• 申請號: 202210710576.1
• 申請日: 2022-06-22
• 公開（公告）號: CN114792085B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 張正義;林方;劉宸;傅曉航
• 申請（專利權）人: 中科雨辰科技有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06F40/194;G06F40/232;G06N3/08
• 代理公司: 北京鍾維聯合知識產權代理有限公司 11579
• 代理人: 安娜

1.一種標注文本糾錯的數據處理系統，其特征在于，所述系統包括：數據庫、處理器和存儲有計算機程序的存儲器，其中，所述數據庫包括：標注文本列表A={A₁，……，A_i，……，A_m}，A_i是指第i個標注文本，i=1……m，m為標注文本數量，當所述計算機程序被處理器執行時，實現以下步驟：

S100、當m＜預設的文本數量閾值m₀時，獲取A對應的第一指定文本集G={G₁，……，G_i，……，G_m}，第i個第一指定文本集G_i={A_i，B_i}，其中，A_i對應的第一文本列表B_i={B_i1，……，B_ir，……，B_is}，B_ir是指第r個第一文本，r=2……s為第一文本數量，并將A_i作為G中第i個第一目標測試集和G中B_i作為第i個第一目標訓練集；

S200、當m≥m₀時，根據A，獲取中間文本集D={D₁，……，D_j，……，D_n}，D_j={D_j1，……，D_jt，……，D_jk}，D_jt是指第j個中間文本列表中第t個中間文本，j=2……n，n為中間文本列表數量，t=1……k，k為任一中間文本列表的中間文本數量，其中，n符合如下條件：；

S300、獲取A對應的第二指定文本集G'={G'₁，……，G'_j，……，G'_n}，第j個第二指定文本集G'_j={D_j，C_j}，其中，D_j對應的第二文本集C_j={C_j1，……，C_jq，……，C_jp}，C_jq是指第q個第二文本列表，q=2……p為第二文本列表數量，并將D_j作為G'中第j個第二目標測試集和C_j作為G'中第j個第二目標訓練集，其中，C_jq是指第q個第二文本列表，q=2……p為第二文本列表數量；

S400、獲取目標訓練集且基于目標訓練集對預設文本糾錯模型進行訓練，到目標文件糾錯模型，以使得根據目標測試集輸入至目標文件糾錯模型中，獲取A對應的異常文本，所述目標訓練集包括第一目標訓練集或者第二目標訓練集，所述目標測試集包括第一目標測試集或者第二目標測試集，其中，目標測試集和目標訓練集呈對應關系；

S500、獲取A對應的異常文本列表H={H₁，……，H_g，……，H_z}，H_g是指第g個異常文本，g=1……z，z為異常文本數量，且對H_g進行文本糾錯處理，得到H_g對應的所有異常標注；

其中，所述數據庫中還包括：實體類型集L={L¹，……，L^y，……L^w}，L^y是指第y個實體類型對應的實體列表，y=1……w，w為文本對應的實體類型數量，當所述計算機程序被處理器執行時，在S500步驟中還包括如下步驟：

S501、獲取H_g對應的標注實體列表U^g={U^g₁，……，U^g_x，……，U^g_βg}，U^g_x是指第x個標注實體，x=1……β_g，β_g是指第g個異常文本中標注的實體數量；

S503、根據U^g_x對應的實體類型，從L中獲取U^g_x對應的實體列表L^y={L^y₁，……，L^y_e，……，L^y_vy}，L^y_e是指L^y中第e個實體，e=1……v_y，v_y是指L^y中實體數量；

S505、根據U^g_x和L^y_e，獲取U^g_x的目標相似度F^g_x；其中，在S505步驟中還包括如下步驟：

S5051、當U^g_x為中文實體時，從L^y中獲取L^y對應的中文實體列表T^y={T^y₁，……，T^y_a，……，T^y_by}，T^y_a是指L^y中第a個中文實體，a=1……b_y，b_y是指L^y中中文實體數量；

S5053、根據U^g_x和T^y_a，獲取U^g_x和T^y_a之間的相似度列表E^gy_x={E^gy_x1，……，E^gy_xa，……，E^gy_xby}且從E^gy_x中獲取最大相似度作為F^g_x，其中，E^gy_xa是指U^g_x和T^y_a之間的相似度，E^gy_xa符合如下條件：

，其中，

MK^gx_γ是指U^g_x對應的向量MK^gx中第γ位bit值，NK^ya_γ是指T^y_a對應的向量NK^ya中第γ位bit值；

S5055、當U^g_x為中文實體時，從L^y中獲取L^y對應的非中文實體列表R^y={R^y₁，……，R^y_c，……，R^y_dy}，R^y_c是指L^y中第c個非中文實體，c=1……d_y，d_y是指L^y中非中文實體數量；

S5057、根據U^g_x和R^y，獲取U^g_x和R^y之間的相似度列表F^gy_x={F^gy_x1，……，F^gy_xc，……，F^gy_xdy}且從F^gy_x中獲取最大相似度作為F^g_x，其中，F^gy_xc是指U^g_x和R^y_c之間的相似度，F^gy_xc符合如下條件：

，其中，λ^gy_xc是指U^g_x和R^y_c之間的編輯距離，η^gy_xc是指在U^g_x的字符數量與R^y_c的字符數量之間的最大字符數量；

S507、當F^g_x=F₀時，確定U^g_x為非異常標注，其中F₀是指預設的第一相似度閾值且F₀的取值為1；

S509、當F^g_x≠F₀時，對U^g_x進行標記，以確定U^g_x為異常標注。