[發(fā)明專利]一種基于多模態(tài)模型的漢字易混淆集構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202110402126.1
• 申請日: 2021-04-14
• 公開（公告）號: CN112990353B
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計）人: 李芳芳;汪業(yè)成;林中堯;單悠然;毛星亮
• 申請（專利權(quán)）人: 中南大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/68;G06N3/08;G10L15/06;G10L15/08;G10L15/16;G10L15/183;G10L25/51
• 代理公司: 長沙惟盛赟鼎知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43228
• 代理人: 滕澧陽

1.一種基于多模態(tài)模型的漢字易混淆集構(gòu)建方法，其特征在于，構(gòu)建易混淆集的具體步驟為：

S1：得到字典Dic中漢字字符C_i與字典Dic中每一個漢字字符的字形編碼的相似度，并對根據(jù)字形編碼得到的所有相似度進行歸一化，并由經(jīng)歸一化的所有相似度構(gòu)建出一個向量，作為漢字字符C_i的字形編碼相似度向量，記為shape-edi[C_i]；

S2：得到字典中漢字字符C_i與字典Dic中每一個漢字字符的字音編碼的相似度，并對根據(jù)字音編碼得到的所有相似度進行歸一化，并由經(jīng)歸一化的所有相似度構(gòu)建出一個向量，作為漢字字符C_i的字音編碼相似度向量，記為pronunce-edi[C_i]；

S3：構(gòu)建并訓(xùn)練出一個圖像分類的神經(jīng)網(wǎng)絡(luò)模型，再輸入漢字字符C_i的手寫體圖像，由圖像分類的神經(jīng)網(wǎng)絡(luò)模型輸出一個M維的向量，每一個維度上的值分別為當前輸入的漢字字符C_i的手寫體圖像被識別為字典Dic中每一個字符的概率值，并滿足所有概率值的和為1，則由圖像分類的神經(jīng)網(wǎng)絡(luò)模型輸出的M維的向量，作為漢字字符C_i的字形視覺易混淆向量，記為shape-net[C_i]；

S4：構(gòu)建并訓(xùn)練出一個音頻分類的神經(jīng)網(wǎng)絡(luò)模型，再輸入漢字字符C_i的音頻數(shù)據(jù)，由音頻分類的神經(jīng)網(wǎng)絡(luò)模型輸出一個M維的向量，每一個維度上的值分別為當前輸入的漢字字符C_i的被識別為字典Dic中每一個字符的概率值，并滿足所有概率值的和為1，則由音頻分類的神經(jīng)網(wǎng)絡(luò)模型輸出的M維的向量，作為漢字字符C_i的字音聽覺易混淆向量，記為pronunce-net[C_i]；

S5：將漢字字符C_i的字形編碼相似度向量、字音編碼相似度向量、字形視覺易混淆向量、字音聽覺易混淆向量，加權(quán)組合為一個向量，作為音形易混淆向量，記為

，并滿足四個加權(quán)值的和為1，則音形易混淆向量中的每個維度上的值表示為漢字字符C_i與字典Dic中每一個漢字字符的相似度，從而依據(jù)音形易混淆向量中每個維度上的相似度，選擇對應(yīng)的字典Dic中的漢字，構(gòu)成漢字字符C_i的音形易混淆集。