[發(fā)明專利]基于文本的語(yǔ)種識(shí)別方法、相關(guān)裝置，設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210151651.5
• 申請(qǐng)日: 2022-02-18
• 公開（公告）號(hào): CN116663538A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 陳小帥
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F40/263
• 分類號(hào): G06F40/263;G06F40/44;G06F40/284;G06F40/242;G06F18/22;G06F18/2415;G06F18/2413;G06N3/047;G06N3/08
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 閔晶晶

1.一種基于文本的語(yǔ)種識(shí)別方法，其特征在于，包括：

獲取目標(biāo)搜索文本；

根據(jù)所述目標(biāo)搜索文本獲取K個(gè)關(guān)聯(lián)資源，其中，每個(gè)關(guān)聯(lián)資源具有已標(biāo)注的至少一個(gè)語(yǔ)種標(biāo)簽，所述K為大于或等于1的整數(shù)；

根據(jù)所述每個(gè)關(guān)聯(lián)資源所對(duì)應(yīng)的至少一個(gè)語(yǔ)種標(biāo)簽，生成資源語(yǔ)種特征分布，其中，所述資源語(yǔ)種特征分布表示所述K個(gè)關(guān)聯(lián)資源屬于M個(gè)語(yǔ)種標(biāo)簽的分布情況，所述M為大于1的整數(shù)；

根據(jù)所述目標(biāo)搜索文本生成字符特征分布，其中，所述字符特征分布表示所述目標(biāo)搜索文本針對(duì)各個(gè)預(yù)設(shè)字符的分布情況；

根據(jù)所述資源語(yǔ)種特征分布以及所述字符特征分布，確定語(yǔ)種識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的語(yǔ)種識(shí)別方法，其特征在于，所述根據(jù)所述每個(gè)關(guān)聯(lián)資源所對(duì)應(yīng)的至少一個(gè)語(yǔ)種標(biāo)簽，生成資源語(yǔ)種特征分布，包括：

根據(jù)所述每個(gè)關(guān)聯(lián)資源所對(duì)應(yīng)的至少一個(gè)語(yǔ)種標(biāo)簽，統(tǒng)計(jì)所述M個(gè)語(yǔ)種標(biāo)簽中每個(gè)語(yǔ)種標(biāo)簽所對(duì)應(yīng)的第一累計(jì)數(shù)量；

根據(jù)所述M個(gè)語(yǔ)種標(biāo)簽中每個(gè)語(yǔ)種標(biāo)簽所對(duì)應(yīng)的第一累計(jì)數(shù)量，生成所述資源語(yǔ)種特征分布。

3.根據(jù)權(quán)利要求1所述的語(yǔ)種識(shí)別方法，其特征在于，所述根據(jù)所述每個(gè)關(guān)聯(lián)資源所對(duì)應(yīng)的至少一個(gè)語(yǔ)種標(biāo)簽，生成資源語(yǔ)種特征分布，包括：

對(duì)所述每個(gè)關(guān)聯(lián)資源所對(duì)應(yīng)的至少一個(gè)語(yǔ)種標(biāo)簽進(jìn)行并集處理，得到第一語(yǔ)種標(biāo)簽集；

針對(duì)所述第一語(yǔ)種標(biāo)簽集中的每個(gè)語(yǔ)種標(biāo)簽，獲取具有相同語(yǔ)種標(biāo)簽的關(guān)聯(lián)資源集；

針對(duì)所述第一語(yǔ)種標(biāo)簽集中的每個(gè)語(yǔ)種標(biāo)簽，獲取所述關(guān)聯(lián)資源集中每個(gè)關(guān)聯(lián)資源的第一相關(guān)參數(shù)，其中，所述第一相關(guān)參數(shù)包括以下一項(xiàng)或多項(xiàng)：關(guān)聯(lián)資源與所述目標(biāo)搜索文本的相似度，關(guān)聯(lián)資源的播放熱度；

針對(duì)所述第一語(yǔ)種標(biāo)簽集中的每個(gè)語(yǔ)種標(biāo)簽，根據(jù)所述關(guān)聯(lián)資源集中每個(gè)關(guān)聯(lián)資源的第一相關(guān)參數(shù)，計(jì)算得到語(yǔ)種概率值；

根據(jù)所述第一語(yǔ)種標(biāo)簽集中每個(gè)語(yǔ)種標(biāo)簽所對(duì)應(yīng)的語(yǔ)種概率值，生成所述資源語(yǔ)種特征分布。

4.根據(jù)權(quán)利要求1所述的語(yǔ)種識(shí)別方法，其特征在于，所述根據(jù)所述目標(biāo)搜索文本生成字符特征分布，包括：

將所述目標(biāo)搜索文本劃分為字符序列，其中，所述字符序列包括T個(gè)字符，所述T為大于或等于1的字符；

采用字符詞典對(duì)所述字符序列中的每個(gè)字符進(jìn)行匹配，得到T個(gè)字符編碼向量，其中，每個(gè)字符編碼向量對(duì)應(yīng)于一個(gè)字符，且，所述每個(gè)字符編碼向量包括N個(gè)元素，所述字符詞典包括N個(gè)預(yù)設(shè)字符；

對(duì)所述T個(gè)字符編碼向量中對(duì)應(yīng)位置上的元素進(jìn)行或運(yùn)算，得到所述字符特征分布。

5.根據(jù)權(quán)利要求1所述的語(yǔ)種識(shí)別方法，其特征在于，所述根據(jù)所述資源語(yǔ)種特征分布以及所述字符特征分布，確定語(yǔ)種識(shí)別結(jié)果，包括：

基于所述資源語(yǔ)種特征分布，通過(guò)語(yǔ)種識(shí)別模型所包括的資源語(yǔ)種網(wǎng)絡(luò)，獲取資源語(yǔ)種特征向量；

基于所述字符特征分布，通過(guò)所述語(yǔ)種識(shí)別模型所包括的文本語(yǔ)種網(wǎng)絡(luò)，獲取文本特征向量；

根據(jù)所述資源語(yǔ)種特征向量以及所述文本特征向量，生成目標(biāo)特征向量；

基于所述目標(biāo)特征向量，通過(guò)所述語(yǔ)種識(shí)別模型所包括的語(yǔ)種分類輸出網(wǎng)絡(luò)，獲取語(yǔ)種概率分布；

根據(jù)所述語(yǔ)種概率分布確定語(yǔ)種識(shí)別結(jié)果。

6.根據(jù)權(quán)利要求5所述的語(yǔ)種識(shí)別方法，其特征在于，所述基于所述資源語(yǔ)種特征分布，通過(guò)語(yǔ)種識(shí)別模型所包括的資源語(yǔ)種網(wǎng)絡(luò)，獲取資源語(yǔ)種特征向量，包括：

基于所述資源語(yǔ)種特征分布，通過(guò)所述資源語(yǔ)種網(wǎng)絡(luò)所包括的語(yǔ)種向量映射關(guān)系，獲取資源語(yǔ)種特征表示，其中，所述資源語(yǔ)種網(wǎng)絡(luò)屬于所述語(yǔ)種識(shí)別模型；

基于所述資源語(yǔ)種特征表示，通過(guò)所述資源語(yǔ)種網(wǎng)絡(luò)所包括的全連接層，獲取所述資源語(yǔ)種特征向量。