[發(fā)明專利]姓名文本處理方法及裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010074421.4
• 申請(qǐng)日: 2020-01-22
• 公開（公告）號(hào): CN111291559B
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 吳格;馮迪;楊程屹;吳麗娜;李忠虎;馮婉;李方舟
• 申請(qǐng)（專利權(quán)）人: 中國(guó)民航信息網(wǎng)絡(luò)股份有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/242
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 李偉

1.一種姓名文本處理方法，其特征在于，包括：

獲取姓名文本；所述姓名文本中包括按照預(yù)設(shè)順序排列的多個(gè)字符；

依據(jù)預(yù)先構(gòu)建的常用詞詞典，對(duì)所述姓名文本進(jìn)行分詞，獲得所述姓名文本對(duì)應(yīng)的多個(gè)目標(biāo)文本塊；每個(gè)所述目標(biāo)文本塊包括至少一個(gè)字符；

確定所述姓名文本對(duì)應(yīng)的所有姓名文本組合；其中，每個(gè)所述姓名文本組合包括所述姓名文本和一個(gè)分隔標(biāo)識(shí)，所述分隔標(biāo)識(shí)位于任意兩個(gè)相鄰的目標(biāo)文本塊之間；

計(jì)算每個(gè)所述姓名文本組合的組合概率，并按照組合概率從大到小的順序，選取預(yù)設(shè)數(shù)目的姓名文本組合作為目標(biāo)姓名文本組合；

所述常用詞詞典的構(gòu)建過(guò)程，包括：

獲取多個(gè)姓名樣本；每個(gè)所述姓名樣本包括按照預(yù)設(shè)順序排序的多個(gè)字符；

針對(duì)每個(gè)所述姓名樣本，按照從前到后的順序，從首字符開始，依次獲取所述姓名樣本中字符個(gè)數(shù)為2到K的樣本塊，并按照從后到前的順序，從尾字符開始，依次獲取所述姓名樣本中字符個(gè)數(shù)為2到K的樣本塊，依據(jù)各個(gè)所述樣本塊，構(gòu)建樣本塊集合；其中，若所述姓名樣本的總字符個(gè)數(shù)大于預(yù)設(shè)選取閾值，所述K為所述預(yù)設(shè)選取閾值，若所述姓名樣本的總字符個(gè)數(shù)不大于所述預(yù)設(shè)選取閾值，所述K為所述姓名樣本的總字符個(gè)數(shù)；

將各個(gè)所述樣本塊集合中相同字符個(gè)數(shù)的樣本塊組成第一集合，以實(shí)現(xiàn)將各個(gè)所述樣本塊集合中包含的各個(gè)樣本塊劃分為多個(gè)第一集合；

將每個(gè)所述第一集合中詞頻小于預(yù)設(shè)第一閾值的樣本塊進(jìn)行刪除，得到新的第一集合；

依據(jù)各個(gè)所述新的第一集合，構(gòu)建混合詞庫(kù)，并選取每個(gè)所述姓名樣本中最后一個(gè)字符，構(gòu)建后綴項(xiàng)集；

依據(jù)所述后綴項(xiàng)集，對(duì)所述混合詞庫(kù)進(jìn)行篩選，并將篩選后的混合詞庫(kù)中詞頻小于預(yù)設(shè)第二閾值的樣本塊進(jìn)行刪除，得到新的混合詞庫(kù)；

將所述新的混合詞庫(kù)和預(yù)先構(gòu)建的互聯(lián)網(wǎng)詞庫(kù)進(jìn)行融合并去重，得到所述常用詞詞典。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)預(yù)先構(gòu)建的常用詞詞典，對(duì)所述姓名文本進(jìn)行分詞，獲得所述姓名文本對(duì)應(yīng)的多個(gè)目標(biāo)文本塊，包括：

依據(jù)預(yù)先構(gòu)建的常用詞詞典，生成詞典樹；

依據(jù)所述詞典樹，對(duì)所述姓名文本進(jìn)行分詞，得到多個(gè)分詞結(jié)果；每個(gè)所述分詞結(jié)果包括多個(gè)文本塊；

依據(jù)每個(gè)所述分詞結(jié)果中包含的每個(gè)所述文本塊的概率，計(jì)算每個(gè)所述分詞結(jié)果的分詞概率；

將最大分詞概率對(duì)應(yīng)的分詞結(jié)果作為目標(biāo)分詞結(jié)果，將所述目標(biāo)分詞結(jié)果中包含的文本塊作為目標(biāo)文本塊。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算每個(gè)所述姓名文本組合的組合概率，包括：

分別計(jì)算每個(gè)所述姓名文本組合中的第一組合塊和第二組合塊的概率；其中，第一組合塊為分隔標(biāo)識(shí)之前的文本塊所組成的組成塊，第二組合塊為分隔標(biāo)識(shí)之后的文本塊所組成的組成塊；

依據(jù)每個(gè)所述姓名文本組合中的所述第一組合塊的概率，以及所述第二組合塊的概率，計(jì)算每個(gè)所述姓名文本組合的組合概率。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述按照組合概率從大到小的順序，選取預(yù)設(shè)數(shù)目的姓名文本組合作為目標(biāo)姓名文本組合之前，還包括：

依據(jù)各個(gè)所述組合概率，按照組合概率從大到小的順序，對(duì)各個(gè)所述姓名文本組合進(jìn)行排序。