日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發(fā)明專利]文本分詞模型的訓練方法、分詞處理方法及裝置、介質有效

專利信息
申請?zhí)枺?/td> 202010214706.3 申請日: 2020-03-24
公開(公告)號: CN111428496B 公開(公告)日: 2023-08-15
發(fā)明(設計)人: 姜佳良;李響;孫于惠;李京蔚 申請(專利權)人: 北京小米松果電子有限公司
主分類號: G06F40/289 分類號: G06F40/289;G06F18/213;G06N3/045;G06N3/044;G06N3/08
代理公司: 北京名華博信知識產權代理有限公司 11453 代理人: 白瑩
地址: 100085 北京市*** 國省代碼: 北京;11
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 文本 分詞 模型 訓練 方法 處理 裝置 介質
【說明書】:

本公開是關于一種文本分詞模型的訓練方法、分詞處理方法及裝置、介質,涉及自然語言處理領域。本公開提供的文本分詞模型的訓練方法中,文本分詞模型包括特征提取器、分詞分類器、聲調分類器,訓練方法包括:獲取訓練文本,訓練文本中的每個字標注有第一分詞標簽以及第一聲調標簽;將訓練文本輸入特征提取器,提取訓練文本的特征信息;將訓練文本的特征信息分別輸入分詞分類器和聲調分類器;根據分詞分類器的輸出結果確定分詞輸出誤差信息,根據聲調分類器的輸出結果確定聲調輸出誤差信息;根據分詞輸出誤差信息和聲調輸出誤差信息,調整文本分詞模型。本公開技術方案中引入聲調特征,并結合分詞特征,對分詞分類器、特征提取器進行優(yōu)化,提高整個中文分詞算法的準確度。

技術領域

本公開涉及自然語言處理領域,尤其是涉及一種文本分詞模型的訓練方法、分詞處理方法及裝置、介質。

背景技術

在自然語言處理任務中,通常來說是以詞為最小維度。在英文的行文中,單詞之間是以空格作為自然分界符的,而中文只是字、句和段能通過明顯的分界符來簡單劃界,唯獨詞沒有一個形式上的分界符。所以對中文的分詞任務成為了中文自然語言處理任務的基礎,也就是所謂的中文分詞。

由于中文的特點,中文分詞并不能簡單地劃分。例如“他說的確實在理”這句話中,“的確”,“確實”,“實在”,“在理”都是中文中有的詞匯。可見,根據規(guī)則難以直接判斷如何分詞。而分詞的準確性直接影響到整個自然語言處理任務的效果。

經過算法不斷地發(fā)展,相關技術中的中文分詞任務普遍被抽象為序列標注問題。以最常見的4-tag標注為例,對于一個句子中的每一個字,認為它屬于[S,B,M,E]四個標簽中的一個。其中S代表該字為單字詞,B代表該字為一個詞的開始字,M代表該字為一個詞的中間字,,E代表該字為一個詞的最后一個字。那么分詞任務就抽象為對于一句話,標注出其中每個字的標簽,即得到每個字的分詞特征。

相關技術中,通常采用神經網絡+分類器的做法實現(xiàn)分詞特征的提取。即利用神經網絡生成特征提取器,輸入句子后即可輸出抽象特征。將輸出的抽象特征輸入到分類器中,分類器輸出每個字所屬的標簽。通常來說特征提取器采用encoder結構,分類器采用crf算法。

發(fā)明內容

為克服相關技術中存在的問題,本公開提供一種文本分詞模型的訓練方法、分詞處理方法及裝置、介質。

根據本公開實施例的第一方面,提供一種文本分詞模型的訓練方法,所述文本分詞模型包括特征提取器、分詞分類器、聲調分類器,所述訓練方法包括:

獲取訓練文本,所述訓練文本中的每個字標注有第一分詞標簽以及第一聲調標簽;

將所述訓練文本輸入所述特征提取器,提取所述訓練文本的特征信息;

將所述訓練文本的特征信息分別輸入所述分詞分類器和所述聲調分類器;

根據所述分詞分類器的輸出結果確定分詞輸出誤差信息,根據所述聲調分類器的輸出結果確定聲調輸出誤差信息;

根據所述分詞輸出誤差信息和聲調輸出誤差信息,調整所述文本分詞模型。

其中,上述文本分詞模型的訓練方法中,所述根據所述分詞分類器的輸出結果確定分詞輸出誤差信息,包括:

所述分詞分類器輸出所述訓練文本中每個字的第二分詞標簽,將所述訓練文本中每個字的第二分詞標簽分別與所述字的第一分詞標簽進行對比,確定所述分詞輸出誤差信息。

其中,上述文本分詞模型的訓練方法中,所述根據所述聲調分類器的輸出結果確定聲調輸出誤差信息,包括:

所述聲調分類器輸出所述訓練文本中每個字的第二聲調標簽,將所述訓練文本中每個字的第二聲調標簽分別與所述字的第一聲調標簽進行對比,確定所述聲調輸出誤差信息。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京小米松果電子有限公司,未經北京小米松果電子有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯(lián)系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202010214706.3/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發(fā)明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業(yè)標識 聯(lián)系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 欧洲国产一区| 高清欧美精品xxxxx在线看| 日韩精品中文字幕在线| 国产精品国产三级国产专区51区| 91久久国产露脸精品国产 | 亚洲国产精品二区| 国产精品免费专区| 久久激情影院| 97一区二区国产好的精华液| 国产日韩精品一区二区| 国产超碰人人模人人爽人人添| 免费观看xxxx9999片| 国产日韩欧美一区二区在线观看| 久久久久久久久亚洲精品| 性欧美一区二区三区| 93久久精品日日躁夜夜躁欧美| 午夜黄色网址| 国产精品久久久久久久久久软件| 少妇性色午夜淫片aaa播放5| 最新国产一区二区| 国产精品久久久综合久尹人久久9| 日韩精品一区中文字幕| 午夜一区二区视频| 精品国产一区二区三区麻豆免费观看完整版| 欧美午夜一区二区三区精美视频| 色一情一乱一乱一区99av白浆| 国产精品久久久久久久综合| 91精品国模一区二区三区| 偷拍久久精品视频| 日本三级香港三级| 欧美在线视频一二三区| 欧美精品国产精品| 久久精品国产久精国产| 精品久久久影院| av中文字幕一区二区| 亚洲国产精品97久久无色| 中文字幕制服狠久久日韩二区| 国产午夜一级一片免费播放| 午夜666| 免费91麻豆精品国产自产在线观看| 亚洲欧美日韩精品suv| 亚洲欧美日本一区二区三区| 日本护士hd高潮护士| 亚洲精品久久久中文| 99久久久国产精品免费无卡顿| 精品国产区一区二| 亚洲国产精品女主播| 久久亚洲精品国产一区最新章节| 国内视频一区二区三区| 精品一区二区超碰久久久| 欧美精品亚洲一区| 99热久久这里只精品国产www| 欧美日韩一区视频| 国产午夜一区二区三区| 国产精品久久久久四虎| 日本一区二区三区免费在线| 亚洲高清国产精品| 91精品一区二区在线观看| 中文字幕二区在线观看| 欧美一区二区久久久| 激情久久久| 国产精品9区| 亚洲伊人久久影院| 26uuu亚洲国产精品| 国产二区三区视频| 96国产精品视频| 四季av中文字幕一区| 中文字幕一区三区| 午夜毛片在线看| 91久久免费| 91精品免费观看| 国产精品久久久区三区天天噜| 中文字幕一区二区三区乱码视频| 一区二区中文字幕在线| 少妇在线看www| 久久艹亚洲| 欧美亚洲视频一区二区| 国产精品无码永久免费888| 亚洲国产偷| 午夜看大片| 欧美一区二区精品久久| 国产精品亚州| 欧美一区久久久| 国内自拍偷拍一区| 精品无人国产偷自产在线| 日本大码bbw肉感高潮| 狠狠色狠狠色综合久久第一次| 午夜激情免费电影| 911久久香蕉国产线看观看| 福利视频亚洲一区| 国产视频精品久久| 亚洲午夜精品一区二区三区电影院| 一区二区三区四区国产| 亚洲三区二区一区| 欧美激情视频一区二区三区| 久久91久久久久麻豆精品| 鲁丝一区二区三区免费观看| 国产美女视频一区二区三区| 国产男女乱淫视频高清免费| 国产精品尤物麻豆一区二区三区| 久久两性视频| 久久夜色精品久久噜噜亚| 狠狠躁夜夜| 农村妇女精品一二区| 国产高清在线观看一区| 十八无遮挡| 国产亚洲精品久久久久久久久动漫| 国产91精品一区二区麻豆亚洲| 国产亚洲精品精品国产亚洲综合| 一区二区三区精品国产| 欧美一区二区三区另类| 视频二区狠狠色视频| 国产一二区在线| 亚洲国产精品女主播| 久久99久国产精品黄毛片入口| 日本伦精品一区二区三区免费| 李采潭无删减版大尺度| 久久69视频| 午夜爽爽爽男女免费观看| 欧美日韩亚洲另类| 91久久国产露脸精品国产护士| 欧美精品五区| 国产极品美女高潮无套久久久| 国产精品久久久久久久妇女| 日韩中文字幕久久久97都市激情| 久久久久久久久亚洲精品一牛| 日韩av在线播放网址| 欧美一区二区三区在线免费观看| 狠狠色成色综合网| 欧美视频1区| 99国产伦精品一区二区三区| 日韩av不卡一区| 国产乱人乱精一区二视频国产精品| 国产精品二区一区| 免费的午夜毛片| 欧美日韩一级在线观看| 欧美国产三区| 538国产精品一区二区免费视频| 欧美在线视频一二三区| 欧美日韩综合一区二区| 国产91久| 久久精视频| 艳妇荡乳欲伦2| 日韩精品一区二区久久| 欧美精品九九| 99re热精品视频国产免费 | 久久国产精品网站| 销魂美女一区二区| 亚洲在线久久| 一区二区久久精品| 国产91九色在线播放| 中文字幕制服狠久久日韩二区 | 农村妇女毛片精品久久| 一区二区久久久久| 国产女性无套免费看网站| 国产精品伦一区二区三区级视频频 | 91久久综合亚洲鲁鲁五月天| 色婷婷精品久久二区二区蜜臂av| 日韩欧美一区精品| 日韩av电影手机在线观看| 91精品国产一区二区三区| 午夜少妇性影院免费观看| 狠狠干一区| 久久第一区| 中文字幕a一二三在线| 亚洲精品久久久中文| 国产一区二区三区黄| 国模精品免费看久久久| 99视频国产精品| 久久一区二区精品视频| 国产精品高潮呻| 国产午夜伦理片| 亚洲国产精品日韩av不卡在线| 国产va亚洲va在线va| 91久久国产视频| 国产一区二区三区久久久| 91看片淫黄大片91| 国产精品高清一区| 91嫩草入口| 精品国产乱码久久久久久影片| 国产一区在线精品| 在线视频国产一区二区| 美女脱免费看直播| 国产一区二区免费在线| 99视频国产精品| 国产亚洲欧美日韩电影网| 国产69精品久久久久777| 色综合久久久| 国产高清一区二区在线观看| 国产精品你懂的在线| 精品国产乱码一区二区三区在线| 亚洲精品国产91| 93精品国产乱码久久久| 91精品国产高清一区二区三区| 国模精品免费看久久久| 中日韩欧美一级毛片| 日韩精品一区二区三区中文字幕| 69xx国产| 男女视频一区二区三区| 国产理论片午午午伦夜理片2021 | 亚洲精品久久久久www| 国产精品精品国内自产拍下载| 日韩精品一区三区| 精品国产一区二区三区久久久久久 | 欧美日韩国产123| 国产一区二区影院| 久久综合二区| 91久久精品在线| 国产资源一区二区三区| 国产精品美女一区二区视频| 激情久久精品| 免费a一毛片| 国产97在线看| 999偷拍精品视频| 中文字幕一区三区| 免费观看xxxx9999片| 国产午夜三级一二三区| 国产日韩欧美专区| 久久久综合亚洲91久久98| 欧洲在线一区| 强制中出し~大桥未久4| 又黄又爽又刺激久久久久亚洲精品 | 亚洲乱子伦| 国产伦精品一区二区三区四区| 国产1区2区3区| 亚洲乱亚洲乱妇28p| 思思久久96热在精品国产| 一区二区免费播放| 国产一级片自拍| 国产高清在线一区| 免费看欧美中韩毛片影院| 国产69精品久久99的直播节目| 色综合久久久久久久粉嫩| 少妇bbwbbwbbw高潮| 夜夜躁人人爽天天天天大学生| 日韩精品一区在线观看 | 中文字幕在线一区二区三区| 日本一区二区三区电影免费观看| 96精品国产| 国产午夜精品一区二区三区欧美| 日本二区在线观看| 狠狠色噜噜狠狠狠狠2021天天| 亚洲精品91久久久久久| 日韩精品一区二区不卡| 91丝袜国产在线观看| 国产在线干|