[發(fā)明專利]一種分類器的構(gòu)建方法、混雜文本的分類方法及裝置

在審

• 申請?zhí)枺?/td>: 201811278457.3
• 申請日: 2018-10-30
• 公開（公告）號: CN109522943A
• 公開（公告）日: 2019-03-26
• 發(fā)明（設(shè)計(jì)）人: 曾承;王金河;呂鵬
• 申請（專利權(quán)）人: 武漢泰樂奇信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 羅飛

本發(fā)明提供了一種分類器的構(gòu)建方法、混雜文本的分類方法及裝置，其中的混雜文本的分類方法包括：獲得待處理的混雜文本；根據(jù)分隔符將混雜文本分割為多個(gè)短句；將多個(gè)短句逐個(gè)輸入構(gòu)建的分類器中，獲得分類結(jié)果。可以大大提高分類結(jié)果準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種分類器的構(gòu)建方法、混雜文本的分類方法及裝置。

背景技術(shù)

在進(jìn)行數(shù)據(jù)挖掘之前，需要將非結(jié)構(gòu)化數(shù)據(jù)清洗為結(jié)構(gòu)化數(shù)據(jù)，當(dāng)非結(jié)構(gòu)化的數(shù)據(jù)是一段混雜的文本時(shí)，則需要通過技術(shù)手段對混雜文本進(jìn)行拆分，并映射到對應(yīng)的結(jié)構(gòu)化的列中。

現(xiàn)有技術(shù)中，通常采用的方法是：首先通過人工整理特征詞，在進(jìn)行分類時(shí)，將混雜文本按照標(biāo)點(diǎn)符號分開為短句，然后依次判斷短句中是否包含不同列的特征詞，如果包含，就把該短句劃分到該列。例如“肝臟超聲未見明顯異常；腎臟超聲未見明顯異常”，前一句劃分到“肝臟超聲”，后一句劃分到“腎臟超聲”。

本發(fā)明申請人在實(shí)施本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中的方案至少存在如下問題：

現(xiàn)有方法，由于需要通過人工整理特征詞，導(dǎo)致特征詞不全面，容易遺漏，并且整理的特征詞不能很好的體現(xiàn)文本特征，導(dǎo)致一些短句會被誤判。例如“膀胱充盈，子宮附件未見明顯異常”，按照特征詞判斷，該短句會被誤判為“膀胱超聲”，因?yàn)樗卣髟~“膀胱”，但“膀胱充盈”只是做“子宮附件超聲”檢查的前提條件，實(shí)際上該短句應(yīng)該屬于“子宮附件超聲”。

由上可知，現(xiàn)有技術(shù)中方法存在分類結(jié)果不準(zhǔn)確的技術(shù)問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種分類器的構(gòu)建方法、混雜文本的分類方法及裝置，用以解決或者至少部分解決現(xiàn)有技術(shù)中方法存在分類結(jié)果不準(zhǔn)確的技術(shù)問題。

本發(fā)明第一方面提供了一種分類器的構(gòu)建方法，包括：

步驟S1：將多個(gè)混雜文本進(jìn)行拆分成短句，基于預(yù)先整理的特征詞標(biāo)注為訓(xùn)練集；

步驟S2：針對訓(xùn)練集，篩選出滿足預(yù)設(shè)條件的特征詞；

步驟S3：采用篩選出的特征詞將短句表示為特征向量；

步驟S4：基于特征向量以及對應(yīng)的訓(xùn)練集訓(xùn)練模型，獲得每個(gè)拆分列的分類器，其中，每個(gè)拆分列對應(yīng)一個(gè)類別。

在一種實(shí)施方式中，步驟S1中，通過手動(dòng)或者自動(dòng)的方式進(jìn)行標(biāo)注，獲得每個(gè)文本對應(yīng)的訓(xùn)練集。

在一種實(shí)施方式中，步驟S2具體包括：

通過分詞和統(tǒng)計(jì)詞頻，獲得每個(gè)特征詞的詞頻；

將每個(gè)特征詞按照詞頻排序，將滿足預(yù)設(shè)數(shù)量的特征詞作為滿足預(yù)設(shè)條件的特征詞。

在一種實(shí)施方式中，步驟S2具體包括：

通過分詞和統(tǒng)計(jì)詞頻，獲得每個(gè)特征詞的詞頻；

計(jì)算每個(gè)特征的重要程度；

根據(jù)每個(gè)特征詞的詞頻和重要程度，確定特征詞的評分，將評分高于預(yù)設(shè)值的特征詞作為滿足預(yù)設(shè)條件的特征詞。

在一種實(shí)施方式中，步驟S2具體包括：

采用機(jī)器學(xué)習(xí)的方式篩選出符合預(yù)設(shè)條件的特征詞。

在一種實(shí)施方式中，步驟S4中的模型包括：

邏輯回歸模型、決策樹模型、支持向量機(jī)模型、樸素貝葉斯模型中的一種。

基于同樣的發(fā)明構(gòu)思，本發(fā)明第二方面提供了一種混雜文本的分類方法，包括：

獲得待處理的混雜文本；

根據(jù)分隔符將混雜文本分割為多個(gè)短句；