[發明專利]一種基于統計分詞的文獻密級甄別方法

在審

• 申請號: 202010530243.1
• 申請日: 2020-06-11
• 公開（公告）號: CN111767733A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 李強;余祥;朱峰;李騰飛;陳立哲;顧正海
• 申請（專利權）人: 安徽旅賁科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/30
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 閆客

1.一種基于統計分詞的文獻密級甄別方法，其特征在于，包括：

對電子文件中的文字內容進行提取，得到對應的文檔內容；

將文檔內容與預先構建的敏感信息庫中的敏感信息進行語義相似度計算；

根據語義相似度計算電子文件的內容涉密程度，得到電子文件的密級判定結果。

2.如權利要求1所述的基于統計分詞的文獻密級甄別方法，其特征在于，所述對電子文件中的文字內容進行提取，得到對應的文檔內容，包括：

利用ANSI碼和Unicode碼讀取所述電子文件的中英文內容；

設置四個緩沖區保存讀取的ANSI碼和Unicode碼內容，其中Unicode和ANSI各用兩個字符串緩沖區，兩個字符串緩沖區分別存儲所述電子文件的英文內容和中文內容；

向Unicode對應的緩沖區最后一個元素讀入兩個字節，將讀到的兩個字節的低位傳遞到ANSI對應的緩沖區，高位若為0則不處理，否則，將ANSI緩沖區左移后進行賦值；

將文檔中指定長度內容分別讀取到緩沖區，如果Unicode對應的緩沖區不為空，將其內容添加到結果文本。

3.如權利要求1所述的基于統計分詞的文獻密級甄別方法，其特征在于，在所述對電子文件中的文字內容進行提取，得到對應的文檔內容之后，還包括：

采用多層隱馬模型對所述文檔內容進行預處理，得到所述文檔內容對應的詞法分析結果；

相應地，所述將文檔內容與預先構建的敏感信息庫中的敏感信息進行語義相似度計算，具體為：

將詞法分析結果與預先構建的敏感信息庫中的敏感信息進行語義相似度計算。

4.如權利要求3所述的基于統計分詞的文獻密級甄別方法，其特征在于，所述采用多層隱馬模型對所述文檔內容進行預處理，得到所述文檔內容對應的分詞結果，包括：

對輸入的原始字符串進行預處理，得到初步分詞的二元切分詞圖；

利用多層隱馬模型對原始字符串進行未登錄詞識別，以對初步分詞的二元切分詞圖進行修正，得到修正后的二元切分詞圖；

利用基于詞分類的隱馬模型對修正后的二元切分詞圖進行處理，得到所述原始字符串對應的分詞結果。

5.如權利要求4所述的基于統計分詞的文獻密級甄別方法，其特征在于，所述對輸入的原始字符串進行預處理，得到初步分詞的二元切分詞圖，包括：

對所述原始字符串進行原子切分，得到所述原始字符串對應的原子分詞序列；

采取N-GRAM方法對原子分詞序列進行處理，得到能覆蓋歧義的最佳N個分詞結果；

由N個分詞結果中最大概率的分詞結果形成所述初步分詞的二元切分詞圖。

6.如權利要求5所述的基于統計分詞的文獻密級甄別方法，其特征在于，所述未登錄詞包括未登錄詞中的人名、地名、機構名和專用詞，所述多層隱馬模型包括人名識別隱馬模型、地名識別隱馬模型以及機構名和專用詞識別隱馬模型；

所述利用多層隱馬模型對原始字符串進行未登錄詞識別，以對初步分詞的二元切分詞圖進行修正，得到修正后的二元切分詞圖，包括：

利用所述人名識別隱馬模型對所述能覆蓋歧義的最佳N個分詞結果進行人名識別，得到人名識別結果，并利用人名識別結果對所述初步分詞的二元切分詞圖進行人名修正，得到人名修正后的二元切分詞圖；

利用所述地名識別隱馬模型對人名識別結果進行地名識別，得到地名識別結果，并利用地名識別結果對人名修正后的二元切分詞圖進行修正，得到地名修正后的二元切分詞圖；

利用所述機構名和專用詞識別隱馬模型對地名識別結果進行識別，得到機構名及專用詞識別結果，并利用機構名及專用詞識別結果對所述地名修正后的二元切分詞圖進行修正，得到所述修正后的二元切分詞圖。