[發明專利]文檔的處理方法及裝置

有效

• 申請號: 201910697312.5
• 申請日: 2019-07-30
• 公開（公告）號: CN110427488B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 袁燦;于政
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 江舟

本發明公開了一種文檔的處理方法及裝置。該方法包括：通過獲取文檔中的多個文本塊；通過分類器確定多個文件塊中每個文本塊的所屬標簽，以及通過預設的語言模型對多個文件塊中兩兩相鄰的文本塊進行分析，得到兩兩相鄰的文本塊的連續概率，其中，語言模型為使用多組數據通過機器學習訓練出的，多組數據中的每組數據均包括：兩兩相鄰的文本塊和兩兩相鄰的文本塊的連續概率；在確定指定的兩兩相鄰的文本塊的連續概率的大于預設閾值，且指定的兩兩相鄰的文本塊屬于同一標簽的情況下，將指定的兩兩相鄰的文本塊進行合并。本發明解決了現有技術中，對文檔中的文本進行合并時，由于文本中存在換行、分欄等情況，導致文本合并存在精確度低的技術問題。

技術領域

本發明涉及文檔處理領域，具體而言，涉及一種文檔的處理方法及裝置。

背景技術

目前，PDF文檔由于其具有文檔文件穩定、文檔格式的保留較好等優點，已成為文本文件的存儲和傳輸的重要形式。對于工業以及學術界大部分知識和信息都是通過PDF文檔形式存在，對于當前企事業單位智能化的一個重要前提就是將存儲在PDF文檔中的各種知識解析后結構化存儲后再進行使用。當前大部分的PDF解析工具得到的內容存在位置錯亂，內容目錄層級無法確定等問題，需要通過技術手段來對解析后文本內容進行分類和合并，從而達到結構化或半結構化的目的。

而現有的對PDF解析內容進行分類和合并的方法主要通過解析后文本塊進行關鍵字匹配來確定文本塊類別。關鍵字匹配主要通過文本類別的關鍵字，例如對文本按照標題，正文，注釋等進行分類，那么對于標題通常采用匹配標題常見關鍵字符如“1.1”進行匹配，如匹配存在則判斷該文本塊為標題。對于多個文本塊則通過文本塊所在PDF中坐標進行直接合并，按照坐標從上到下，從左到右進行合并。

關鍵字匹配的方法其主要缺陷在于關鍵字匹配需要積累匹配規則，對于PDF文檔其標題形式千變萬化，需要維護大量規則，另外也存在規則召回率低難優化的問題。而對于文本塊的合并方法，根據坐標合并的方法過于粗略，對于文本中存在換行、分欄等情況未做考慮，導致文本合并存在錯誤較多的情況。

針對現有技術中，對文檔中的文本進行合并時，由于文本中存在換行、分欄等情況，導致文本合并存在精確度低的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種文檔的處理方法及裝置，以至少解決現有技術中，對文檔中的文本進行合并時，由于文本中存在換行、分欄等情況，導致文本合并存在精確度低的技術問題。

根據本發明實施例的一個方面，提供了一種文檔的處理方法，包括：獲取文檔中的多個文本塊；通過分類器確定所述多個文件塊中每個文本塊的所屬標簽，以及通過預設的語言模型對所述多個文件塊中兩兩相鄰的文本塊進行分析，得到所述兩兩相鄰的文本塊的連續概率，其中，所述語言模型為使用多組數據通過機器學習訓練出的，所述多組數據中的每組數據均包括：兩兩相鄰的文本塊和兩兩相鄰的文本塊的連續概率；在確定指定的兩兩相鄰的文本塊的連續概率的大于預設閾值，且所述指定的兩兩相鄰的文本塊屬于同一標簽的情況下，將所述指定的兩兩相鄰的文本塊進行合并。

進一步地，獲取所述文檔中的所述多個文本塊包括：將所述文檔轉化為圖片；對所述圖片按照預設規則劃分不同的區域，其中，所述不同的區域分別對應于所述多個文本塊。

進一步地，對所述圖片按照預設規則劃分不同的區域之后，所述方法還包括：分別對所述不同的區域標注標簽，其中，對所述不同的區域標注的標簽為所述每個文本塊的所屬標簽。