[發明專利]與文本挖掘集成的規范編輯系統

在審

• 申請號: 201980046306.1
• 申請日: 2019-07-17
• 公開（公告）號: CN112384907A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 福田進;渡邊健太;石川隼輔;福田隆
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F40/169;G06F40/216;G06F16/93;G06F40/242;G06F16/36;G06N5/00
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 于靜;楊曉光

實施例涉及用于動態面元字典管理的系統、計算機程序產品和方法。當一個或多個注釋被應用于文檔集合時，電子文本和相關聯的面元被標識。附加面元和面元值被標識并選擇性地應用于知識庫。由面元和相關聯的面元值組成的字典從選擇性應用構建。將字典應用于知識庫標識并返回文檔目標集合。因而，面元挖掘和字典構造被動態地應用于知識庫。

背景技術

本實施例涉及對文檔集合進行文本挖掘。更具體地，實施例涉及將字典管理與相關聯的文本挖掘系統集成。

文本挖掘是用于在不必讀取相關聯文檔的全部內容的情況下理解大量非結構化文本數據的技術。更具體地，文本挖掘是分析文本材料的集合以便捕捉關鍵概念和主題并揭示隱藏關系和趨勢而不需要由相關聯的作者用來表達那些概念的精確單詞或詞語的知識的過程。文本挖掘標識數據中的概念、模式、主題、關鍵字和其他屬性。

文本挖掘提取語言面元(facet)，其是表示文檔的特征的單詞和短語的集合。面元對應于信息元素的屬性。面元是文檔的重要方面；面元是從已經結構化的元數據或從從文本內容中提取的概念導出的。例如，面元可包括人、地點、組織、情感分析等。通常通過使用實體提取技術分析項目的文本或從數據庫中的預先存在的字段(例如作者、描述符、語言和格式)分析項目文本來導出面元。在內容分析收集中，選擇面元來探索經分析的內容并發現隨時間推移數據的模式、趨勢和偏差。確定哪些面元被顯示以及對每個面元的貢獻是成功的內容挖掘的關鍵設計任務。

用于文本挖掘的常規技術利用外部編輯器來管理面元以及將面元應用到與文本挖掘相關聯的字典。這些技術具有局限性，因為用于添加在文本挖掘過程中發現的詞的過程需要重建相關聯的索引以檢查所添加的詞是否與文本挖掘很好地起作用。

發明內容

本文中描述的實施例包括用于面元字典管理的系統、計算機程序產品和方法。在一個方面中，一種計算機系統具備與存儲器通信的處理單元和可操作地耦合到所述處理單元的功能單元。功能單元包括支持文本挖掘和面元字典構建的工具。所述工具包括但不限于文檔、文本、面元和字典管理器。文檔管理器將注釋與文本挖掘集成，并將注釋應用于知識庫。文本管理器從相關聯的文檔集合提取元素，所提取的與應用的注釋相關的元素選擇所提取的元素中的一個或多個，將所選擇的元素指定為面元，并且選擇性地向面元添加面元值。面元管理器動態地執行添加的面元值的統計分析。字典管理器用注釋、面元和面元值構造字典，并將字典應用于文檔集合。文檔目標列表從字典應用返回到文檔集合。

在另一方面中，提供一種計算機程序產品以支持文本挖掘。該計算機程序產品包括計算機可讀存儲介質，該計算機可讀存儲介質具有被配置成由處理單元執行的具體化的程序代碼。提供程序代碼以將注釋與文本挖掘集成，并且將注釋應用于知識庫。此外，提供程序代碼以從相關聯的文檔集合中提取元素，所提取的元素與所應用的注釋有關。程序代碼選擇一個或多個所提取的元素，將所選擇的元素指定為面元，并且將面元值選擇性地添加到面元。還提供程序代碼以動態地執行對所添加的面元值的統計分析、用注釋、面元和面元值構造字典、以及將字典應用于文檔集合。文檔的目標列表從字典應用返回到文檔集合。

在又另一方面，提供了一種用于對文檔集合進行文本挖掘和動態面元以及面元值管理和應用的方法。注釋與文本挖掘集成，包括將注釋應用于知識庫。提取來自相關聯的文檔集合的元素，其中所提取的元素與所應用的注釋有關。選擇所提取的元素中的一個或多個，將其指定為面元，并且將面元值選擇性地添加到面元。動態地執行對所添加的面元值的統計分析，并且構建具有注釋、面元和面元值的字典并且將該字典應用于文檔集合。文檔目標列表從字典應用返回到文檔集合。