[發明專利]一種面向開放網頁的實體屬性抽取方法和系統

有效

• 申請號: 201510071993.6
• 申請日: 2015-02-11
• 公開（公告）號: CN104636466B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 程學旗;賈巖濤;趙澤亞;王元卓;靳小龍;熊錦華;李曼玲;林海倫;許洪波
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇;李科

1.一種面向開放網頁的實體屬性抽取方法，包括：

步驟1)、提取開放網頁的文本，從中獲得目標實體的候選文本集合；

步驟2)、根據目標實體屬性在訓練文本集合中出現的頻率，選擇基于規則的方式或者基于統計的方式從所述候選文本集合中抽取目標實體屬性的值，包括：

計算目標實體屬性在訓練文本集合中出現的頻率，如果該頻率超過預定的閾值，則根據構造的統計模型來抽取目標實體屬性的值，否則根據構造的層疊有窮狀態自動機從其初始狀態針對所述候選文本集合所匹配到的文本以倒排索引的方式來抽取目標實體屬性的值；其中，所述訓練文本集合用于訓練所述統計模型，所述統計模型為條件隨機場模型。

2.根據權利要求1所述的方法，其中，步驟1)包括：

步驟11)、從開放網頁中提取出非結構化文本，對該非結構化文本進行分詞，得到詞與所述非結構化文本之間的相關度；

步驟12)、獲得目標實體的上下文中距離該目標實體最近的一個或多個初始查詢擴展詞，將與目標實體及所述一個或多個初始查詢擴展詞相關度最高的一個或多個非結構化文本作為第一文本集合；

步驟13)、從所述第一文本集合中選擇詞頻最高的一個或多個二次查詢擴展詞，將與目標實體及所述一個或多個二次查詢擴展詞相關度最高的一個或多個非結構化文本作為第二文本集合；

步驟14)、將所述第一文本集合和所述第二文本集合的并集作為目標實體的候選文本集合。

3.根據權利要求2所述的方法，其中，多個詞與非結構化文本的相關度為所述多個詞中的每個詞與該非結構化文本的相關度之和。

4.根據權利要求1所述的方法，其中，根據以下步驟構造層疊有窮狀態自動機：

步驟a)、在所述候選文本集合中進行實體識別并生成概念文件；其中，所述概念文件包括指示實體類型和屬于該類型的、從所述候選文本集合中識別出的實體的基本概念；指示待抽取變量的正則表達式；以及，指示實體與屬性之間的關系的標志詞；

步驟b)、生成包括所述概念文件和關聯規則的規則文件；其中，關聯規則包括單個規則或者嵌套了多個子規則的規則，用于指示所述概念文件中基本概念、正則表達式以及標志詞之間的關系；

步驟c)、根據所述規則文件中的關聯規則，構造層疊有窮狀態自動機；其中，所述層疊有窮狀態自動機的初始狀態為基本概念、正則表達式或者標志詞；其他狀態包括關聯規則以及關聯規則中的子規則。

5.根據權利要求4所述的方法，其中，根據構造的層疊有窮狀態自動機來抽取目標實體屬性的值包括：

將所述候選文本集合與所述層疊有窮狀態自動機從初始狀態開始匹配，對每個狀態在所述候選文本集合中匹配到的內容建立倒排索引；

匹配完成后，從建立的倒排索引中得到目標實體屬性的值。

6.根據權利要求1所述的方法，其中，根據以下步驟構造統計模型：

步驟A)、從在線百科中獲得訓練實體和相應的訓練屬性；

步驟B)、從訓練開放網頁中獲得所述訓練實體的訓練文本集合；

步驟C)、在所述訓練文本集合中提取特征，將所述訓練屬性的特征進行回標得到各屬性的訓練數據；

步驟D)、根據所述訓練數據，生成與每個屬性相對應的統計模型。

7.根據權利要求6所述的方法，其中，步驟B)包括：

步驟B1)、從訓練開放網頁中提取出非結構化文本，對該非結構化文本進行分詞，得到詞與非結構化文本之間的相關度；

步驟B2)、根據訓練實體在訓練開放網頁中的上下文信息獲得距離該訓練實體最近的n個初始查詢擴展詞，將與訓練實體及初始查詢擴展詞相關度最高的K個非結構化文本作為第三文本集合；其中，n和K為正整數；

步驟B3)、從所述第三文本集合中選擇詞頻最高的m個二次查詢擴展詞，將與訓練實體及二次查詢擴展詞相關度最高的L個非結構化文本作為第四文本集合；其中，m和L為正整數；

步驟B4)、取所述第三文本集合和所述第四文本集合的并集，作為訓練文本集合。