[發明專利]一種自動識別產品命名實體的方法及裝置

無效

• 申請號: 200910085070.0
• 申請日: 2009-05-31
• 公開（公告）號: CN101576910A
• 公開（公告）日: 2009-11-11
• 發明（設計）人: 于文淵
• 申請（專利權）人: 北京學之途網絡科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京安信方達知識產權代理有限公司
• 代理人: 龍 洪;霍育棟

1、一種自動識別產品命名實體的方法，包括：

根據各產品的產品信息構建產品知識庫；

識別文本中的產品命名實體；

將識別出的產品命名實體與所述產品知識庫中的產品進行匹配，確定所述識別出的產品命名實體所對應的所述產品知識庫中的產品。

2、如權利要求1所述的方法，其特征在于，所述根據各產品的產品信息構建產品知識庫的步驟包括：

對互聯網上的產品庫的網頁進行抓取，并從所抓取的網頁中分別提取出該網頁內各產品的產品信息，包括產品名、公司名、技術參數和出現頻率，所述產品名包括廠家、品牌名、型號、系列名等信息中的一個或幾個；

計算產品名中各信息t對產品e的權重V(t|e)：先得到出現各e’的概率P(e’)的總和，所述e’為包含t的產品；然后用出現e的概率P(e)除以所述總和得到V(t|e)；

以產品為條目，將產品信息和產品名中各信息的權重構建為產品知識庫。

3、如權利要求1所述的方法，其特征在于，所述識別文本中的產品命名實體的步驟包括：

根據具體領域產品命名實體的構成規則，設定隱馬爾可夫模型的狀態集合以及產品命名實體的狀態模板；

通過對語料庫的標注和最大似然法獲取概率參數，所述語料庫是指人工已經標注好狀態的文本資料；進行狀態標注時將詞性和知識信息作為基本狀態分類標準；所述知識信息包括潛在的公司名、品牌名、型號和系列名中的一個或幾個；

將文本分割為句子；利用隱馬爾可夫模型計算出最大概率狀態序列，根據最大概率狀態序列匹配相應的產品命名實體的狀態模板，識別出句子中所包括的產品命名實體。

4、如權利要求2所述的方法，其特征在于，將識別出的產品命名實體與所述產品知識庫中的產品進行匹配，確定所述識別出的產品命名實體所對應的所述產品知識庫中的產品的步驟包括：

計算識別出來的產品命名實體對所述產品知識庫中的各產品的匹配度；當計算產品命名實體對一個產品e的匹配度時，在所述產品知識庫中查找該產品命名實體中每個詞對于該產品e的權重，然后相加得到對于該產品e的匹配度；

對所述產品知識庫中的所有產品的匹配度進行排序，確定匹配度最高的產品為所述識別出來的產品命名實體所對應的產品知識庫中的產品。

5、如權利要求4所述的方法，其特征在于，還包括：

當計算對某個產品的匹配度時，如果所述識別出來的產品命名實體前第d個詞為該產品的廠商信息，則將對該產品的匹配度增加1/d+4。

6、一種自動識別產品命名實體的裝置，其特征在于，包括：

構建單元，用于根據各產品的產品信息構建產品知識庫；

識別單元，用于識別文本中的產品命名實體；

對應單元，用于將識別出的產品命名實體與所述產品知識庫中的產品進行匹配，確定所述識別出的產品命名實體所對應的所述產品知識庫中的產品。

7、如權利要求6所述的裝置，其特征在于，所述構建單元包括：

提取模塊，用于對互聯網上的產品庫的網頁進行抓取，并從所抓取的網頁中分別提取出該網頁內各產品的產品信息，包括產品名、公司名、技術參數和出現頻率，所述產品名包括廠家、品牌名、型號、系列名等信息中的一個或幾個；

權重計算模塊，用于計算產品名中各信息t對產品e的權重V(t|e)：先得到出現各e’的概率P(e’)的總和，所述e’為包含t的產品；然后用出現e的概率P(e)除以所述總和得到V(t|e)；

建庫模塊，用于以產品為條目，將產品信息和產品名中各信息的權重構建為產品知識庫。

8、如權利要求6所述的裝置，其特征在于，所述識別單元包括：

設置模塊，用于根據具體領域產品命名實體的構成規則，設定隱馬爾可夫模型的狀態集合以及產品命名實體的狀態模板；

參數計算模塊，通過對預存的語料庫的標注和最大似然法獲取概率參數，所述語料庫是指人工已經標注好狀態的文本資料；進行狀態標注時將詞性和知識信息作為基本狀態分類標準；所述知識信息包括潛在的公司名、品牌名、型號和系列名中的一個或幾個；

識別模塊，用于將文本分割為句子，利用隱馬爾可夫模型計算出最大概率狀態序列，根據最大概率狀態序列匹配相應的產品命名實體的狀態模板，分別識別出各句子中所包括的產品命名實體。