[發明專利]基于深度神經網絡的自然語言語義分析系統及方法

在審

• 申請號: 201710172099.7
• 申請日: 2017-03-22
• 公開（公告）號: CN107015963A
• 公開（公告）日: 2017-08-04
• 發明（設計）人: 李鵬華;趙芬;孫健;朱智勤;程安宇;米怡
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30;G06N3/04
• 代理公司: 北京科億知識產權代理事務所(普通合伙)11350
• 代理人: 湯東鳳

技術領域

本發明涉及機器學習研究的新領域，尤其涉及一種基于深度神經網絡的自然語言語義分析系統及方法。

背景技術

深度學習在圖像和語音處理領域碩果累累，但在同屬人類認知范疇的自然語言處理任務中，研究尚未取得重大突破。與語音和圖像不同，自然語言”在深度學習中用于初始輸入的“數據源”是字或詞，已經包含了人類的語義解釋，是經過人類主觀思考處理后形成的。本質上，人類語言的理解，是一個復雜的知識推理過程。然而，當前的深度學習過多關注于“自動學習”，導致對自然語言的處理大多依舊停留在“淺層語義”的理解。本發明在深度學習中引入知識圖的概念，在構建知識圖的基礎上，將淺層語義理解結果注入知識圖，通過相應的知識推理獲得較為深層的語義理解。

發明內容

本發明的目的就在于為了解決上述問題而提供一種基于深度神經網絡的自然語言語義分析系統及方法。

本發明通過以下技術方案來實現上述目的：

本發明包括以下步驟：

(1)構建知識圖，用知識圖作為實體構造的知識表示方法，以期基于此建立出知識表示準確的實體；以長短文本為語義知識資源，知識圖為語義表示方法，構建一種基于深度神經網絡下的自然語言語義知識圖，利用構建的知識圖對自然語言中的實體進行描述。

知識圖表示一個概念體系，概念用結點表示，概念之間的關聯用箭頭表示；結點的內容可以是文字、圖形、嵌套的知識圖及其組合，箭頭上面也可以用文字或圖形標志關聯的名稱或內容。知識圖不限定圖的結構為樹，也可以是網。

知識圖表示中，實體的表示稱之為概念，概念用節點表示。知識圖由兩種節點組成：概念節點和關系節點。概念節點表示出現在應用領域的實體，關系節點表示實體之間的關系。概念類型(實體類型)的順序集用T_C來表示。個體概念是引用單獨標記，該單獨標記屬于單獨標記集I。有一個通用標記*，它用來表示一個未指明的實體。相同標記*用來表示一個通用實體不管它的類型。關系集用T_R來表示，T_R的一個元素叫做關系符號或關系類型。這三種集(T_C,T_R,I)組成詞匯，該詞匯被用來標注知識圖的兩種節點。一個知識圖的詞匯，或者簡單的一個詞匯，是一個三元關系(T_C,T_R,I)。

圖5是概念類型的一個子集，圖6是關系類型集的一部分。其都描述孩子們玩耍的一張照片。描述如下：一個男孩和他的姐姐，名字叫Mary，正在一個房間里面玩耍，房間里面有一個方塊狀的玩具車和家具。

知識圖由兩個互斥節點集組成,也就是說，知識圖中的任意一條邊連接來自不同集的節點，節點可以同時被幾個邊所連接。節點的一個集叫做概念節點的集(表示實體)，另一個集叫做關系節點的集(表示實體之間的關系)。

知識圖上概念關系抽取。在構建本體框架時，概念及概念間的關系需要被準確定義。每個概念都與其他概念構成上下位關系，所以采用語義概念相似度的計算，首先先選取領域中綜合的、概括性的概念作為大的類，然后逐步細化、說明，生成子類。

義原間的語義相似度計算:

1)義原a與義原b的語義距離Distance(a,b):

Distance(a,b)＝a與b在義原分類樹上的最短距離

2)義原a與義原b的語義相似度Sim(a,b):

兩個詞圖G1，G2的相似度記為Sim(G1,G2)＝Sim₁(a,b)×β₁+Sim₂(a,b)×β₂，其中β₁，β₂為兩個參數，β₁+β₂＝1，β₁＞0.5。

圖7表示一個知識圖由4個概念節點(表示實體)和3個關系節點(表示實體之間的關系)組成。4個概念節點分別為：一個名字叫保羅的孩子，一輛小汽車，一個人，小尺寸；3個關系節點：一個三元關系：玩，兩個二元關系：屬性和擁有。該圖能被理解為描述下面的事實：一個名叫保羅的孩子擁有一輛玩具小車，保羅和一個人正在玩這輛玩具小轎車。

圖8展示另一個知識圖，描述如下事實：一個名叫保羅的孩子一邊洗澡，一邊和他的媽媽玩耍。可以看出概念(孩子：保羅)和關系(洗澡)之間的平行邊，顯示關系(洗澡)的主語和賓語是相同的實體(孩子：保羅)。