[發明專利]大規模非結構化數據提取方法、其系統、分布式數據管理平臺

在審

• 申請號: 201710301596.2
• 申請日: 2017-05-02
• 公開（公告）號: CN107122472A
• 公開（公告）日: 2017-09-01
• 發明（設計）人: 江有歸;封雷;劉東升
• 申請（專利權）人: 杭州泰一指尚科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62;G06N3/04
• 代理公司: 北京科家知識產權代理事務所(普通合伙)11427
• 代理人: 莫文新

1.一種大規模非結構化數據提取方法，其特征在于，所述方法包括：

獲取若干非結構化數據對象，并將所述非結構化數據對象的特征抽象為屬性；

使用所述非結構話數據對象的所有屬性對應的多維向量表示所述非結構化數據對象；

將所述多維向量作為卷積神經網絡輸入的基本單元；

通過卷積神經網絡的卷積層學習所述訓練數據的局部屬性；

通過卷積神經網絡的池化層將所述局部屬性進行統計操作，獲得第二特征向量；

將所述第二特征向量輸入所述卷積神經網絡的全連接層，利用分類器獲得非結構化數據分類結果。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：訓練所述卷積神經網絡；

所述訓練所述卷積神經網絡具體包括：

設卷積神經網絡中可訓練參數為：θ＝(W¹,W²)，其中W¹為卷積核的參數，應用如下優化目標函數：

J(θ)=Σi=1Tlog p(O(i)|x(i),θ)]]>

其中，T為訓練的樣本數量；

構建p(i|x,θ)作為似然函數，在給定x,θ的情況下，輸出提取的數據的屬性類別為i的概率通過如下算式計算：

p(i|x,θ)=eOi/Σk=1leOk]]>

使用梯度下降的方法求解可訓練參數，W¹，W²的值隨機初始化，通過向后傳播算法求導。

3.根據權利要求1所述的方法，其特征在于，所述通過卷積神經網絡的卷積層學習所述訓練數據的局部屬性，具體包括：

通過若干個長度與所述多維向量的維度相同的卷積單元學習所述非結構對象的屬性特征；

其中，卷積過程通過如下算式表示：

c_i＝f(W¹d_i+b),i＝1,2,...,n

其中，W¹表示卷積單元的權重，b表示其偏移量，f為非線性激活函數；

對輸入的所有多維向量均進行所述卷積過程，獲得第一特征向量；所述第一特征向量為：c＝[c₁,c₂,...,c_i,...,c_n]。

4.根據權利要求3所述的方法，其特征在于，所述通過卷積神經網絡的池化層將所述局部屬性進行統計操作，獲得第二特征向量，具體包括：

進行最大池化操作，獲取所述第一特征向量的特征值，所述特征值為：

對每個卷積單元均執行所述最大池化操作并將各個卷積單元的特征值連接生成第二特征向量；所述第二特征向量為：