[發明專利]智能算法優化的數據圖書館建設方法

有效

• 申請號: 201910487851.6
• 申請日: 2019-06-05
• 公開（公告）號: CN110222022B
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 朱藝;袁燁;沈正月
• 申請（專利權）人: 武漢劍心科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;G06F16/16;G06N3/04
• 代理公司: 北京遠大卓悅知識產權代理有限公司 11369
• 代理人: 王瑩

1.一種智能算法優化的數據圖書館建設方法，基于大數據處理框架下，其特征在于，包括以下步驟：

步驟S1、建立數據集分布式存儲體系；

步驟S2、搭建深度學習框架；

步驟S3、預設智能優化算法對待訓練算法模型進行優化訓練；

所述步驟S1中具體步驟如下：

S11.建立基于Hadoop框架的分布式集群，優化HDFS數據分布存儲階段；

S12.根據數據集的領域進行分類、排序優化NameNode結構形成平臺數據管理目錄；

S13.將數據集進行分類并分為若干文件塊，并分布于各個數據節點DataNode中；

所述步驟S2中，深度學習框架包括Tensorflow框架、Caffe框架以及Keras框架；所述Tensorflow框架的搭建依次包括定義添加神經層的函數、導入需要訓練的數據、定義節點用于接受數據、定義神經層、定義optimizer使loss達到最小、對所有變量進行初始化并通過sess.run optimizer迭代多次進行學習；

其中，所述神經層包括隱藏層和預測層。

2.如權利要求1所述的智能算法優化的數據圖書館建設方法，其特征在于，所述文件塊的大小為64M，每個文件塊中的內容均進行備份存儲。

3.如權利要求1所述的智能算法優化的數據圖書館建設方法，其特征在于，建設方法中還包括數據安全處理。

4.如權利要求3所述的智能算法優化的數據圖書館建設方法，其特征在于，所述數據安全處理為數據脫敏、數據加密和數據權限管理中的一種或多種。

5.如權利要求1所述的智能算法優化的數據圖書館建設方法，其特征在于，Caffe框架的搭建依次包括對所有數據格式處理成caffe支持的格式、建立網絡結構文件和參數文件；

其中，參數文件包括學習率、權重衰減系數、迭代次數。

6.如權利要求1所述的智能算法優化的數據圖書館建設方法，其特征在于，所述Keras框架搭建依次包括選擇模型、構建網絡層、編譯、訓練和預測。

7.如權利要求1所述的智能算法優化的數據圖書館建設方法，其特征在于，所述步驟S3中具體步驟如下：

S31.確定優化模型的假設函數h_θ(x)和損失函數J(θ)分別為：

其中，θ_i(i＝0，1，2，，...，n)為模型參數，x_i(i＝0，1，2，...，n)為每個樣本的n個特征值；

S32.初始化參數θ₀，θ₁，...，θ_n、算法終止距離∈以及步長α；將所有θ_i初始化為0，將步長α初始化為1；

S33.確定當前位置的損失函數的梯度，對于θ_i的梯度表達式如下：

S34.用步長乘以損失函數的梯度，得到當前位置下降的距離如下：

S35.確定是否所有的θ_i對應的梯度下降的距離都小于ε，若小于ε則智能優化算法終止，當前所有的θ_i(i＝0，1，...，n)為目標結果，否則轉入步驟S34；

S36.將目標結果進行表達式更新如下，之后轉入步驟S31中；