[發(fā)明專利]智能算法優(yōu)化的數(shù)據(jù)圖書館建設(shè)方法

有效

• 申請?zhí)枺?/td>: 201910487851.6
• 申請日: 2019-06-05
• 公開（公告）號: CN110222022B
• 公開（公告）日: 2021-12-28
• 發(fā)明（設(shè)計(jì)）人: 朱藝;袁燁;沈正月
• 申請（專利權(quán)）人: 武漢劍心科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;G06F16/16;G06N3/04
• 代理公司: 北京遠(yuǎn)大卓悅知識產(chǎn)權(quán)代理有限公司 11369
• 代理人: 王瑩

本發(fā)明公開了一種智能算法優(yōu)化的數(shù)據(jù)圖書館建設(shè)方法，基于大數(shù)據(jù)處理框架下，包括以下步驟：步驟S1、建立數(shù)據(jù)集分布式存儲體系；步驟S2、搭建深度學(xué)習(xí)框架；步驟S3、預(yù)設(shè)智能優(yōu)化算法對待訓(xùn)練算法模型進(jìn)行優(yōu)化訓(xùn)練。本發(fā)明縮短算法優(yōu)化周期，降低人工智能門檻。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)與云計(jì)算領(lǐng)域。更具體地說，本發(fā)明涉及一種智能算法優(yōu)化的數(shù)據(jù)圖書館建設(shè)方法。

背景技術(shù)

隨著信息技術(shù)的蓬勃發(fā)展，信息化建設(shè)模式發(fā)生根本性轉(zhuǎn)變，一場以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)為核心的人工智能浪潮風(fēng)起云涌。數(shù)據(jù)平臺建設(shè)也迅猛發(fā)展，但是目前大多數(shù)據(jù)平臺基于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，服務(wù)對象為數(shù)據(jù)規(guī)模較小的中小企業(yè)，主要提供數(shù)據(jù)存儲以及基本的信息交互功能，且只能滿足關(guān)系型數(shù)據(jù)的存儲要求，對于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)束手無策。例如見中國專利：一種物流大數(shù)據(jù)平臺，專利申請?zhí)枮椋篊N201711260626.6,通過服務(wù)器數(shù)據(jù)中心接受數(shù)據(jù)并整合，將整合后的數(shù)據(jù)顯示到顯示端，集成用戶和物流端的相互信息交流，提高物流端與用戶端之間的信息交流；中國專利：一種智慧醫(yī)療信息集成平臺，專利申請?zhí)枺篊N201410534797.3，包括衛(wèi)生行政部門主導(dǎo)的區(qū)域內(nèi)多家醫(yī)院、社區(qū)診所聯(lián)合承建的總服務(wù)器，用于信息發(fā)布的醫(yī)療信息集成平臺，用于醫(yī)院、社區(qū)診所用戶登錄驗(yàn)證發(fā)布信息的用戶服務(wù)器終端，實(shí)現(xiàn)醫(yī)療信息實(shí)時(shí)查詢；與此同時(shí)，近年興起以hadoop、spark等分布式系統(tǒng)架構(gòu)為核心的海量數(shù)據(jù)存儲、計(jì)算的大數(shù)據(jù)平臺。例如中國專利：基于Hadoop的數(shù)據(jù)處理方法，專利申請?zhí)枺篊N201710343155.9，主要使用異構(gòu)硬件架設(shè)云基礎(chǔ)設(shè)施服務(wù)層，基于多級容錯(cuò)的并行計(jì)算接口建立分布式計(jì)算架構(gòu)，從而提高云計(jì)算的效率。但是此類數(shù)據(jù)平臺往往作為企業(yè)大數(shù)據(jù)戰(zhàn)略平臺，其數(shù)據(jù)一般不對外開放且應(yīng)用領(lǐng)域單一。因此實(shí)際意義上的共享數(shù)據(jù)平臺少之又少，導(dǎo)致一方面有算法的科研機(jī)構(gòu)缺少合適的試驗(yàn)數(shù)據(jù)，需重頭獲得試驗(yàn)數(shù)據(jù)，數(shù)據(jù)可重復(fù)利用率低，另一方面算法優(yōu)化的過程中，需要人員實(shí)時(shí)跟蹤、調(diào)整，費(fèi)時(shí)費(fèi)力。

發(fā)明內(nèi)容

為了實(shí)現(xiàn)根據(jù)本發(fā)明的這些目的和其它優(yōu)點(diǎn)，提供了一種智能算法優(yōu)化的數(shù)據(jù)圖書館建設(shè)方法，基于大數(shù)據(jù)處理框架下，包括以下步驟：

步驟S1、建立數(shù)據(jù)集分布式存儲體系；

步驟S2、搭建深度學(xué)習(xí)框架；

步驟S3、預(yù)設(shè)智能優(yōu)化算法對待訓(xùn)練算法模型進(jìn)行優(yōu)化訓(xùn)練。

優(yōu)選的是，所述步驟S1中具體步驟如下：

S11.建立基于Hadoop框架的分布式集群，優(yōu)化HDFS數(shù)據(jù)分布存儲階段；

S12.根據(jù)數(shù)據(jù)集的領(lǐng)域進(jìn)行分類、排序優(yōu)化NameNode結(jié)構(gòu)形成平臺數(shù)據(jù)管理目錄；

S13.將數(shù)據(jù)集進(jìn)行分類并分為若干文件塊，并分布于各個(gè)數(shù)據(jù)節(jié)點(diǎn)DataNode中。

優(yōu)選的是，所述文件塊的大小為64M，每個(gè)文件塊中的內(nèi)容均進(jìn)行備份存儲。

優(yōu)選的是，建設(shè)方法中還包括數(shù)據(jù)安全處理。

優(yōu)選的是，所述數(shù)據(jù)安全處理為數(shù)據(jù)脫敏、數(shù)據(jù)加密和數(shù)據(jù)權(quán)限管理中的一種或多種。

優(yōu)選的是，所述步驟S2中，深度學(xué)習(xí)框架包括Tensorflow框架、Caffe框架以及Keras框架。

優(yōu)選的是，所述Tensorflow框架的搭建依次包括定義添加神經(jīng)層的函數(shù)、導(dǎo)入需要訓(xùn)練的數(shù)據(jù)、定義節(jié)點(diǎn)用于接受數(shù)據(jù)、定義神經(jīng)層、定義optimizer使loss達(dá)到最小、對所有變量進(jìn)行初始化并通過sess.run optimizer迭代多次進(jìn)行學(xué)習(xí)；

其中，所述神經(jīng)層包括隱藏層和預(yù)測層。

優(yōu)選的是，Caffe框架的搭建依次包括對所有數(shù)據(jù)格式處理成caffe支持的格式、建立網(wǎng)絡(luò)結(jié)構(gòu)文件和參數(shù)文件；