[發(fā)明專利]一種面向神經(jīng)網(wǎng)絡(luò)模型優(yōu)化的數(shù)據(jù)處理方法和裝置

有效

• 申請?zhí)枺?/td>: 202110002440.0
• 申請日: 2021-01-04
• 公開（公告）號: CN112668717B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 李海峰;徐聰;馬琳;豐上;薄洪健;陳婧;王子豪;李洪偉;孫聰珊;徐忠亮;朱泓嘉;張子卿;熊文靜;丁施航;姜文浩
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N20/00;G06F17/16
• 代理公司: 成都方圓聿聯(lián)專利代理事務(wù)所(普通合伙) 51241
• 代理人: 李鵬

本發(fā)明公開了一種面向神經(jīng)網(wǎng)絡(luò)模型優(yōu)化的數(shù)據(jù)處理方法和裝置。方法包括：通過計(jì)算高階笛卡爾擴(kuò)張項(xiàng)，將原有的數(shù)據(jù)映射到表達(dá)能力更強(qiáng)，包含信息更多的高階笛卡爾擴(kuò)張空間中。裝置包括：輸入模塊、笛卡爾擴(kuò)張計(jì)算模塊和輸出模塊；輸入模塊，用于確定并接收用于計(jì)算的多維度數(shù)據(jù)，包括確定輸入數(shù)據(jù)的維度及各維度的數(shù)值；笛卡爾擴(kuò)張計(jì)算模塊，用于對所述輸入模塊確定的多維輸入數(shù)據(jù)進(jìn)行笛卡爾擴(kuò)張計(jì)算；輸出模塊，根據(jù)計(jì)算結(jié)果，輸出用于后續(xù)處理的高維度數(shù)據(jù)。本發(fā)明優(yōu)點(diǎn)在于：在不影響模型效果的前提下降低了后續(xù)模型學(xué)習(xí)的難度，提高了學(xué)習(xí)效率并提供了分布式并行計(jì)算的便利性。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別涉及一種面向神經(jīng)網(wǎng)絡(luò)模型優(yōu)化的數(shù)據(jù)處理方法和裝置。

背景技術(shù)

機(jī)器學(xué)習(xí)(Machine?Learning)是一門專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能的學(xué)科。在機(jī)器學(xué)習(xí)領(lǐng)域中，以深度神經(jīng)網(wǎng)絡(luò)為典型代表的多種機(jī)器學(xué)習(xí)方法已經(jīng)獲得了非常成功的應(yīng)用。應(yīng)用最為廣泛的CNN、RNN等神經(jīng)網(wǎng)絡(luò)模型在計(jì)算機(jī)視覺、自然語言處理、語音識別等等領(lǐng)域已經(jīng)取得了不錯(cuò)的識別效果。在上述成功的機(jī)器學(xué)習(xí)應(yīng)用中，都離不開對數(shù)據(jù)的處理方法，尤其是在神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練中，模型對于輸入數(shù)據(jù)要求較為嚴(yán)苛，更需要高效、合理的數(shù)據(jù)處理方法來提高模型的能力以及訓(xùn)練效率。特別地，當(dāng)前以深度神經(jīng)網(wǎng)絡(luò)為主要工具的人工智能技術(shù)，普遍采用深度結(jié)構(gòu)，存在著其不可回避的一些缺點(diǎn)和問題。當(dāng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度變大時(shí)，在訓(xùn)練過程中就會(huì)出現(xiàn)梯度消失或者梯度爆炸的問題；同時(shí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量的訓(xùn)練數(shù)據(jù)，因此訓(xùn)練的時(shí)效性是十分關(guān)鍵的問題，深度結(jié)構(gòu)在拓?fù)潢P(guān)系上看，是不利于分布式并行計(jì)算的一種結(jié)構(gòu)，在時(shí)效性上存在著瓶頸。

目前的機(jī)器學(xué)習(xí)算法中，大都是直接使用由手工設(shè)計(jì)的特征組成多維數(shù)據(jù)來進(jìn)行模型的訓(xùn)練。在數(shù)據(jù)的前期處理方面，多數(shù)是針對數(shù)據(jù)的格式規(guī)范性、以及相關(guān)模型的要求進(jìn)行數(shù)據(jù)的預(yù)處理。如歸一化、正則化，以及神經(jīng)網(wǎng)絡(luò)中用于擴(kuò)充訓(xùn)練集的相關(guān)偏移、旋轉(zhuǎn)等操作。

上述處理方法只是對數(shù)據(jù)的表達(dá)形式上進(jìn)行了變換，在本質(zhì)上并沒有對數(shù)據(jù)中的信息進(jìn)行更加精細(xì)的加工，也就無法在數(shù)據(jù)分析處理層面來對模型的結(jié)構(gòu)(尤其是神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu))以及訓(xùn)練過程進(jìn)行優(yōu)化。

其他如余弦變換、主成分分析(PCA)等方法則主要用于輸入數(shù)據(jù)的降維及特征篩選。通過減少輸入數(shù)據(jù)的維度，保留對模型效果起到關(guān)鍵作用的維度的方式來降低模型復(fù)雜度，提高數(shù)據(jù)處理效率及模型準(zhǔn)確率。

數(shù)據(jù)的降維處理方法只是對數(shù)據(jù)維度進(jìn)行了篩選，雖然可以起到一定的優(yōu)化模型的作用，但是并沒有提高數(shù)據(jù)的表達(dá)能力，只是在數(shù)據(jù)的量上進(jìn)行了優(yōu)化，無法在結(jié)構(gòu)上對模型進(jìn)行優(yōu)化，也沒有從根本上提高模型的訓(xùn)練效率。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的缺陷，提供了一種面向神經(jīng)網(wǎng)絡(luò)模型優(yōu)化的數(shù)據(jù)處理方法和裝置，解決了現(xiàn)有技術(shù)中存在的缺陷。

為了實(shí)現(xiàn)以上發(fā)明目的，本發(fā)明采取的技術(shù)方案如下：

一種面向神經(jīng)網(wǎng)絡(luò)模型優(yōu)化的數(shù)據(jù)處理方法，包括以下步驟：

1)接收輸入數(shù)據(jù)：

對于輸入向量數(shù)據(jù)X＝(x₁,x₂,…,x_N)，其中x₁,x₂,…,x_N為輸入向量的各個(gè)維度，確定數(shù)據(jù)維度N以及第i個(gè)維度的數(shù)值x_i。

2)全P階笛卡爾擴(kuò)張操作：

2.1確定最高階數(shù)P

根據(jù)數(shù)據(jù)維度與具體的計(jì)算硬件條件來確定P的數(shù)值。當(dāng)數(shù)據(jù)維度較大時(shí)(大于1000)P取2到3為宜，反之，可根據(jù)實(shí)際部署的計(jì)算硬件內(nèi)存M和計(jì)算精度λ來確定，可取內(nèi)存可容納的最大擴(kuò)張維度對應(yīng)的P值，即P＝