[發(fā)明專利]基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)流處理方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710896145.8
• 申請(qǐng)日: 2017-09-28
• 公開（公告）號(hào): CN109583462A
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計(jì)）人: 杜晶;陳清甫;范懿文;張弦
• 申請(qǐng)（專利權(quán)）人: 幻視互動(dòng)（北京）科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F3/01;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明技術(shù)方案提供了基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)流處理方法、裝置及系統(tǒng)，包括：對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練結(jié)果并儲(chǔ)存。深度神經(jīng)網(wǎng)絡(luò)接收多媒體數(shù)據(jù)流，根據(jù)訓(xùn)練結(jié)果識(shí)別所述多媒體數(shù)據(jù)流中的特征數(shù)據(jù)，得到識(shí)別結(jié)果。根據(jù)訓(xùn)練結(jié)果，指示處理組件對(duì)識(shí)別結(jié)果進(jìn)行數(shù)據(jù)處理并輸出。本發(fā)明的優(yōu)點(diǎn)是，利用深度神經(jīng)網(wǎng)絡(luò)可以自主學(xué)習(xí)，并根據(jù)學(xué)習(xí)內(nèi)容自主進(jìn)行數(shù)據(jù)處理的特性，通過向深度神經(jīng)網(wǎng)絡(luò)處理控制器輸入數(shù)據(jù)流對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，深度神經(jīng)網(wǎng)絡(luò)根據(jù)訓(xùn)練結(jié)果直接指示相應(yīng)的處理器對(duì)后續(xù)輸入的多媒體數(shù)據(jù)流進(jìn)行數(shù)據(jù)處理，提高了智能眼鏡處理數(shù)據(jù)處理的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)流處理領(lǐng)域，尤其涉及基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)流處理方法、裝置及系統(tǒng)。

背景技術(shù)

隨著半導(dǎo)體技術(shù)、電池技術(shù)和光學(xué)組件工藝的逐漸突破，智能眼鏡將成為獨(dú)立的設(shè)備進(jìn)而取代手機(jī)。通過手勢(shì)識(shí)別，語(yǔ)音識(shí)別，眼球追蹤等多種交互方式，配合智能眼鏡給予用戶更好的的體驗(yàn)，最終成為能隨身攜帶功能強(qiáng)大的小型智能計(jì)算中心。

當(dāng)前智能眼鏡是通過CPU(Central Processing Unit，中央處理器)+GPU(Graphics Processing Unit，圖形處理器)的架構(gòu)來進(jìn)行數(shù)據(jù)處理。就目前而言，智能眼鏡在每次獲取圖像、聲音信息的時(shí)候，都是從零開始處理，無(wú)跡可尋。而CPU是通過串行方式處理數(shù)據(jù)，當(dāng)數(shù)據(jù)量巨大時(shí)，就會(huì)產(chǎn)生處理數(shù)據(jù)慢的瓶頸，雖然GPU也開始參與計(jì)算工作，但其主要的顯示工作隨著分辨率的提高而負(fù)擔(dān)不斷加重，所以要讓這個(gè)已經(jīng)分身乏術(shù)的架構(gòu)繼續(xù)增加負(fù)荷，對(duì)智能眼鏡的整體性能以及功耗表現(xiàn)會(huì)產(chǎn)生負(fù)面影響，從而導(dǎo)致數(shù)據(jù)處理效率降低。

為追求更高的效率，以及更好的功耗表現(xiàn)，只讓CPU或GPU參與計(jì)算已經(jīng)遠(yuǎn)遠(yuǎn)不夠滿足需求，還需要設(shè)備能夠不斷地對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)，在處理過程中智能的尋找捷徑。

發(fā)明內(nèi)容

本發(fā)明提供基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)流處理方法、裝置及系統(tǒng)，用以解決智能眼鏡處理數(shù)據(jù)處理效率低的問題。

為了實(shí)現(xiàn)上述目的，本發(fā)明技術(shù)方案提供了基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)流處理方法，所述方法包括：對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練結(jié)果并儲(chǔ)存。深度神經(jīng)網(wǎng)絡(luò)接收多媒體數(shù)據(jù)流，根據(jù)訓(xùn)練結(jié)果識(shí)別所述多媒體數(shù)據(jù)流中的特征數(shù)據(jù)，得到識(shí)別結(jié)果。深度神經(jīng)網(wǎng)絡(luò)根據(jù)訓(xùn)練結(jié)果，指示處理組件對(duì)識(shí)別結(jié)果進(jìn)行數(shù)據(jù)處理并輸出。

作為上述技術(shù)方案的優(yōu)選，所述方法包括：向深度神經(jīng)網(wǎng)絡(luò)輸入預(yù)配置數(shù)據(jù)流集合。深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)預(yù)配置數(shù)據(jù)流集合中各個(gè)數(shù)據(jù)流的數(shù)據(jù)特征，處理處理組件對(duì)所述預(yù)配置數(shù)據(jù)流集合進(jìn)行數(shù)據(jù)處理并輸出，深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)處理過程，學(xué)習(xí)輸出數(shù)據(jù)的輸出特征。

作為上述技術(shù)方案的優(yōu)選，所述方法包括：所述預(yù)配置數(shù)據(jù)流集合中每個(gè)數(shù)據(jù)流中至少包括：三維坐標(biāo)數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)、文本數(shù)據(jù)、人臉及手勢(shì)數(shù)據(jù)、環(huán)境數(shù)據(jù)。所述深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：三維坐標(biāo)數(shù)據(jù)、圖像數(shù)所述音頻數(shù)據(jù)、文本數(shù)據(jù)、人臉及手勢(shì)數(shù)據(jù)、環(huán)境數(shù)據(jù)具有的數(shù)據(jù)特征。數(shù)據(jù)特征具體包括：三維特征，像素特征，聲波特征，字符特征，人臉及手勢(shì)圖像特征，環(huán)境特征，從而得到所述數(shù)據(jù)特征。其中，訓(xùn)練結(jié)果包括：數(shù)據(jù)特征，處理過程，輸出特征。訓(xùn)練結(jié)果存儲(chǔ)在本地或云端。

作為上述技術(shù)方案的優(yōu)選，所述方法包括：處理組件至少包括：影像處理組件、位置處理組件、文字處理組件，音頻處理組件、人臉及手勢(shì)處理組件、環(huán)境處理組件。以上各個(gè)處理組件分別對(duì)所述圖像數(shù)據(jù)、三維坐標(biāo)數(shù)據(jù)、文本數(shù)據(jù)、音頻數(shù)據(jù)、所述人臉及手勢(shì)數(shù)據(jù)、環(huán)境數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到處理結(jié)果。深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所述影像處理組件、位置處理組件、文字處理組件，音頻處理組件、人臉及手勢(shì)處理組件、環(huán)境處理組件處理數(shù)據(jù)的類型，得到對(duì)應(yīng)關(guān)系。編碼器對(duì)所述處理結(jié)果進(jìn)行編碼后輸出。所述深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所述編碼器的編碼動(dòng)作。其中，所述訓(xùn)練結(jié)果還包括：所述對(duì)應(yīng)關(guān)系，所述編碼動(dòng)作。

作為上述技術(shù)方案的優(yōu)選，所述方法還包括：數(shù)據(jù)流輸入組件獲取當(dāng)前環(huán)境的多媒體數(shù)據(jù)流，并發(fā)送至所述深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)根據(jù)所述數(shù)據(jù)特征，識(shí)別所述多媒體數(shù)據(jù)流中各個(gè)數(shù)據(jù)流中數(shù)據(jù)的特征。