[發明專利]基于深度神經網絡的數據流處理方法、裝置及系統

在審

• 申請號: 201710896145.8
• 申請日: 2017-09-28
• 公開（公告）號: CN109583462A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 杜晶;陳清甫;范懿文;張弦
• 申請（專利權）人: 幻視互動（北京）科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F3/01;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于深度神經網絡的數據流處理方法，其特征在于，所述方法包括：

對深度神經網絡進行訓練，得到訓練結果并儲存；

所述深度神經網絡接收多媒體數據流，根據所述訓練結果識別所述多媒體數據流中的特征數據，得到識別結果；

所述深度神經網絡根據所述訓練結果，指示處理組件對所述識別結果進行數據處理并輸出。

2.根據權利要求1所述的方法，其特征在于，所述對深度神經網絡進行訓練，得到訓練結果并儲存，包括：

向所述深度神經網絡輸入預配置數據流集合；

所述深度神經網絡學習所述預配置數據流集合中各個數據流所包含數據的數據特征；

處理組件對所述預配置數據流集合進行數據處理并輸出，深度神經網絡學習處理過程，學習輸出數據的輸出特征。

3.根據權利要求2所述的方法，其特征在于，所述深度神經網絡學習所述預配置數據流集合中各個數據流所包含數據的數據特征，包括：

所述處理組件中數據分流器將所述預配置數據流集合中每個數據流中包含的數據進行分流；

所述預配置數據流集合中，每個數據流中的數據至少被分流為：三維坐標數據、圖像數據、音頻數據、文本數據、人臉及手勢數據、環境數據；

所述深度神經網絡學習：所述三維坐標數據、所述圖像數據、所述音頻數據、所述文本數據、所述人臉及手勢數據、所述環境數據具有的數據特征，所述數據特征具體包括：三維特征，像素特征，聲波特征，字符特征，人臉及手勢圖像特征，環境特征，從而得到所述數據特征；

其中，所述訓練結果包括：所述數據特征，所述處理過程，所述輸出特征；所述訓練結果存儲在本地或云端。

4.根據權利要求2所述的方法，其特征在于，所述處理組件對所述預配置數據流集合進行數據處理并輸出，深度神經網絡學習處理過程，學習輸出數據的輸出特征，包括：

所述處理組件至少包括：影像處理組件、位置處理組件、文字處理組件，音頻處理組件、人臉及手勢處理組件、環境處理組件；

所述影像處理組件、位置處理組件、文字處理組件，音頻處理組件、人臉及手勢處理組件、環境處理組件分別對所述圖像數據、三維坐標數據、文本數據、音頻數據、人臉及手勢數據、環境數據進行數據處理，得到處理結果；

所述深度神經網絡學習所述所述影像處理組件、位置處理組件、文字處理組件，音頻處理組件、人臉及手勢處理組件、環境處理組件處理數據的類型，得到對應關系；

編碼器對所述處理結果進行編碼后輸出；

所述深度神經網絡學習所述編碼器的編碼動作；

其中，所述訓練結果還包括：所述對應關系，所述編碼動作。

5.根據權利要求3和4所述的方法，其特征在于，所述深度神經網絡接收多媒體數據流，根據所述訓練結果識別所述多媒體數據流中的特征數據，得到識別結果，包括：

數據流輸入組件獲取當前環境的多媒體數據流，并發送至所述深度神經網絡；

所述深度神經網絡根據所述數據特征，識別所述多媒體數據流中各個數據流中數據的特征。

6.根據權利要求5所述的方法，其特征在于，所述深度神經網絡根據所述訓練結果，指示處理組件對所述識別結果進行數據處理并輸出，包括：

深度神經網絡根據所述對應關系，通過控制組件指示所述處理組件對所述識別結果進行數據處理得到數據結果；

所述深度神經網絡根據學習的所述編碼動作，通過控制組件指示所述編碼器對所述數據結果進行編碼并輸出。

7.基于深度神經網絡的數據流處理裝置，其特征在于，所述裝置包括：

訓練模塊，用于對深度神經網絡進行訓練，得到訓練結果并儲存；接收識別模塊，用于所述深度神經網絡接收多媒體數據流，根據所述訓練模塊得到的所述訓練結果識別所述多媒體數據流中的特征數據，得到識別結果；

指示輸出模塊，用于所述深度神經網絡根據所述訓練模塊得到的所述訓練結果，指示處理組件對所述接收識別模塊通過識別得到的所述識別結果進行數據處理并輸出。