[發明專利]基于卷積分解深度模型的多模態數據采集及綜合分析平臺

在審

• 申請號: 201910999213.2
• 申請日: 2019-10-21
• 公開（公告）號: CN110727871A
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 王鐘賢;姚瀟;劉旭宸;李朝宇;徐寧;劉小峰
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/33;G06N3/08;G06N3/04
• 代理公司: 32200 南京經緯專利商標代理有限公司
• 代理人: 丁濤

本發明公開了一種基于卷積分解深度模型的多模態數據采集及綜合分析平臺，包括如下步驟：S1，建立數據交互模塊；S2，建立數據分析模塊；S3，建立用戶服務模塊。本發明同時支持文本、語音、圖片等多元數據形式；在數據收集方面，本發明默認用戶為數據的主要提供來源，因此提供了良好的交互方式與高并發高可用的數據庫管理方式；在數據分析上，基于深度學習CNN與RNN網絡對圖片進行訓練與分類，運用NLP中TF?IDF詞頻網絡進行文本抽取與歸并；使用的基于tensorflow下的標準keras模塊和tf.keras模塊構建的BP神經網絡，實現對音頻進行收集和準確分類。

技術領域

本發明涉及一種基于卷積分解深度模型的多模態數據采集及綜合分析平臺，屬于計算機技術領域。

背景技術

人工智能產業正處于蓬勃發展的時期，核心算法不斷被突破，計算能力顯著提高，對各類數據和學習樣本的需求呈現爆炸式增長的態勢；第二，人工智能的細分領域眾多，智能手機、智能汽車、智能家居、智能機器人、互聯網娛樂社交領域等諸多層面的應用，勢必導致數據集需求日益精細化，方向化。用戶希望得到他們期望的數據集，卻往往發現互聯網上的海量數據過于粗糙或者離散，難以滿足其需求。

從現目前的宏觀環境來看，第一，人工智能產業正處于蓬勃發展的時期，核心算法不斷被突破，計算能力顯著提高，對各類數據和學習樣本的需求呈現爆炸式增長的態勢；第二，人工智能的細分領域眾多，智能手機、智能汽車、智能家居、智能機器人、互聯網娛樂社交領域等諸多層面的應用，勢必導致數據集需求日益精細化，方向化。因此，從以上分析，一個以服務于用戶為導向，數據精細化的AI數據采集平臺的需求日益擴大。而現有的數據采集平臺往往存在著以下問題：第一，用戶希望得到他們期望的數據集，卻往往發現采集平臺上的海量數據過于粗糙或者離散，難以滿足其精細化的使用標準；第二，檢索匹配往往不夠優化與智能，這使得用戶在對數據的操作上往往發生偏移。第三，平臺與用戶交互性不高，并且難以完成高并發高可用的設計需求。

發明內容

為了克服現有技術的以上不足，本發明提供了一種基于卷積分解深度模型的多模態數據采集及綜合分析平臺，同時支持文本、語音、圖片等多元數據形式；在數據收集方面，本發明默認用戶為數據的主要提供來源，因此提供了良好的交互方式與高并發高可用的數據庫管理方式；在數據分析上，基于深度學習CNN與RNN網絡對圖片進行訓練與分類，運用NLP中TF-IDF詞頻網絡進行文本抽取與歸并；使用的基于tensorflow下的標準keras模塊和tf.keras模塊構建的BP神經網絡，實現對音頻進行收集和準確分類。

本發明的技術路徑如下：

征求數據者在客戶端發布任務，該任務信息(如需求量、主題等)將被存儲于mysql數據庫中，方便于后面的調用和比對，同時，該類任務信息將被展現在APP界面。接收任務者可以上傳相應數據，后臺驗證上傳數據與需求數據的匹配性之后，如果相似性高于某個預定的的闕值，則上傳成功，否則將不予上傳。成功上傳任務者可以領取相應的獎勵。

具體包括以下步驟：

S1，建立數據交互模塊；

S2，建立數據分析模塊；

S3，建立用戶服務模塊。

在所述步驟S1中，建立數據交互模塊，包括以下過程：

S11，基于Tomcat的web后端數據傳輸。

S12，基于IDEA的Android開發。

S13，使用數據哈希的方式及服務連接池實現服務層完成對數據庫的水平拓展。

在所述步驟S2中，步驟S2是功能的核心模塊，包括以下過程：

首先對于圖片和文本形式的數據的識別和分類，基于Tensorflow框架,使用pycharm ide搭建相關網絡，構造匹配算法。