[發明專利]一種多模態場景目標基于半監督深度學習的知識管理方法在審
| 申請號： | 202011099756.8 | 申請日： | 2020-10-14 |
| 公開（公告）號： | CN112182225A | 公開（公告）日： | 2021-01-05 |
| 發明（設計）人： | 徐黎敏;周晨 | 申請（專利權）人： | 上海寶鈿科技產業發展有限公司 |
| 主分類號： | G06F16/35 | 分類號： | G06F16/35;G06F16/31;G06F16/33;G06K9/62 |
| 代理公司： | 上海塔科專利代理事務所(普通合伙) 31380 | 代理人： | 耿恩華 |
| 地址： | 200940 上海市寶山區雙*** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 多模態 場景 目標 基于 監督 深度 學習 知識 管理 方法 | ||
1.一種多模態場景目標基于半監督深度學習的知識管理方法，其特征在于，包括如下步驟：
S1：數據預處理與模型表示，對不同樣本知識數據的多個不同的模態進行數據預處理與模型表示，預處理與模型表示后得到全面樣本知識數據；
S2：獲取全面樣本知識數據，并對全面樣本知識數據進行數據處理，數據處理后獲取正樣本知識數據增強、負樣本知識數據增強及數據噪聲；
S3：基于正樣本知識數據增強、負樣本知識數據增強及數據噪聲分別形成對應的標注數據樣本；
S4：將標注數據樣本分別輸入多個不同的網絡架構模型中進行訓練，形成對應的多個初始預測模型；
S5：多個初始預測模型分別輸出對應的預測結果，基于預測結果確定最終的預測模型；
S6：將待識別知識數據輸入最終預測模型中進行異常識別，并在識別后將識別結果與樣本知識數據存儲至數據庫。
2.根據權利要求1所述的一種多模態場景目標基于半監督深度學習的知識管理方法，其特征在于，所述S1中具體包括：
S11：對不同樣本知識數據的多個不同的模態進行數據預處理，并在預處理后依據不同類別建立數據集；
S12：構建多種不同模態的學習網絡模型，并將每個模態映射到各自的表示空間，分別訓練各模態表示學習網絡模型；
S13：通過訓練后的模型分別提取對應模態的特征向量，并進行降維，得到降維特征向量；
S14：將S13得到的多模態降維特征向量，進行多模態級聯融合，建立全面特征樣本知識數據，且全面特征樣本知識數據包括標注樣本知識數據及無標注樣本知識數據。
3.根據權利要求1所述的一種多模態場景目標基于半監督深度學習的知識管理方法，其特征在于，所述S2中數據處理包括對全面樣本知識數據進行增強及噪聲處理。
4.根據權利要求1所述的一種多模態場景目標基于半監督深度學習的知識管理方法，其特征在于，所述S2中包括標注數據樣本正樣本、標注數據負樣本及標注數據噪聲樣本。
5.根據權利要求1所述的一種多模態場景目標基于半監督深度學習的知識管理方法，其特征在于，所述S4中具體為：將標注數據樣本正樣本、標注數據負樣本及標注數據噪聲樣本分別輸入三個不同的網絡架構模型中進行訓練，形成對應的三個初始預測模型。
6.根據權利要求1所述的一種多模態場景目標基于半監督深度學習的知識管理方法，其特征在于，所述S6中還包括：S6a：利用數據庫實現對樣本知識數據及識別結果的存儲，并依據知識數據內容進行分類。
7.根據權利要求1所述的一種多模態場景目標基于半監督深度學習的知識管理方法，其特征在于，所述S6中還包括：S6b：根據知識的目標瀏覽用戶群和保密級別，設置其授權的訪問范圍或特定瀏覽用戶。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海寶鈿科技產業發展有限公司，未經上海寶鈿科技產業發展有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011099756.8/1.html，轉載請聲明來源鉆瓜專利網。
