[發(fā)明專利]一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法

在審

• 申請?zhí)枺?/td>: 202011099756.8
• 申請日: 2020-10-14
• 公開（公告）號: CN112182225A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 徐黎敏;周晨
• 申請（專利權(quán)）人: 上海寶鈿科技產(chǎn)業(yè)發(fā)展有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/31;G06F16/33;G06K9/62
• 代理公司: 上海塔科專利代理事務所(普通合伙) 31380
• 代理人: 耿恩華

1.一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法，其特征在于，包括如下步驟：

S1：數(shù)據(jù)預處理與模型表示，對不同樣本知識數(shù)據(jù)的多個不同的模態(tài)進行數(shù)據(jù)預處理與模型表示，預處理與模型表示后得到全面樣本知識數(shù)據(jù)；

S2：獲取全面樣本知識數(shù)據(jù)，并對全面樣本知識數(shù)據(jù)進行數(shù)據(jù)處理，數(shù)據(jù)處理后獲取正樣本知識數(shù)據(jù)增強、負樣本知識數(shù)據(jù)增強及數(shù)據(jù)噪聲；

S3：基于正樣本知識數(shù)據(jù)增強、負樣本知識數(shù)據(jù)增強及數(shù)據(jù)噪聲分別形成對應的標注數(shù)據(jù)樣本；

S4：將標注數(shù)據(jù)樣本分別輸入多個不同的網(wǎng)絡(luò)架構(gòu)模型中進行訓練，形成對應的多個初始預測模型；

S5：多個初始預測模型分別輸出對應的預測結(jié)果，基于預測結(jié)果確定最終的預測模型；

S6：將待識別知識數(shù)據(jù)輸入最終預測模型中進行異常識別，并在識別后將識別結(jié)果與樣本知識數(shù)據(jù)存儲至數(shù)據(jù)庫。

2.根據(jù)權(quán)利要求1所述的一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法，其特征在于，所述S1中具體包括：

S11：對不同樣本知識數(shù)據(jù)的多個不同的模態(tài)進行數(shù)據(jù)預處理，并在預處理后依據(jù)不同類別建立數(shù)據(jù)集；

S12：構(gòu)建多種不同模態(tài)的學習網(wǎng)絡(luò)模型，并將每個模態(tài)映射到各自的表示空間，分別訓練各模態(tài)表示學習網(wǎng)絡(luò)模型；

S13：通過訓練后的模型分別提取對應模態(tài)的特征向量，并進行降維，得到降維特征向量；

S14：將S13得到的多模態(tài)降維特征向量，進行多模態(tài)級聯(lián)融合，建立全面特征樣本知識數(shù)據(jù)，且全面特征樣本知識數(shù)據(jù)包括標注樣本知識數(shù)據(jù)及無標注樣本知識數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法，其特征在于，所述S2中數(shù)據(jù)處理包括對全面樣本知識數(shù)據(jù)進行增強及噪聲處理。

4.根據(jù)權(quán)利要求1所述的一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法，其特征在于，所述S2中包括標注數(shù)據(jù)樣本正樣本、標注數(shù)據(jù)負樣本及標注數(shù)據(jù)噪聲樣本。

5.根據(jù)權(quán)利要求1所述的一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法，其特征在于，所述S4中具體為：將標注數(shù)據(jù)樣本正樣本、標注數(shù)據(jù)負樣本及標注數(shù)據(jù)噪聲樣本分別輸入三個不同的網(wǎng)絡(luò)架構(gòu)模型中進行訓練，形成對應的三個初始預測模型。

6.根據(jù)權(quán)利要求1所述的一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法，其特征在于，所述S6中還包括：S6a：利用數(shù)據(jù)庫實現(xiàn)對樣本知識數(shù)據(jù)及識別結(jié)果的存儲，并依據(jù)知識數(shù)據(jù)內(nèi)容進行分類。

7.根據(jù)權(quán)利要求1所述的一種多模態(tài)場景目標基于半監(jiān)督深度學習的知識管理方法，其特征在于，所述S6中還包括：S6b：根據(jù)知識的目標瀏覽用戶群和保密級別，設(shè)置其授權(quán)的訪問范圍或特定瀏覽用戶。