[發明專利]基于仿海馬體記憶機制的圖像處理方法及其相關設備

在審

• 申請號: 202211544163.7
• 申請日: 2022-12-03
• 公開（公告）號: CN115908934A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 薛晗慶;李磊;陳超;拓萬琛;趙俊翔;趙翔宇;許偉;鄭昭虎;施衛科;王晨;李萌萌;張雪;尹瓊;潘宇
• 申請（專利權）人: 北京臨近空間飛行器系統工程研究所
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/762;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本公開的基于仿海馬體記憶機制的圖像處理方法，通過基于深度自編碼器對接收的樣本圖像信息進行特征提取得到樣本圖像的特征圖；利用與任務背景相關的圖像和樣本圖像的特征圖建立背景知識圖譜；利用生成模型和鑒別模型對樣本圖像的特征圖進行對抗式訓練得到與樣本圖像的特征圖獨立同分布的擴增特征圖；基于背景知識圖譜獲取當前場景下與待識別目標場景相關的目標數據，利用仿海馬體記憶機制對目標數據和擴增特征圖進行時域信息推理得到時域信息推理結果T，對時域信息推理結果T進行識別得到時域信息識別結果M，對時域信息推理結果T和時域信息識別結果M進行IOT計算，得到基于仿海馬體記憶機制的識別結果HM；將擴增特征圖輸入元學習深度神經網絡進行訓練，輸出元學習的小樣本學習識別結果Meta；利用聚類算法對識別結果HM和小樣本學習識別結果Meta進行聚類，得到圖像處理結果。能夠顯著提升了小樣本約束條件下圖像識別能力，提升擴增圖像數據的質量。

技術領域

本發明屬于圖像數據擴增技術領域，尤其涉及一種基于仿海馬體記憶機制的圖像處理方法及其相關設備。

背景技術

隨著移動互聯網的興起和各類終端設備(如智能手機、平板電腦、圖像傳感器等)的發展，帶來了海量數據的積累和相關數據處理技術的跨越式進步。伴隨著大數據時代的來臨，深度學習技術迎來新一輪蓬勃發展時期。以卷積神經網絡為代表深度學習算法在海量圖像數據分類、檢測、分割識別等任務場景中表現優異，形成了以人臉識別等為落地場景的商業化應用。然而，現有深度學習算法基于統計學模型，此類模型是一類數據驅動和有監督學習的模型。算法性能的表現強相關于樣本的數量、質量、數據標注情況。因此此類算法在數據密集型場景如人臉識別、內容推薦、廣告推送等取得了很大成功。然而，現實的工程實踐中面臨很多的問題都是數據匱乏型問題(如工業品瑕疵檢測、醫療圖像識別等)，此類應用場景下數據往往難以獲得，難以驅動深度學習算法訓練。小樣本難題成為制約深度學習工程化應用的關鍵問題。因此亟需發展小樣本約束下的深度學習方法。

深度學習算法訓練時需要海量的高質量標注樣本，然而人類在認知過程中則不需要大量數據的訓練，小孩子只需要書中的一些圖片就可以認識什么是“斑馬”，什么是“犀?！薄Ｒ虼四７氯祟悓W習過程，將成為突破小樣本機器任務的關鍵途徑。近年來，伴隨著腦科學的研究深入，相關成果表明大腦皮層調控人類記憶索引，是人類進行關鍵記憶遷移的重要神經器官，受海馬體工作機制的啟發，構建一種面向小樣本任務的機器學習方法或將成為解決小樣本機器學習任務的可行方法。

從現有技術文獻來看，現有小樣本機器學習方法以語義遷移嵌入、流形學習、深度神經網絡等算法較為常見，且算法偏向于理論研究鮮有工程落地的方案。

發明內容

本發明克服了現有技術的不足之一，提供了一種基于仿海馬體記憶機制的圖像處理方法及其相關設備，能夠顯著提升了小樣本約束條件下圖像識別能力，實現對10-10²量級的稀少樣本條件下實時目標檢測能力，為工業檢測、醫療圖像處理、航天器目標探測等典型小樣本應用場景提供了可行的技術途徑，具備較高的理論及應用價值圖像分類識別問題，提升擴增圖像數據的質量以及人工智能算法的性能。

根據本公開的一方面，提出了一種基于仿海馬體記憶機制的圖像處理方法，所述方法包括：

基于深度自編碼器對接收的樣本圖像信息進行特征提取，得到樣本圖像的特征圖；

利用與任務背景相關的圖像和所述樣本圖像的特征圖建立背景知識圖譜；

利用生成模型和鑒別模型對所述樣本圖像的特征圖進行對抗式訓練，得到與所述樣本圖像的特征圖獨立同分布的擴增特征圖；

基于所述背景知識圖譜獲取當前場景下與待識別目標場景相關的目標數據，利用仿海馬體記憶機制對所述目標數據和所述擴增特征圖進行時域信息推理得到時域信息推理結果T，對所述時域信息推理結果T進行識別得到時域信息識別結果M，對所述時域信息推理結果T和時域信息識別結果M進行IOT計算，得到基于仿海馬體記憶機制的識別結果HM；