[發明專利]基于層次時間記憶算法的圖像理解系統及其圖像理解方法

有效

• 申請號: 201210088032.2
• 申請日: 2012-03-29
• 公開（公告）號: CN102663445A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 夏知拓;阮昊;王昊
• 申請（專利權）人: 中國科學院上海光學精密機械研究所
• 主分類號: G06K9/64
• 分類號: G06K9/64
• 代理公司: 上海新天專利代理有限公司 31213
• 代理人: 張澤純

技術領域

本發明涉及圖像語義理解，特別是一種基于層次時間記憶算法的圖像理解系統及圖像理解方法，具體是指一種基于層次時間記憶算法，對圖像的多個屬性進行識別，根據識別結果添加語義標簽，將圖像內容信息轉化成自然語言描述的圖像理解的方法。?

背景技術

圖像理解(Image?Understanding，IU)就是對圖像的語義理解。它是以圖像為對象，知識為核心，研究圖像中有什么目標、目標之間的相互關系、圖像是什么場景以及如何應用場景的一門學科。?

圖像理解屬于數字圖像處理的研究內容之一，屬于高層操作。其重點是在圖像分析的基礎上進一步研究圖像中各目標的性質及其相互關系，并得出對圖像內容含義的理解以及對原來客觀場景的解釋，進而指導和規劃行為。圖像理解所操作的對象是從描述中抽象出來的符號，其處理過程和方法與人類的思維推理有許多相似之處。?

目前常用的圖像理解方法主要是先使用一些圖像處理算法對圖像進行特征提取，然后再使用圖像識別算法和推理算法對提取出的特征進行分類識別，常用的圖像處理算法包括快速傅利葉變換、邊緣提取等算法，常用的圖像識別和推理算法包括支持向量機(SVM)、隱藏馬爾科夫模型(Hidden?Markov?Models，HMM)和矩特征Zernike矩等，從算法的實現上來看，目前常用的圖像處理算法普遍存在著計算量大的缺點，隱藏馬爾科夫模型中已有的二維Markov模型存在著局部依賴性強、計算過程復雜難以編程實現的缺點，矩特征Zernike矩對圖像的識別效果容易受參數的影響，識別波動率大。?

層次時間記憶是一種新型的算法模型，模仿了人類新大腦皮層的結構和信息處理方式，應用了貝葉斯網絡中的節點間信息持續共享原理和信度傳播原理。層?次時間記憶網絡是一個樹形多層的節點層次結構，包括輸入層、中間層和輸出節點，其中輸入層中包含有多個輸入層節點，中間層中包含有多個中間層節點，而且層次時間記憶網絡中的每個節點均包含一個具有計算功能的計算單元和一個具有存儲功能的存儲單元，并且接收到的信息在垂直的范圍內可以循環傳遞。?

作為一種新的算法模型，層次時間記憶算法模型以其抗噪聲、容錯、自適應、自學能力強和識別于一體等特點受到研究人員的重視，在模式識別領域中得到探索性的應用。本發明提出的基于層次時間記憶算法的圖像理解系統和圖像理解方法，針對圖像理解的需求，應用了一種新的、運算量更小的層次時間記憶算法，并結合了數據庫技術，使得圖像理解系統更容易實現，而且具有更強的靈活性，并克服了采用傳統的圖像理解方法計算量大、實現困難等缺點，可以廣泛的應用在非結構化數據存儲、個性化網絡服務和安防監控等多種領域。?

發明內容

本發明公布了一種基于層次時間記憶算法的圖像理解系統及其圖像理解方法，根據本發明所述的圖像理解系統和圖像理解方法，可以有效的將圖像內容信息轉化為自然語言描述，實現對圖像內容的深度理解。?

本發明的技術解決方案如下：?

一種基于層次時間記憶算法的圖像理解系統，其特點在于包括依次連接層次時間記憶網絡訓練模塊、層次時間記憶網絡數據庫和圖像理解模塊，所述的層次時間記憶網絡訓練模塊包括圖像存儲子模塊和訓練實施子模塊，所述的圖像理解模塊包括讀取子模塊和理解實施子模塊，其連接關系是：?

所述的圖像存儲子模塊的輸入端即層次時間記憶網絡訓練模塊的輸入端，所述的圖像存儲子模塊的輸出端與所述的訓練實施子模塊的輸入端相連，所述的訓練實施子模塊的輸出端與所述的層次時間記憶網絡數據庫的輸入端相連，所述的讀取子模塊的第一輸入端供接收外部待理解目標圖像，該讀取子模塊的第二輸入端與所述的層次時間記憶網絡數據庫的輸出端相連，讀取子模塊的輸出端與所述的理解實施子模塊的輸入端相連，該理解實施子模塊的輸出端即為本系統的輸出端。?

利用上述的圖像理解系統的圖像理解方法，其特征在于該方法包括以下步驟：?

a)所述的層次時間記憶網絡訓練模塊的輸入端接收訓練圖像，構建訓練圖?像集P并存入所述的圖像存儲子模塊；?

b)所述的訓練實施子模塊利用訓練圖像集P對層次時間記憶網絡進行訓練；?

c)將訓練好的層次時間記憶網絡存入所述的層次時間記憶網絡數據庫；?

d)所述的圖像理解模塊接收外部待理解的目標圖像op，利用層次時間記憶網絡數據庫中存儲的各層次時間記憶網絡對所述的目標圖像op進行理解。?

所述的構建訓練圖像集P的過程如下：?