[發明專利]基于隱結構學習的圖像摘要生成方法

有效

• 申請號: 201310410623.1
• 申請日: 2013-09-10
• 公開（公告）號: CN103530656B
• 公開（公告）日: 2017-01-11
• 發明（設計）人: 湯斯亮;邵健;方晗吟;吳飛;莊越挺
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06F17/30;G06T11/60
• 代理公司: 杭州求是專利事務所有限公司33200
• 代理人: 張法高

技術領域

本發明涉及圖像摘要生成，尤其涉及一種基于隱結構學習的圖像摘要生成方法。?

背景技術

目前，隨著存儲技術和網絡技術的發展，每天都有海量的圖像文件被上傳于互聯網上。用戶一方面能訪問到越來越多的圖像數據，另一方面數據本身越來越復雜的結構和冗余性也給用戶獲得有用的信息帶來了巨大的困難。例如，用戶利用搜索引擎可以通過關鍵字搜索出大量的圖片，但這些圖片中含有大量的重度相似圖片，阻礙了信息的整體呈現，同時兼顧到信息覆蓋度和冗余度的摘要則成為更合理的呈現方式；又如，圖片分享網站Flickr上含有大量的個人相冊，如何給相冊挑選出最具有代表性的圖片作為封面，也成為很有趣的問題。因此，研究一種針對圖像文件集合的摘要生成方法具有很強的現實意義。?

圖像文件集合是當前非常常見的信息載體，它由大量的關于同一主題的圖片組成，并具有一定的相似性和差異性。如搜索引擎得到的關鍵字相關圖片集合或社交網絡中的個人相冊。一般來說，圖像文件集合具有兩個特點。第一，同一主題相關，即圖片包含的信息的主體是相同的；第二，圖片獨立性，即不同的圖片含有描述主題的不同方面的信息并且含有一定的噪聲信息。第三，主題的差異性，即不同的主題相關圖片集所包含和偏好的信息是有差異的。因此，當對圖片集合進行摘要生成時，需要將原始圖像集合和準備生成的摘要圖片集合都當做整體來考慮并且將主題的差異性考慮進去。由于傳統的許多摘要方法往往是將摘要中的每張圖片獨立考慮，沒有綜合考慮摘要圖片集合內部各個圖片所蘊涵的互補信息和冗余信息，因此不能很好地綜合分析原圖片集合并得到良好的摘要。此外，進來提出的一些摘要生成方法雖然將摘要圖片集合作為一個整體結構考慮，但是并未將相關主題的差異性納入考慮，從而無法很好地適應用戶需求。?

針對圖像摘要這一現實需求以及當前方法所存在的不足之處，本發明提供了一種能很好地兼顧摘要整體的信息覆蓋度和冗余度并且能將主題相關差異性納入考慮的圖像摘要生成方法。?

發明內容

本發明的目的在于提供一種基于隱結構學習的圖像摘要的方法。?

基于隱結構學習的圖像摘要生成方法包括如下步驟：?

1）對圖片提取HSV顏色直方圖特征、視覺單詞特征以及方向直方圖特征；?

2）對上一步提取的三種特征進行歸一化的預處理并在歸一化后將三種特征融合為一個特征向量；?

3）構造一個帶有隱變量的結構支持向量機，從數據庫中多次選取訓練集合，并利用訓練集中不同主題相關的圖片集合進行權重系數學習；?

4）利用上一步學習得到的權重系數，從數據庫中選取不同主題相關的圖片集，預測出它們的隱含的特征選擇偏好并生成與之對應的摘要圖片集合。?

所述的步驟1)包括：?

1）對數據庫內的所有圖片在HSV顏色空間中進行顏色特征提取。首先將圖片中的每一個像素計算其在HSV顏色空間中的表達，然后將HSV顏色特征空間均勻地劃分為450個區域，最后對每個區域統計落在其中的像素個數，形成450維的顏色直方圖特征；?

2）對數據庫內的每張圖片的每個像素，計算它與周圍像素之間的差異性，得到128維的SIFT特征點；然后在得到的SIFT特征點基礎上，利用K-means方法進行聚類，聚類得到的1000個SIFT點類別就形成了1000維的視覺單詞特征；?

3）對數據庫內的每張圖片進行8×8的塊劃分；對每個劃分好的塊，計算它與周圍塊之間的方向梯度；將方向梯度特征的取值范圍均勻劃分為1000個區域，統計落在這1000個區域中的方向梯度特征數量，就得到了1000維的方向梯度直方圖特征；?

所述的步驟2)包括：?

1）將前一步得到的HSV顏色直方圖特征、視覺單詞特征以及方向梯度直方圖特征三種特征向量按照上述順序，依次連接融合，得到2450維特征；?

2）對上面得到的2450維的融合特征，利用如下公式，將原特征值進行歸一化。歸一化后，特征的取值范圍統一變為0.1到0.9。?

x＝0.1+(0.9-0.1)(x-min)(max-min)?

所述的步驟3)包括：?

1）為實現交叉驗證，多次從數據庫中設計訓練集，并取出其中的主題圖片集合；?

2）將權重系數參數w初始化為零向量，將隱藏特征選擇變量h初始化為全1向量，通過以下的次梯度下降算法同時對w和h進行優化求解，最終輸出訓練好的權重系數w。?

所述的步驟4)包括：?