[發(fā)明專利]一種整合特征字典結(jié)構(gòu)與視覺特征編碼的圖像分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410693888.1
• 申請(qǐng)日: 2014-11-26
• 公開（公告）號(hào): CN104331717A
• 公開（公告）日: 2015-02-04
• 發(fā)明（設(shè)計(jì)）人: 楊育彬;朱啟海
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06K9/66
• 分類號(hào): G06K9/66
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 胡建華

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分類領(lǐng)域，特別是基于碼書模型(Bag-of-Words，BoW)的一種整合特征字典結(jié)構(gòu)與視覺特征編碼的圖像分類方法

背景技術(shù)

隨著信息技術(shù)的不斷飛速發(fā)展，各個(gè)領(lǐng)域每天都在以驚人的速度產(chǎn)生各種類型的數(shù)據(jù)，包括文字、圖像、視頻、音樂等。在豐富多彩的數(shù)據(jù)信息中，圖像因其表現(xiàn)直觀生動(dòng)、內(nèi)容豐富、信息量大，以及存儲(chǔ)與傳輸方便，備受青睞，并已經(jīng)成為二十一世紀(jì)最重要的信息載體之一。特別是隨著照相機(jī)、手機(jī)、平板等具有拍照功能的移動(dòng)設(shè)備的日益普及，以及社交網(wǎng)絡(luò)的興起，人們獲取圖像的方式越來越多，也進(jìn)一步促使圖像數(shù)據(jù)急劇增長(zhǎng)，快速準(zhǔn)確地查找所需圖像和高效地管理卻因此變得越來越困難。人們迫切希望計(jì)算機(jī)能幫助人類，對(duì)互聯(lián)網(wǎng)中海量圖像所蘊(yùn)含的語(yǔ)義進(jìn)行分析，并充分理解圖像所表達(dá)的內(nèi)容，從而更有效地對(duì)圖像進(jìn)行管理、分類標(biāo)注，或檢索感興趣的圖像。

圖像分類作為計(jì)算機(jī)理解圖像最主要的基礎(chǔ)技術(shù)之一，已經(jīng)受到了學(xué)術(shù)界和工業(yè)界各研究機(jī)構(gòu)的廣泛研究，并在國(guó)內(nèi)外各權(quán)威期刊和重要學(xué)術(shù)會(huì)議上作為重要主題，是計(jì)算機(jī)視覺領(lǐng)域一個(gè)極重要的研究課題。圖像分類是指按照一定的分類準(zhǔn)則將圖像智能化地分到一組已有定義類別中的過程，包括物體識(shí)別、場(chǎng)景語(yǔ)義分類、行為識(shí)別等。圖像分類已經(jīng)成為研究圖像語(yǔ)義理解的重要技術(shù)手段。科學(xué)研究人員已經(jīng)漸漸意識(shí)到以上問題的重要性并不斷深入分析。近幾年，碼書模型為圖像高層語(yǔ)義表示帶來新的啟發(fā)，以碼書模型為關(guān)鍵技術(shù)的圖像分類已取得了一定成果，但是仍有許多研究點(diǎn)尚未涉及，仍有巨大的突破空間。基于碼書模型的圖像分類方法的研究，已經(jīng)成為當(dāng)前人工智能、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等諸多交叉領(lǐng)域中前沿性的熱點(diǎn)，對(duì)積極推進(jìn)社會(huì)信息化起到重要作用。在創(chuàng)造了無(wú)可替代的社會(huì)價(jià)值的同時(shí)，該領(lǐng)域仍有許多關(guān)鍵技術(shù)問題尚未解決，仍有許多功能實(shí)現(xiàn)需要進(jìn)一步完善，因此，如何利用碼書模型，更有效地理解和描述圖像高層語(yǔ)義，以更靈活地實(shí)現(xiàn)圖像分類的研究，具有深遠(yuǎn)的意義。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種整合特征字典結(jié)構(gòu)與視覺特征編碼的圖像分類方法，利用特征字典中視覺單詞的分布信息輔助視覺特征編碼，以使編碼結(jié)果更具有判別性，從而提高圖像分類的準(zhǔn)確率。

為了解決上述技術(shù)問題，本發(fā)明公開了一種整合特征字典結(jié)構(gòu)與視覺特征編碼的圖像分類方法，包含如下步驟：

步驟1，提取圖像的視覺特征：對(duì)每幅圖像進(jìn)行局部采樣，得到一組區(qū)域塊，提取每塊區(qū)域的視覺特征，得到每幅圖像對(duì)應(yīng)的視覺特征集合，稱所有圖像的視覺特征集合的整體為所有圖像的視覺特征集，記為集合X；

步驟2，特征字典學(xué)習(xí)：以集合X為輸入，使用特征字典學(xué)習(xí)方法，得到由一組具有代表性的視覺單詞組成的特征字典；

步驟3，視覺特征編碼：將每幅圖像的每個(gè)視覺特征表示成視覺單詞的線性組合，每個(gè)視覺單詞對(duì)應(yīng)一個(gè)系數(shù)，稱這組系數(shù)為視覺特征的編碼；

步驟4，視覺特征編碼的空間匯合：以每幅圖像的所有視覺特征的編碼為輸入，使用統(tǒng)計(jì)方法，將每幅圖像表示為一個(gè)向量，該向量就是對(duì)應(yīng)圖像的圖像特征表示；

步驟5，將步驟4得到的每幅圖像的編碼作為輸入，使用分類模型進(jìn)行訓(xùn)練和分類，得到分類結(jié)果。

步驟1具體包括如下步驟：

對(duì)每幅圖像I進(jìn)行局部采樣，采用等步長(zhǎng)的方式做密集采樣，得到若干大小相同的區(qū)域塊，對(duì)每個(gè)區(qū)域塊提取一個(gè)視覺特征，使用視覺特征提取方法得到表示該局部塊一個(gè)視覺特征，視覺特征提取方法包括：方向梯度直方圖(Histogram?of?Oriented?Gradient,HOG)，尺度不變特征變換(Scale-invariant?feature?transform，SIFT)等。得到圖像I的視覺特征集合LFS_I，最終得到所有圖像的視覺特征集合的整體X＝[x₁,x₂,…,x_N]∈R^d×N，其中，d表示視覺特征的維度，其大小由視覺特征提取技術(shù)決定，N表示所有圖像的視覺特征的總數(shù)，x_i表示第i個(gè)視覺特征，i取值1～N。

步驟2具體包括如下步驟：