[發(fā)明專利]一種相似場景圖像組的圖像質量評估方法、系統(tǒng)及終端

有效

• 申請?zhí)枺?/td>: 202010172380.2
• 申請日: 2020-03-12
• 公開（公告）號: CN111539909B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設計）人: 翟廣濤;朱煜程;閔雄闊;朱文瀚;朱丹丹;楊小康
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/80
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發(fā)明提供了一種相似場景圖像組的圖像質量評估方法、系統(tǒng)及終端，對場景內容一致的圖像組數(shù)據進行獨立自由能值和耦合自由能值的計算，得到分別以圖像自身為先驗知識的獨立自由能值和分別以剩余圖像為先驗知識的耦合自由能值；利用獨立自由能估計對組內圖像局部區(qū)塊的關注程度；利用耦合自由能值估計對組內圖像局部失真的感知程度；對相似場景圖像組所有的局部區(qū)塊的失真感知程度和關注程度作為整體圖像組的特征，對特征進行融合，生成整體圖像組的視覺感知質量結果。該方法較好地解決了相似場景圖像組的質量評估的問題。

技術領域

本發(fā)明涉及一種圖像處理技術，具體的，涉及一種相似場景圖像組的圖像質量評估方法、系統(tǒng)及終端。

背景技術

我們的日常生活中，相似場景圖像組的質量評估是合理的，例如從不同的攝像機或不同的視頻提供商中進行選擇，以提高成像，傳輸或顯示質量。視頻服務提供商在視覺質量方面對相似場景圖像組的質量評估也是一項常見的任務。例如，評價地面電視，衛(wèi)星電視，IPTV和有線電視的質量并進行挑選。由于那些服務提供者不一定是內容提供者，因此它們通常沒有程序的原始副本，因此只能對失真的信號進行評價。類似地，圖像和視頻后處理器的用戶也需要評估沒有原始參考圖像和視頻的方法和系統(tǒng)的視覺質量。在這些相似場景圖像組質量評估(G-PQA)任務中，盡管事實上我們通常無法獲得原始圖像，但通常情況下，人類視覺系統(tǒng)(HVS)相對容易分辨圖像的品質。

在當前的感知質量評估(PQA)研究中，質量指標通常根據對原始參考點的可訪問性分為全參考(FR)，簡化參考(RR)和無參考(NR)。顯然，G-PQA問題不屬于FR和RR類別，因為沒有關于原始圖像的先驗知識。但是，G-PQA也與NR-PQA不同。根據是對圖像失真過程還是對圖像形成過程進行建模，現(xiàn)有的NR-PQA方法可以分為兩類。一種是模擬圖像失真生成過程的方法，例如R.Ferzli在2009年提出的針對圖像失真的算法。另一種是基于自然圖像統(tǒng)計特征(NSS)的方法，例如M.A.Saad在2012年提出的在頻域基于NSS特征的圖像質量評價算法。

對于G-PQA問題，NR-PQA算法的失真檢測類型顯然不適用，因為兩個視覺信號可能會經歷不同類型的失真。NSS類型的整體NR-PQA算法適用于該問題，但始終嘗試獨立地量化圖像的質量。這與HVS評估相似場景圖像組質量時的工作機制形成對比。根據一般人的經驗，當被要求評估相似場景圖像組質量時，通常在兩個圖像之間以及兩個圖像之間交替關注，在得出最終結論之前進行假設的驗證。實際上，正如Barlow在1961年所建議的那樣，聯(lián)想學習在對象識別中起著重要的作用。動物學習兩個事件之間的關聯(lián)的一種便捷方法是判斷一個事件是否是另一個事件的良好預測因子。將PQA視為一個關聯(lián)的學習問題，可以合理地相信HVS以交互方式從兩個輸入圖像中提取信息來制定預測問題。但是，另一方面，NSS類型的整體NR-PQA算法可處理單個圖像輸入，并生成“絕對”質量預測。為了評估相似場景圖像組質量，需要運行多次NR算法并匹配分數(shù)。在此過程中，無需任何其他信息即可確定一個圖像的質量。NR-PQA的質量預測僅基于NSS模型，顯然，這表明了解決G-PQA問題時，現(xiàn)有NR-PQA算法與HVS的工作方式有所不同。

對腦理論方面，K.Friston在2010年提出基于自由能的統(tǒng)一的腦理論，發(fā)表于Nature?reviews?neuroscience.理論表明在視覺感知中，大腦總是尋求場景的最邏輯解釋，并避免視覺上的“驚奇”。給定場景的視覺質量與內部生成模型解釋場景的難易程度密切相關，該模型由受系統(tǒng)自由能限制的“驚奇”值量化。

目前針對G-PQA沒有發(fā)現(xiàn)同本發(fā)明類似技術的說明或報道，也尚未收集到國內外類似的資料。

發(fā)明內容

針對上述現(xiàn)有技術中存在的上述不足，本發(fā)明的目的是提供一種基于自由能的圖像比較質量評估方法，通過自由能的最小化和比較，較好地解決了相似場景圖像組的質量評估的問題。

根據本發(fā)明的第一方面，提供一種相似場景圖像組的圖像質量評估方法，包括：