[發明專利]一種基于深度貝葉斯學習的圖像標記估計方法

在審

• 申請號: 202010734902.3
• 申請日: 2020-07-28
• 公開（公告）號: CN112001422A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 李紹園;侍野
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/36;G06K9/46
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李淑靜

本發明提出了一種基于深度貝葉斯學習的圖像標記估計方法，包括以下步驟：1)獲取圖像數據，將圖像分發給網絡上的標注者進行預標注，構造圖像眾包標記數據集；2)對圖像做特征預提取處理，獲得圖像的fisher vector特征表示；3)搭建深度表示學習網絡，構建標注生成過程的深度貝葉斯模型；4)將圖像fisher vector特征及眾包標記輸入深度貝葉斯模型，基于圖像和參數聯合概率似然構造變分下界損失函數；5)基于自然梯度隨機變分推斷，端到端地對深度貝葉斯模型進行訓練；6)返回模型輸出的圖像真實標記估計及各標注者的混淆矩陣。本發明克服了EM迭代式訓練的低效率和非貝葉斯學習不可解釋性的問題，提高了圖像標記估計的效果。

技術領域

本發明涉及圖像標注方法，具體涉及一種基于深度貝葉斯學習的圖像標記估計方法。

背景技術

圖像分類識別模型的學習需要標記來進行訓練，而對于許多真實世界的任務來說，獲取圖像的真實標記是不可能的，因為成本太高。另一方面，近年來眾包已經證明自己是作為收集數據標注一種的可靠解決方案。隨著Amazon Mechanical Turk和Crowdflower等眾包服務平臺的出現，眾包已經被用于在短時間內收集眾多領域的海量標注數據集。顯然，利用眾包來獲取圖像分類識別模型所需的圖像標記，是一種可行的方法。然而，雖然眾包擁有足夠的可擴展性，但標注者提供的標記本質上是主觀的，不同標注者之間可能存在大量的分歧，而且與標記相關的噪聲會限制傳統機器學習算法的性能。因此，如何從收集到的標記中估計出潛在的真實標記是眾包的一個核心問題。為此已經提出了很多方法，它們有的只使用了標注信息，有的額外使用了數據特征信息。后者中有些方法采用啟發式的優化方法，雖然克服了最大期望(Expectation Maximum,EM)類算法的計算問題，但是其并不能保證最大化原學習目標的某些下界，并且需要通過手動調參防止模型過于復雜而過擬合。此外，這些方法為了使得優化容易實現，對于標注者準確率的刻畫采用任意取值范圍的參數，在某些應用場景如醫療診斷中是不合適的，對于醫學圖像等專業性強的圖像標注，對標注者能力要求較高，通過眾包方式進行標注，不可避免地會引入低質量的標注，因此需要對標注者能力進行準確的刻畫，這對于理解數據收集過程及數據收集方式的改進具有重要的指導意義。

發明內容

發明目的：針對現有技術的不足，本發明提出一種基于深度貝葉斯學習的圖像標記估計方法，解決現有EM迭代式訓練的低效率和非貝葉斯學習不可解釋性的問題。

技術方案：一種基于深度貝葉斯學習的圖像標記估計方法，包括以下步驟：

1)獲取圖像數據，將圖像分發給網絡上的標注者進行預標注，獲得眾包標記L；

2)對圖像做特征預提取處理，獲得圖像的fisher vector特征表示X；

3)搭建深度表示學習網絡，構建標注生成過程的深度貝葉斯模型；

4)將圖像fisher vector特征X及眾包標記L輸入深度貝葉斯模型，基于圖像和參數聯合概率似然構造變分下界損失函數；

5)基于自然梯度隨機變分推斷，端到端地對深度貝葉斯模型進行訓練；

6)返回模型輸出的圖像真實標記估計及各標注者的混淆矩陣。

其中，所述深度貝葉斯模型為一個完全貝葉斯深度生成式眾包模型，包括標注生成過程模型和隱真實標記的先驗模型，所述標注生成過程模型對每個標注者采用獨立混淆矩陣參數化來刻畫標注者的能力，基于標注者混淆矩陣V和圖像真實標記Y構造眾包標記L的似然p(L∣Y,V)；所述隱真實標記的先驗模型包括第一先驗分布和第二先驗分布，所述第一先驗分布為數據無關的先驗分布，是所有圖像共享同樣的、由參數π刻畫的先驗分布p(Y∣π)，所述第二先驗分布為依賴于輸入特征X和參數為γ的神經網絡分類器的先驗分布p(Y∣X,γ)；

得到基于眾包標記L、真實標記Y及全局參數Θ＝{V,π}的聯合分布為：