[發明專利]圖像處理裝置及程序

在審

• 申請號: 201780077904.6
• 申請日: 2017-12-19
• 公開（公告）號: CN110366848A
• 公開（公告）日: 2019-10-22
• 發明（設計）人: 相澤清晴;小川將范
• 申請（專利權）人: 國立大學法人東京大學
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 安香子

一種圖像處理裝置，接受一邊將相機移動一邊拍攝的運動圖像數據，推測相機的移動軌跡，在該推測出的相機移動軌跡上的點中，選擇滿足規定的條件的多個點，從接受到的運動圖像數據中，提取在該選擇的多個點處攝像的圖像數據。并且，基于提取出的圖像數據，生成重構的運動圖像數據并輸出。

技術領域

本發明涉及圖像處理裝置及程序。

背景技術

近年來，“天球運動圖像”引起關注。通過將空間整體能夠以運動圖像保存，與以往的運動圖像相比，能夠得到更大的帶入感及臨場感。由于用于容易地進行天球運動圖像的錄像及再現的設備及有關天球運動圖像的服務的出現、有關虛擬現實的市場的擴大，天球運動圖像變得越來越重要。

另一方面，在天球運動圖像的運動圖像中，與通常的運動圖像相比，被要求微速攝影(Hyperlapse)化和穩定化的情形較多。微速攝影化是指將拍攝的運動圖像在時間上進行采樣，使得成為更短時間的運動圖像。在運動圖像本身較長而本來的長度下的閱覽較困難的情況、或將運動圖像上載到網絡上的服務中等情況下，當需要將運動圖像的長度縮減到規定時間內的情況下，產生微速攝影化的要求。

此外，穩定化是指進行由拍攝帶來的抖動等的修正。該要求是從以往就有的課題，但在天球運動圖像中，如上述那樣帶入感較高，所以如果在此發生較大的抖動，則有視聽者感到暈的情況，所以與以往的運動圖像相比更強烈地要求穩定化。

現有技術文獻

非專利文獻

非專利文獻1：Joshi，Neel et.al.，Real－time hyperlapse creation viaoptimal frame selection，ACM Transactions on Graphics 34(4)，pp.63，August2015

發明內容

發明要解決的課題

關于以往的運動圖像(不是天球運動圖像的運動圖像)，作為與這些微速攝影化和穩定化的2個問題對應的以往技術，有非專利文獻1中公開的技術。在該非專利文獻1所公開的方法中，當進行穩定化時，基于幀間的單應性(homography)變換等求出幀間的成本(cost)，去除被評價為不適當的幀。進而，對于所選擇的幀，執行將共通部分裁剪的處理。

但是，不能將上述以往的技術應用于天球運動圖像等廣角運動圖像(這里，廣角例如是指對角線視場角超過標準鏡頭的46度的圖像等、拍攝比平均的人眼視野范圍大的范圍而得到的圖像)。首先，是因為幀間的單應性變換是平面圖像間的變換，此外，在幀選擇后將一部分裁剪是不會成為天球運動圖像等廣角運動圖像的。

這樣，在以往的技術中，有不能應對關于天球運動圖像等廣角運動圖像的微速攝影化的要求和穩定化的要求的問題。

本發明是鑒于上述情況而做出的，其目的之一是提供一種能夠應對關于天球運動圖像等廣角運動圖像的微速攝影化的要求和穩定化的要求的圖像處理裝置及程序。

解決課題所采用的手段

解決上述以往例的問題的本發明是一種圖像處理裝置，接收一邊移動相機一邊拍攝的運動圖像數據并進行處理，包括：移動軌跡推測單元，推測上述相機的移動軌跡；選擇單元，在推測出的相機移動軌跡上的點中，選擇滿足規定的條件的多個點；提取單元，從接收到的上述運動圖像數據中，提取在所選擇的上述多個點處攝像的圖像數據；生成單元，生成基于所提取的上述圖像數據進行重構的運動圖像數據；以及輸出單元，輸出所生成的重構的運動圖像數據。

發明效果

能夠應對關于天球運動圖像等廣角運動圖像的微速攝影化的要求和穩定化的要求。

附圖說明

圖1是表示有關本發明的實施方式的圖像處理裝置的結構例的框圖。