[發明專利]用于應用視頻觀看行為的方法和裝置

有效

• 申請號: 201880078768.7
• 申請日: 2018-12-07
• 公開（公告）號: CN111527495B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: D·瓦奎洛;M·沙赫里亞爾
• 申請（專利權）人: 諾基亞技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G11B27/11
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

一種方法、裝置和計算機可讀存儲介質提供關于視頻的第一幀和第二幀之間的觀看行為的改變的信息。在該方法中，標識包括在相應幀內的多個對象。該方法確定第一幀中的所述多個對象中的至少一個中的每個的第一觀看次數。對于在第一幀之后的第二幀，該方法確定在第二幀中的多個對象中的至少一個中的每個的第二觀看次數，并且標識觀看第一幀內的一個對象的相應觀看者改變為觀看第二幀內的不同對象的實例的數量。該方法另外引起提供關于視頻的第一幀和第二幀之間的觀看行為的改變的信息。

技術領域

示例性實施例總體上涉及與視頻相關的方法、裝置和計算機可讀存儲介質，并且更具體地涉及用于應用視頻觀看行為的方法、裝置和計算機可讀存儲介質。

背景技術

視頻由多個連續的幀組成，這些幀可呈現例如一系列二維(2D)或三維(3D)圖像。一些視頻提供沉浸式內容，包括例如360度沉浸式多媒體圖像。這樣的沉浸式內容可用于包括例如虛擬現實系統的各種應用。由這樣的360度圖像提供的沉浸式多媒體內容通常限制觀看者，以使觀看者僅看到完整的360度視場的有限子集或部分。

觀看者可平移通過場景，諸如通過在觀看者利用頭戴式顯示器的實例中移動他們的頭部或通過利用其他輸入設備，諸如鼠標、鍵盤或觸摸屏，滾動通過場景。即使觀看者花費了平移通過場景所必需的努力，但因為360度視頻具有非常大的視場，所以觀看者可能會發現難以決定在視頻的不同幀內在何處聚焦。因此，觀看者可能不會(至少并非一致地)聚焦于視頻的重要方面，諸如內容的創建者想讓觀看者沉迷的視頻中的那些區域或視頻中示出的對象。

發明內容

根據示例性實施例提供一種方法、裝置和計算機程序產品，以便提供關于與視頻的幀中包括的多個對象有關的視頻的第一幀和第二幀之間的觀看行為的改變的信息。基于關于視頻的幀之間的觀看行為的改變的信息，可在更知情的基礎上進行一個或多個行動。例如，示例性實施例的方法、裝置和計算機程序產品可至少部分地基于視頻的幀之間的觀看行為的改變來定義故事線。附加地或可替代地，示例性實施例的方法、裝置和計算機程序產品可基于視頻的幀之間的觀看行為的改變來修改視頻的一個或多個幀的圖像質量。通過基于關于與視頻的幀內包括的多個對象相關的視頻的幀之間的觀看行為的改變的信息來采取行動，可以有效地提高最終的用戶體驗。

在示例性實施例中，提供了一種方法，包括：對于包括第一幀和在第一幀之后的至少一個第二幀的視頻的多個確定幀，標識包括在第一幀內的多個對象和包括在第二幀中的多個對象。該方法還確定包括在第一幀內的多個對象中的至少一個對象中的每個的多個觀看者的第一觀看次數。對于第二幀，該方法確定多個觀看者對包括在第二幀內的多個對象中的至少一個對象中的每個的第二觀看次數，并標識觀看第一幀內的多個對象中的一個的相應觀看者改變為觀看第二幀內的多個對象中的不同的一個的多個實例。該方法另外包括提供關于與包括在視頻中的多個對象相關的視頻的第一幀和第二幀之間的觀看行為的改變的信息。

示例性實施例的方法還包括至少部分地基于視頻的第一幀和第二幀之間的觀看行為的改變來定義故事線。在示例性實施例中，該方法可至少部分地基于從第一幀中的第一對象到第二幀中的第二對象的觀看行為的改變來將故事線定義為聚焦于第一幀中的第一對象和第二幀中的第二對象。附加地或可替代地，示例性實施例的方法還包括至少部分地基于視頻的第一幀和第二幀之間的觀看行為的改變來修改至少第二幀的圖像質量。在示例性實施例中，該方法可至少部分基于從第一幀中的第一對象到第二幀中的第二對象的觀看行為的改變來修改第一對象和第二對象的圖像質量。對于標識多個對象，示例性實施例的方法可在第二幀中標識比第一幀中更多的對象，例如在第一幀中的一個對象拆分成第二幀中的多個對象的實例中。可替代地，示例性實施例的方法可通過在第二幀中標識比在第一幀中更少的對象來標識多個對象，例如在第一幀中的多個對象合并成第二幀中的單個對象的實例中。