[發明專利]利用機器學習的縱橫比轉換

在審

• 申請號: 202010199104.5
• 申請日: 2020-03-20
• 公開（公告）號: CN111724302A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 尼美什·C·納拉揚;雅茲瑪莉莎·雅各布;卡瑞·M·格魯賓;安德魯·J·瓦爾奎斯特
• 申請（專利權）人: 迪士尼企業公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/00;G06K9/62;H04N21/233;H04N21/234;H04N21/2343;H04N21/439;H04N21/44;H04N21/4402
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 宗曉斌

1.一種用于在縱橫比之間轉換圖像幀的計算機實現的方法，所述方法包括：

使用機器學習，至少部分地基于下列項來確定至少一個縱橫比轉換函數：(i)提取的特征，其指示與來自視頻的鏡頭中的、第一縱橫比的第一圖像幀相關聯的視覺元素或音頻元素中的至少一者，以及(ii)將所述第一圖像幀轉換為第二縱橫比的相應第二圖像幀的搖攝和掃描轉換中的手動取景決策；

識別接收到的視頻中的鏡頭；以及

針對所識別的鏡頭的每個鏡頭中的每個圖像幀，使用所述至少一個縱橫比轉換函數中的一個將所述圖像幀從所述第一縱橫比轉換為所述第二縱橫比。

2.根據權利要求1所述的方法，其中，將所述圖像幀從所述第一縱橫比轉換為所述第二縱橫比包括：將指示與所述鏡頭中的一個或多個圖像幀相關聯的視覺元素或音頻元素中的至少一者的提取的特征輸入到所述至少一個縱橫比轉換函數中的所述一個。

3.根據權利要求2所述的方法，其中，與所述鏡頭中的所述一個或多個圖像幀相關聯的所述音頻元素包括一個或多個人物，所述一個或多個人物至少部分地基于下列項而被識別為說話的人物：所述一個或多個圖像幀中的所述一個或多個人物的嘴部運動；或一種或多種語音的識別，以及識別出的一種或多種語音與所述一個或多個圖像幀中的所述一個或多個人物的視覺描述的匹配。

4.根據權利要求2所述的方法，其中，與所述鏡頭中的所述一個或多個圖像幀相關聯的所述音頻元素包括正在播放的音樂。

5.根據權利要求2所述的方法，其中，與所述鏡頭中的所述一個或多個圖像幀相關聯的所述視覺元素包括下列項中的至少一者：在所述一個或多個圖像幀中出現的對象、用于捕獲所述一個或多個圖像幀的相機透鏡、所述一個或多個圖像幀是數字圖像幀還是膠片圖像幀、所述一個或多個圖像幀是包括實景拍攝還是動畫內容、或所述一個或多個圖像幀的特征。

6.根據權利要求5所述的方法，其中，所述鏡頭中的所述一個或多個圖像幀中出現的對象包括人物、生物、道具、屏幕文本或環境對象中的至少一者。

7.根據權利要求5所述的方法，其中，所述鏡頭中的所述一個或多個圖像幀中的圖像幀的特征包括下列項中的至少一者：所述一個或多個圖像幀是描繪白天場景還是夜間場景、所述一個或多個圖像幀是亮的還是暗的、所述一個或多個圖像幀是在直射陽光還是環境光下捕獲的、所述一個或多個圖像幀是描繪室內場景還是室外場景、或所述一個或多個圖像幀中描繪的場景氣氛。

8.根據權利要求2所述的方法，其中，將所述圖像幀從所述第一縱橫比轉換為所述第二縱橫比進一步基于與所接收到的視頻相關聯的電影制片人、品牌、類型、電影公司、連續劇、或電影特許經營權中的至少一者。

9.根據權利要求1所述的方法，其中，所述至少一個縱橫比轉換函數中的所述一個包括基于知識的系統中的規則、決策樹或深度學習模型中的至少一者。

10.根據權利要求1所述的方法，還包括：接收用戶修改并將該用戶修改應用于在將所述圖像幀從所述第一縱橫比轉換為所述第二縱橫比中確定的所述圖像幀的取景。

11.一種非暫時性計算機可讀存儲介質，包括指令，所述指令在由處理單元執行時使所述處理單元通過執行以下操作在縱橫比之間轉換圖像幀：

使用機器學習，至少部分地基于下列項來確定至少一個縱橫比轉換函數：(i)提取的特征，其指示與來自視頻的鏡頭中的、第一縱橫比的第一圖像幀相關聯的視覺元素或音頻元素中的至少一者，以及(ii)將所述第一圖像幀轉換為第二縱橫比的相應第二圖像幀的搖攝和掃描轉換中的手動取景決策；

識別接收到的視頻中的鏡頭；以及

針對所識別的鏡頭的每個鏡頭中的每個圖像幀，使用所述至少一個縱橫比轉換函數中的一個將所述圖像幀從所述第一縱橫比轉換為所述第二縱橫比。