[發明專利]在多相機/麥克風系統中應用風格轉移函數的系統和方法

在審

• 申請號: 202211407871.6
• 申請日: 2022-11-10
• 公開（公告）號: CN116347250A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 斯坦利·巴蘭;查魯·斯里瓦斯塔瓦;斯里坎特·波特爾斯;邁克爾·羅森茨維格;阿奇·沙瑪
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N23/95
• 分類號: H04N23/95;H04N23/90;G06T5/00;H04R1/40;H04R29/00;H04R3/00;H04S7/00
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 張敏

本文公開了在多相機/麥克風系統中應用風格轉移函數的系統和方法。示例多相機風格轉移系統包括：至少一個存儲器；系統中的指令；以及處理器電路，用于執行指令以至少將風格轉移函數應用于來自第二視頻饋送的第二圖像以基于參考圖像生成風格化圖像。參考圖像對應于來自第一視頻饋送的第一圖像。第一視頻饋送來自第一相機。第二視頻饋送來自第二相機。處理器電路還執行指令以基于風格化圖像來調整視頻過濾器的一個或多個參數設置，并且使用具有調整后的參數設置的視頻過濾器來過濾第二視頻饋送以生成第二視頻饋送的過濾后版本。

技術領域

本公開總體上涉及多傳感器系統，更具體而言，涉及用于在多相機系統和多麥克風系統中應用風格轉移函數(style?transfer?function)的系統和方法。

背景技術

現今，多傳感器系統被用于許多環境中。例如，直播者常常利用多個相機和/或多個麥克風。直播者可以在流媒體會話期間在某些相機和/或麥克風之間進行切換，以向其觀眾進行廣播。多相機和/或多麥克風系統也被用于其他場景中，例如視頻會議、體育比賽廣播，等等。

發明內容

根據本公開的第一方面，提供了一種多相機風格轉移系統，包括：至少一個存儲器；所述系統中的指令；以及處理器電路，用于執行所述指令以至少執行以下操作：將風格轉移函數應用于來自第二視頻饋送的第二圖像以基于參考圖像生成風格化圖像，所述參考圖像對應于來自第一視頻饋送的第一圖像，所述第一視頻饋送來自第一相機，所述第二視頻饋送來自第二相機；基于所述風格化圖像來調整視頻過濾器的一個或多個參數設置；并且使用具有調整后的參數設置的視頻過濾器來過濾所述第二視頻饋送以生成所述第二視頻饋送的過濾后版本。

根據本公開的第二方面，提供了一種非暫時性計算機可讀存儲介質，包括指令，所述指令在被執行時，使得至少一個處理器至少執行以下操作：將風格轉移函數應用于來自第二視頻饋送的第二圖像以基于參考圖像生成風格化圖像，所述參考圖像對應于來自第一視頻饋送的第一圖像，所述第一視頻饋送來自第一相機，所述第二視頻饋送來自第二相機；基于所述風格化圖像來調整視頻過濾器的一個或多個參數設置；并且使用具有調整后的參數設置的視頻過濾器來過濾所述第二視頻饋送以生成所述第二視頻饋送的過濾后版本。

根據本公開的第三方面，提供了一種多麥克風風格轉移系統，包括：至少一個存儲器；所述系統中的指令；以及處理器電路，用于執行所述指令以至少執行以下操作：將風格轉移函數應用于來自第二音頻流的第二音頻剪輯以基于參考音頻剪輯生成風格化音頻剪輯，所述參考音頻剪輯對應于來自第一音頻流的第一音頻剪輯，所述第一音頻流來自第一麥克風，所述第二音頻流來自第二麥克風；基于所述風格化音頻剪輯來調整音頻過濾器的一個或多個參數設置；并且使用具有調整后的參數設置的音頻過濾器來過濾所述第二音頻流以生成所述第二音頻流的過濾后版本。

附圖說明

圖1圖示了示例多相機系統，該示例多相機系統包括實現根據本公開的教導而構造的示例多相機風格轉移系統的示例電子設備。

圖2示出了可以在圖1的示例電子設備的示例顯示器上顯示的示例用戶界面。

圖3A、圖3B和圖3C示出了來自圖1的示例多相機系統的不同相機的示例圖像。

圖4是圖1的示例多相機風格轉移系統的框圖。

圖5A和圖5B示出了可以由圖1的示例多相機系統轉移系統實現的示例分割過程。

圖6是示例多麥克風系統的框圖，該示例多麥克風系統包括根據本公開的教導構造的示例多麥克風風格轉移系統。

圖7是代表可以由示例處理器電路執行以實現圖4的示例多相機風格轉移系統的示例機器可讀指令和/或示例操作的流程圖。

圖8是代表可以由示例處理器電路執行以實現圖6的示例多麥克風風格轉移系統的示例機器可讀指令和/或示例操作的流程圖。