[發明專利]具有基于邊信息的視頻編譯的混合運動補償神經網絡在審

申請號：	201980015244.8	申請日：	2019-11-04
公開（公告）號：	CN111801945A	公開（公告）日：	2020-10-20
發明（設計）人：	德巴爾加·慕克吉;烏爾旺·喬希;陳悅;薩拉·帕克	申請（專利權）人：	谷歌有限責任公司
主分類號：	H04N19/503	分類號：	H04N19/503;H04N19/593;H04N19/61;G06N3/00;G06N3/08;G06T9/00
代理公司：	中原信達知識產權代理有限責任公司 11219	代理人：	周亞榮;鄧聰惠
地址：	美國加利***	國省代碼：	暫無信息
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	具有基于信息視頻編譯混合運動補償神經網絡
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

一種用于對視頻流進行編譯的混合裝置包括第一編碼器。第一編碼器包括具有至少一個隱藏層的神經網絡，并且該神經網絡在至少一個隱藏層中的第一隱藏層處從視頻流接收源數據，在第一隱藏層處接收與源數據相關的邊信息，并且使用源數據和邊信息來生成引導信息。第一編碼器輸出引導信息和邊信息以供解碼器重構源數據。

背景技術

數字視頻流可以使用幀或靜止圖像的序列來表示視頻。數字視頻能夠被用于各種應用，包括例如視頻會議、高清晰度視頻娛樂、視頻廣告或用戶生成的視頻共享。數字視頻流能夠包含大量數據并且消耗計算設備的大量計算或通信資源以進行視頻數據的處理、傳輸或存儲。已經提出各種方法(包括壓縮和其它編碼技術)來減少視頻流中的數據量。

發明內容

所公開的實現方式的一個方面是第一編碼器，該第一編碼器包括具有至少一個隱藏層的神經網絡，其中該神經網絡在至少一個隱藏層中的第一隱藏層處從視頻流接收源數據，在第一隱藏層處接收與源數據相關的邊信息，并且使用源數據和邊信息來生成引導信息。第一編碼器將引導信息和邊信息輸出到解碼器以用于重構源數據。

本文所述的用于對視頻流進行編譯的方法包括：將源數據從視頻流提供給包括神經網絡的第一編碼器；使用源數據來生成邊信息；將邊信息輸入到神經網絡以用于對源數據進行編碼；以及將源數據和邊信息從第一編碼器傳輸到解碼器。

本文所述的用于對視頻流進行編譯的另一混合裝置包括第一編碼器和第一解碼器，該第一編碼器和該第一解碼器包括具有多個隱藏層的神經網絡。該神經網絡在編碼器的第一隱藏層處從視頻流接收源數據，在編碼器的第一隱藏層處接收與源數據相關的邊信息，使用源數據和邊信息來生成引導信息，并且在第一解碼器的第一隱藏層處接收引導信息和邊信息以用于重構源數據。

在以下對實施例、所附權利要求和附圖的詳細描述中公開了本公開的這些和其它方面。

附圖說明

本文的描述參考附圖，其中，相似的附圖標記在所有若干視圖中自始至終指代相似的部分。

圖1是視頻編碼和解碼系統的簡圖。

圖2是能夠實現傳輸站或接收站的計算設備的示例的框圖。

圖3是要編碼并隨后解碼的視頻流的圖。

圖4是根據本公開的實現方式的編碼器的框圖。

圖5是根據本公開的實現方式的解碼器的框圖。

圖6是根據本公開的實現方式的幀的一部分的表示的框圖。

圖7是根據本公開的實現方式的塊的四叉樹表示的示例的框圖。

圖8是用于搜索最佳模式以對塊進行編譯的過程的流程圖。

圖9是通過使用預測模式來估計對圖像塊進行編譯的速率和失真成本的過程的框圖。