[發明專利]并行的硬件塊處理流水線和軟件塊處理流水線

有效

• 申請號: 201480052886.2
• 申請日: 2014-08-20
• 公開（公告）號: CN105684036B
• 公開（公告）日: 2019-01-22
• 發明（設計）人: J·E·歐爾;T·J·米萊;鄭主恩;N·巴伽瓦;G·科泰
• 申請（專利權）人: 蘋果公司
• 主分類號: G06T1/20
• 分類號: G06T1/20
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 羅亞男

本發明公開了一種包括并行運行的軟件流水線和硬件流水線的塊處理流水線。軟件流水線比硬件流水線提前至少一個塊而運行。流水線的階段可各自包括對該階段處的當前塊執行一個或多個操作的硬件流水線部件。流水線的至少一個階段還可包括軟件流水線部件，該軟件流水線部件在硬件部件正在處理當前塊時確定流水線的該階段處的硬件部件的用于處理下一個塊的配置。軟件流水線部件可根據與從流水線的上游階段獲取的下一個塊相關的信息來確定該配置。軟件流水線部件還可獲取和使用與先前在該階段處處理的塊相關的信息。

技術領域

本公開整體涉及視頻處理或圖像處理，并且更具體地涉及用于在塊處理流水線中處理數字視頻幀的方法和裝置。

背景技術

包括但不限于個人計算機系統、臺式計算機系統、膝上型電腦和筆記本式計算機、平板電腦或平板設備、數碼相機、數字視頻錄像機、和移動電話或智能電話的各種設備可包括可實施視頻處理方法的軟件和/或硬件。例如，設備可包括可根據一個或多個視頻處理方法接收和處理來自一個或多個源的數字視頻輸入并輸出經處理的視頻幀的裝置(例如集成電路 (IC)諸如片上系統(SOC)、或IC的子系統)。又如，可在設備上實施可根據一個或多個視頻處理方法接收和處理來自一個或多個源的數字視頻輸入并輸出經處理的視頻幀的軟件程序。例如，如圖1所示的視頻編碼器 10代表裝置或者軟件程序，其中數字視頻輸入(輸入幀90)根據視頻編碼方法被編碼或轉化為另一種格式(輸出幀92)，例如壓縮視頻格式諸如 H.264/高級視頻編碼(AVC)格式(也被稱為MPEG 4第10部分)。裝置或軟件程序諸如視頻編碼器10可包括多個功能部件或單元、以及至例如視頻輸入源和外部存儲器的外部接口。

在一些視頻處理方法中，為了執行處理，每個輸入視頻幀90被分成像素塊(例如16×16像素塊)的行和列，例如如圖2所示的，圖2示出了被分成144個16×16像素塊的示例性192×192像素幀。輸入視頻幀90的每個塊分別被處理，并且在處理完成時經處理的塊被組合以形成輸出視頻幀 92。這可被稱為塊處理方法。通常，塊處理方法按掃描順序來處理塊，如圖2所示的，開始于幀的第一行的第一個塊(圖示為塊0)，順序地處理該行中的塊，然后在行完成時在下一行的第一個塊處繼續進行處理。

塊處理方法可包括順序地被施加到視頻幀中的每個塊的多個處理步驟或操作。為了實施此類塊處理方法，裝置或軟件程序(諸如視頻編碼器 10)可包括或實施塊處理流水線40。塊處理流水線40可包括兩個或更多個階段，其中每個階段實施塊處理方法的步驟或操作中的一者或多者。圖1 示出了實施至少包括階段42A至42C的示例性塊處理流水線40的示例性視頻編碼器10。塊被輸入到流水線40的階段42A，根據由階段42A實施的一個或多個操作來進行處理，并且結果被輸出到下一階段42B(或被最后一個階段42輸出作為最終輸出)。下一階段42B處理該塊，而下一個塊被輸入到前一階段42A以進行處理。因此，塊沿著流水線從一個階段移動到下一階段，其中每個階段每次處理一個塊，并且多個階段同時處理不同的塊。通常，塊按掃描順序被輸入到塊處理流水線40并由塊處理流水線40 處理，如圖2所示。例如在圖1中，圖2所示的幀的第一行的第一個塊 (塊0)位于階段42C處，第二個塊(塊1)位于階段42B處，并且第三個塊(塊2)位于階段42A處。要輸入到塊處理流水線40的下一個塊將是第一行中的第四個塊。

H.264/高級視頻編碼(AVC)

H.264/AVC(被正式稱為ITU-T建議書H.264，也被稱為MPEG-4第 10部分)是ITU-T(國際電信聯盟-電信標準化局)視頻編碼專家組 (VCEG)與ISO/IEC JTC1動態圖像專家組(MPEG)一起開發的面向塊的基于運動補償的編解碼標準。H.264/AVC標準被ITU-T公布于標題為“ITU-T Recommendation H.264:Advanced video coding for generic audiovisualservices”的文檔中。這個文檔也可被稱為H.264建議書。

發明內容