[發明專利]用于在圖像信號處理系統中同步音頻和視頻數據的技術

有效

• 申請號: 201110305031.4
• 申請日: 2011-09-30
• 公開（公告）號: CN102572443A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: G·科泰;J·E·弗雷德里克森
• 申請（專利權）人: 蘋果公司
• 主分類號: H04N7/52
• 分類號: H04N7/52;H04N5/14
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 曹瑾

1.一種在電子設備上同步音頻和視頻數據的方法，包括：

利用圖像信號處理器接收視頻數據的圖像幀，所述圖像幀是利用電子設備的數字圖像傳感器獲得的；

檢測圖像幀的開始；

當檢測到圖像幀的開始時，從被配置成提供與當前時間對應的時間戳值的時間碼寄存器讀取當前時間戳值；

使所述時間戳值與和所述圖像幀相關聯的一組元數據關聯；和

利用與所述一組元數據關聯的時間戳值，在電子設備上使圖像幀的重放與和視頻數據同時獲得的一組音頻數據的對應音頻樣本同步。

2.按照權利要求1所述的方法，其中，使時間戳值與所述一組元數據關聯包括把時間戳值保存在與數字圖像傳感器相關聯的時間戳寄存器中，和把保存在時間戳寄存器中的時間戳值寫入所述一組元數據中。

3.按照權利要求1所述的方法，其中，根據圖像信號處理器的時鐘域，按用特定數目的時鐘周期定義的間隔，遞增時間碼寄存器提供的時間戳值。

4.按照權利要求1所述的方法，其中在使時間戳值與所述一組元數據關聯之前，在時間戳值中加入經編程的延遲。

5.一種系統，包括：

圖像信號處理器，所述圖像信號處理器包括被配置成接收利用數字圖像傳感器獲得的多個圖像幀的接口，其中，所述多個圖像幀對應于一組視頻數據；

音頻子系統，所述音頻子系統包括被配置成與數字圖像傳感器獲得的圖像數據同時地接收音頻數據的輸入設備；和

音頻-視頻同步邏輯器，所述音頻-視頻同步邏輯器被配置成對于多個圖像幀中的每個圖像幀，識別圖像幀的開始，確定與圖像幀的開始對應的時間戳值，并把所述時間戳值寫入與圖像幀相關聯的元數據中；

其中，所述音頻-視頻同步邏輯器被配置成通過使保存在與多個圖像幀中的每個圖像幀相關聯的元數據中的時間戳值和與音頻數據相關聯的對應時間戳關聯，使多個圖像幀與音頻數據同步。

6.按照權利要求5所述的系統，其中，所述音頻-視頻同步邏輯器包含被配置成提供當前時間戳值的時間碼寄存器，其中，按規律的間隔遞增時間碼寄存器提供的時間戳值。

7.按照權利要求6所述的系統，其中，圖像信號處理器和音頻子系統分別根據獨立的第一時鐘和第二時鐘工作。

8.按照權利要求7所述的系統，其中，所述音頻-視頻同步邏輯器包含被配置成保存時間配置碼的定時器配置寄存器，所述規律的間隔對應于作為時間配置碼的函數確定的第一時鐘的多個時鐘周期。

9.按照權利要求7所述的系統，其中，所述音頻-視頻同步邏輯器被配置成使第一時鐘與系統的主處理器的第三時鐘同步，使第二時鐘與系統的主處理器的第三時鐘同步，根據第一時鐘和第二時鐘與第三時鐘的同步，確定第一時鐘和第二時鐘之間的時間差，并利用所述時間差，使保存在多個圖像幀中的每個圖像幀的元數據中的時間戳值與和音頻數據相關聯的對應時間戳關聯。

10.按照權利要求6所述的系統，其中，所述音頻-視頻同步邏輯器被配置成通過增加或丟棄圖像幀，直到使對應于圖像幀的時間戳與對應于音頻數據的時間戳對準為止，來使所述多個圖像幀與音頻數據同步。

11.一種電子設備，包括：

用于檢測電子設備的圖像處理系統利用數字圖像傳感器獲得的一組視頻數據中的圖像幀的開始的裝置；

用于使時間戳值與和所述圖像幀相關聯的元數據關聯的裝置，其中，所述時間戳值對應于所述圖像幀的開始；

用于利用所述時間戳值，使所述圖像幀與電子設備獲得的一組音頻數據中的對應音頻樣本對準的裝置。

12.按照權利要求11所述的電子設備，其中，用于使所述時間戳值與和所述圖像幀相關聯的元數據關聯的裝置包括：

用于從被配置成提供定期遞增的當前時間值的第一寄存器讀取時間戳值的裝置；

用于把時間戳值寫入與數字圖像傳感器相關聯的第二寄存器的裝置；和

用于把來自第二寄存器的時間戳值保存為與所述圖像幀相關聯的元數據的一部分的裝置。