[發明專利]聲音數據合成裝置

無效

• 申請號: 201080038787.0
• 申請日: 2010-09-03
• 公開（公告）號: CN102483928A
• 公開（公告）日: 2012-05-30
• 發明（設計）人: 太田英史
• 申請（專利權）人: 株式會社尼康
• 主分類號: G10L21/02
• 分類號: G10L21/02;H04N5/225;H04S5/02
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 周春燕;陳海紅

1.一種聲音數據合成裝置，其特征在于，具備：

拍攝部，其拍攝由光學系統形成的對象的像，并輸出圖像數據；

聲音數據取得部，其取得聲音數據；

聲音數據分離部，其從所述聲音數據分離出所述對象產生的第一聲音數據和該第一聲音數據以外的第二聲音數據；以及

聲音數據合成部，其按向多揚聲器輸出的聲音數據的每聲道，合成通過按該每聲道設定的增益以及相位調整量控制了增益和相位后的所述第一聲音數據與所述第二聲音數據。

2.根據權利要求1所述的聲音數據合成裝置，其特征在于，還具備：

拍攝控制部，其輸出使所述光學系統移動至使焦點相對于所述對象的像對準的位置的控制信號，并且得到表示所述光學系統與所述對象的位置關系的位置信息；以及

控制系數確定部，其基于所述位置信息計算所述增益以及所述相位調整量。

3.根據權利要求1或2所述的聲音數據合成裝置，其特征在于，所述控制系數確定部進一步具備：

被拍攝體距離測定部，其基于所述位置信息測定到所述對象為止的被拍攝體距離；

偏離量檢測部，其檢測從所述拍攝部的拍攝面的中心偏離的偏離量；

偏離角檢測部，其根據所述偏離量和所述拍攝部中的焦點距離，求取偏離角，所述偏離角是通過焦點并相對于所述拍攝面垂直的軸與連結所述焦點和所述拍攝面上的所述對象的像的線所成的角；

多聲道相位計算部，其根據所述偏離角求取所述每聲道的聲音數據的所述相位調整量；以及

多聲道增益計算部，其根據所述被拍攝體距離計算所述每聲道的聲音數據的所述增益。

4.根據權利要求3所述的聲音數據合成裝置，其特征在于，

所述多聲道相位計算部，根據作為聲音的入射角的所述偏離角與聲音入射于兩耳的時間差的關系式，計算所述每聲道的要控制的所述相位調整量。

5.根據權利要求3或4所述的聲音數據合成裝置，其特征在于，

所述多聲道增益計算部，基于所述被拍攝體距離，通過聲音數據合成裝置的前后聲道的聲壓的等級差，計算該每聲道的增益。

6.根據權利要求1～5中的任意一項所述的聲音數據合成裝置，其特征在于，所述聲音數據分離部具備：

FFT部，其分別進行從所述對象產生聲音的發音期間的所述聲音數據和所述發音期間以外的期間的所述聲音數據的傅里葉變換；

聲音頻率檢測部，其對所述發音期間的頻帶與所述發音期間以外的頻帶進行比較，檢測所述發音期間中的所述對象的聲音的頻帶即第一頻帶；以及

逆FFT部，其從所述發音期間中的所述頻帶獲取所述第一頻帶，對去除了所述第一頻帶后的第二頻帶和所述第一頻帶分別進行逆傅里葉變換，生成所述第一聲音數據和所述第二聲音數據。

7.根據權利要求1～6中的任意一項所述的聲音數據合成裝置，其特征在于，還具備：

發音期間檢測部，其檢測從所述對象產生聲音的所述發音期間，

其中，該發音期間檢測部，通過對于所述圖像數據的圖像識別的處理，識別所述對象的面部，檢測該識別的面部中的口部區域，檢測該口部的形狀變化的期間作為所述發音期間。

8.根據權利要求7所述的聲音數據合成裝置，其特征在于，

所述發音期間檢測部，通過與預先設定的面部的樣本進行比較，檢測所述識別的面部中的口部的位置。

9.根據權利要求8所述的聲音數據合成裝置，其特征在于，

所述發音期間檢測部，通過所述面部的樣本檢測所述口部區域，并且具備口部張開的口部張開樣本和口部閉合的口部閉合樣本，通過將所述口部區域的圖像與所述口部張開樣本以及所述口部閉合樣本進行比較，檢測所述對象的口部的開閉狀態。

10.根據權利要求3～9中的任意一項所述的聲音數據合成裝置，其特征在于，

所述聲音頻率檢測部生成使所述第一頻帶通過的帶通濾波器和使所述第二頻帶通過的帶阻濾波器；

所述逆FFT部，通過所述帶通濾波器將所述第一頻帶從所述頻帶提取出，另外通過所述帶阻濾波器將所述第二頻帶從所述頻帶提取出。