[發明專利]自動音頻摘要生成方法和裝置

有效

• 申請號: 202011623119.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112784094B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 俞凱;吳夢玥;徐薛楠;丁翰林;謝澤宇
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F16/64
• 分類號: G06F16/64;G06F16/683;G06K9/62
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;鄧婷婷

1.一種自動音頻摘要生成方法，包括：

預訓練聲音事件檢測模型或者聲學場景識別模型，其中，所述聲音事件檢測模型用于獲取代表音頻標記的局部信息，所述聲學場景識別模型用于獲取代表聲學場景分類的全局信息；所述聲音事件檢測模型和所述聲學場景識別模型均包括骨干編碼器結構，所述骨干編碼器結構包括一個嵌入特征提取器，一個時間池化層和一個輸出層，其中所述嵌入特征提取器由幾個卷積塊組成，用于從音頻輸入中提取中級嵌入特征；

將預訓練后的所述聲音事件檢測模型或所述聲學場景識別模型的參數傳輸至音頻摘要自動生成模型的音頻編碼器；

端到端地訓練所述音頻摘要自動生成模型。

2.根據權利要求1所述的方法，其中，所述預訓練聲音事件檢測模型包括：

在包含大量聲音事件和標簽的數據集上對所述事件檢測模型進行預訓練。

3.根據權利要求1所述的方法，其中，所述端到端地訓練所述音頻摘要自動生成模型包括：

使用包含音頻摘要的數據集對所述音頻摘要自動生成模型進行端到端地訓練。

4.根據權利要求1所述的方法，包括：

使用同時包含音頻摘要和聲音事件標簽的數據集對所述聲音事件檢測模型以及所述音頻摘要自動生成模型進行多任務聯合訓練。

5.一種自動音頻摘要生成裝置，包括：

預訓練模塊，配置為預訓練聲音事件檢測模型或者聲學場景識別模型，其中，所述聲音事件檢測模型用于獲取代表音頻標記的局部信息，所述聲學場景識別模型用于獲取代表聲學場景分類的全局信息；所述聲音事件檢測模型和所述聲學場景識別模型均包括骨干編碼器結構，所述骨干編碼器結構包括一個嵌入特征提取器，一個時間池化層和一個輸出層，其中所述嵌入特征提取器由幾個卷積塊組成，用于從音頻輸入中提取中級嵌入特征；

遷移模塊，配置為將預訓練后的所述聲音事件檢測模型或所述聲學場景識別模型的參數傳輸至音頻摘要自動生成模型的音頻編碼器；

訓練模塊，配置為端到端地訓練所述音頻摘要自動生成模型。

6.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1至4任一項所述方法的步驟。

7.一種存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至4任一項所述方法的步驟。