[發明專利]一種適用于卷積神經網絡的方言數據庫建立方法

在審

• 申請號: 201711349357.0
• 申請日: 2017-12-15
• 公開（公告）號: CN108170735A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 李子煜;董志芳
• 申請（專利權）人: 東南大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06N3/04;G10L17/00;G10L17/18;G10L17/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 向文

本發明公開了一種適用于卷積神經網絡的方言頻譜數據庫的建立方法，通過搜集現有各省市的方言音頻；使用MATLAB處理音頻文件，將其轉化為聲譜圖；使用Photoshop去除聲譜圖的白邊并將其轉換為大小可以直接放入經典卷積神經網絡進行訓練與測試的圖片尺寸；按照省市將聲譜圖分類，打上標簽于音頻文件一起，構成方言數據庫。本發明建立的可用于卷積神經網絡的方言數據庫能夠直接放入經典卷積神經網絡中訓練，方便深度學習算法工程師等根據本發明建立的方言數據庫進行基于卷積神經網絡的方言分類。

技術領域

本發明屬于圖像處理與數據庫構建技術領域，具體涉及一種適用于卷積神經網絡的方言數據庫建立方法。

背景技術

近年來，隨著硬件計算能力的提升、理論的發展、以及大數據的來臨，卷積神經網絡得到了廣泛研究，一些卷積神經網絡的模型被用于圖像、語音的訓練識別，并取得了很好的效果。由于GPU的引入，以前很復雜的模型現在通過并行計算能很容易地被訓練，大大縮短了訓練調參的周期，提高了卷積神經網絡的實用性。另一方面，語音分類與識別也在飛速發展且應用領域廣泛，包括語音輸入系統、語音控制系統以及身份識別等，因此，使用卷積神經網絡進行語音分類與識別成為一個熱點。

卷積神經網絡需要龐大的訓練集與測試集來完成模型的訓練，而且由于其結構屬性，卷積神經網絡對圖像的分類最為準確，所以在圖像識別與分類方面有較為成熟的經典卷積神經網絡模型。然而，目前沒有可以完整的、系統的、圖像形式的方言數據集可供學習，絕大部分方言數據集只有音頻文件，不能直接放入經典卷積神經網絡進行訓練。

發明內容

發明目的：為了克服現有技術中存在的不足，提供一種適用于卷積神經網絡的方言數據庫的建立方法，搜集系統的、全面的中國各地方言音頻，再將其轉化為聲譜圖，經過調整大小等處理后得到可以直接放入經典卷積神經網絡進行訓練的方言數據集。

技術方案：為實現上述目的，本發明提供一種適用于卷積神經網絡的方言數據庫建立方法，包括如下步驟：

步驟1：搜集各省市的方言音頻；

步驟2：使用MATLAB將步驟1中采集的方言音頻文件批量轉化為聲譜圖并且自動保存至預設的目標文件夾；

步驟3：使用修圖工具將步驟2中轉化得到的聲譜圖去掉白邊，轉換為大小可以直接放入卷積神經網絡中進行訓練與測試的圖片尺寸；

步驟4：為步驟3中處理后的聲譜圖打上標簽，與音頻文件一起分類，得到可用于卷積神經網絡的方言數據庫。

進一步地，所述步驟1中方言音頻包括常用單字、常用詞匯、數字、自由話題四部分。

進一步地，所述步驟2中得到的聲譜圖包含時間、頻率和音頻強度信息。

進一步地，所述步驟4中處理后的常用單字、常用詞匯、數字、自由話題四部分聲譜圖以及音頻文件，每部分分別按照省市進行分類，每部分內使用序號命名作為標簽，最后附序號對應的單字、詞匯、數字與自由話題的文本。

進一步地，所述步驟2中使用strcat函數等函數配合循環，實現MATLAB自動依次讀取音頻文件夾中音頻文件。

進一步地，所述步驟3中修圖工具為Photoshop，使用Photoshop中的“創建新組”功能實現批量處理的功能，包括：裁剪去白邊、調整圖像大小、保存到統一路徑，實現聲譜圖的批量處理。

基于MATLAB進行聲譜圖的批量轉化，包括：

1)使用for語句構建循環；

2)使用strcat函數獲得音頻文件的目錄；

3)使用audioread函數讀取音頻文件；

4)使用spectrogram函數將音頻文件轉化為聲譜圖；