[發(fā)明專利]一種基于fastText和CRF的音樂領(lǐng)域命令理解方法

在審

• 申請?zhí)枺?/td>: 201811044969.3
• 申請日: 2018-09-07
• 公開（公告）號: CN109242020A
• 公開（公告）日: 2019-01-18
• 發(fā)明（設(shè)計）人: 李賢;段禮強(qiáng);樂雨泉
• 申請（專利權(quán)）人: 蘇州亭云智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 談杰

1.一種基于fastText和CRF的音樂領(lǐng)域命令理解方法，其特征在于：

包括以下步驟：

步驟1：訓(xùn)練字向量，得到預(yù)訓(xùn)練好的字向量和訓(xùn)練數(shù)據(jù)集合；

步驟2：對從所述步驟1中所得的訓(xùn)練數(shù)據(jù)集合進(jìn)行fastText模型訓(xùn)練，從預(yù)訓(xùn)練好的字向量得到所有字的向量，進(jìn)行求和平均操作，得到句子語義向量C，把C輸入模型，通過h＝tanh(W_c·C+b_c)和y＝softmax(U·h+b_h)計算得到意圖識別結(jié)果y；其中W_c，U為神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣,softmax，tanh為激活函數(shù)，b_c和b_h為神經(jīng)網(wǎng)絡(luò)的偏置，y為輸出結(jié)果；

步驟3：將輸入樣本輸入為序列，對輸入序列每個字進(jìn)行字性標(biāo)注，輸出得到句子標(biāo)注序列標(biāo)簽，然后根據(jù)標(biāo)注序列標(biāo)簽提取出對應(yīng)的音樂實(shí)體，所述提取出對應(yīng)的音樂實(shí)體的過程為：定義X為輸入樣本隨機(jī)變量序列，Y為目標(biāo)標(biāo)注隨機(jī)變量序列，s(y_i,x,i)為狀態(tài)特征，狀態(tài)特征依賴于當(dāng)前位置，t(y_i-1,y_i,x,i)為轉(zhuǎn)移特征，轉(zhuǎn)移特征依賴當(dāng)前和前一個位置，其中y_i,y_i-1是標(biāo)注序列的標(biāo)簽，x是輸入序列，i表示輸入位置，K₁為轉(zhuǎn)移特征數(shù)量，K₂為狀態(tài)特征數(shù)量，K＝K₁+K₂，則可以用以下公式表示：

然后對轉(zhuǎn)移特征與狀態(tài)特征在各個位置i求和，記作：其中n表示序列長度，用w_k表示特征f_k(y,x)的權(quán)值，即：CRF的全局特征可以定義為此時條件隨機(jī)場可以表示成：其中訓(xùn)練樣本集合則優(yōu)化的目標(biāo)為其中M為訓(xùn)練集數(shù)目大小，調(diào)整參數(shù)W從而使得優(yōu)化目標(biāo)取得最大值，模型訓(xùn)練完成之后，即特征向量權(quán)重W求解完成，對于新來輸入序列x，通過求解以下式子得到預(yù)測標(biāo)簽序列，從而得到目標(biāo)序列標(biāo)簽：

步驟4：對步驟3中所得的所述目標(biāo)序列標(biāo)簽進(jìn)行處理，得到對應(yīng)的音樂領(lǐng)域?qū)嶓w。

2.根據(jù)權(quán)利要求1所述的一種基于fastText和CRF的音樂領(lǐng)域命令理解方法，其特征在于：所述步驟1中的訓(xùn)練字向量為采用word2vec工具用維基百科整個中文語料訓(xùn)練出預(yù)訓(xùn)練好的字向量。

3.根據(jù)權(quán)利要求1或2所述的一種基于fastText和CRF的音樂領(lǐng)域命令理解方法，其特征在于：所述的訓(xùn)練中，設(shè)置一個窗口大小為z，每次取z個字，把它們的字向量求平均作為輸入C，然后隱藏h＝tanh(W_c·C+b_c)，最后通過全連接層得到y(tǒng)＝softmax(U·h+b_h)，其中W_c，U為神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣,softmax，tanh為激活函數(shù)，b_c和b_h為神經(jīng)網(wǎng)絡(luò)的偏置，y為輸出結(jié)果。其要優(yōu)化的目標(biāo)為L＝y(tǒng)logy'+(1-y)log(1-y')，其中y'為真實(shí)標(biāo)簽植。