[發(fā)明專利]一種數(shù)據(jù)分類方法、設備和可讀存儲介質

在審

• 申請?zhí)枺?/td>: 202110065077.7
• 申請日: 2021-01-18
• 公開（公告）號: CN112766368A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設計）人: 張聰;陳聰;張超;嚴自強
• 申請（專利權）人: 咪咕音樂有限公司;咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;曹娜

1.一種數(shù)據(jù)分類方法，其特征在于，包括以下步驟：

獲取待分類數(shù)據(jù)；

提取所述待分類數(shù)據(jù)的線性特征；

將所述線性特征輸入到全指向型自注意力神經(jīng)網(wǎng)絡，得到所述待分類數(shù)據(jù)的特征矩陣；

對所述特征矩陣進行歸一化處理，得到所述待分類數(shù)據(jù)屬于各類別標簽的預測概率；

其中，所述待分類數(shù)據(jù)包括n個子數(shù)據(jù)，n為整數(shù)，且n大于或等于2；

所述全指向型自注意力神經(jīng)網(wǎng)絡利用所述子數(shù)據(jù)之間的上下文特征、所述子數(shù)據(jù)之間的相關性特征以及每一子數(shù)據(jù)對預測所述待分類數(shù)據(jù)的類別標簽的重要程度，得到所述待分類數(shù)據(jù)的特征矩陣。

2.根據(jù)權利要求1所述的數(shù)據(jù)分類方法，其特征在于，在所述將所述線性特征輸入到全指向型自注意力神經(jīng)網(wǎng)絡之后，還包括：

獲取所述待分類數(shù)據(jù)的特征空間，所述特征空間用于計算所述待分類數(shù)據(jù)與其他數(shù)據(jù)的相似度。

3.根據(jù)權利要求1所述的數(shù)據(jù)分類方法，其特征在于，所述將所述線性特征輸入到全指向型自注意力神經(jīng)網(wǎng)絡，得到所述待分類數(shù)據(jù)的特征矩陣，包括：

利用卷積神經(jīng)網(wǎng)絡CNN將所述線性特征轉換為非線性特征，其中，所述卷積神經(jīng)網(wǎng)絡CNN為未經(jīng)池化的CNN；

利用雙向門控循環(huán)單元Bi-GRU從所述非線性特征中提取所述子數(shù)據(jù)之間的上下文特征；

使用多頭注意力機制Multi-Head Self-Attention機制，根據(jù)所述子數(shù)據(jù)之間的上下文特征，得到所述子數(shù)據(jù)之間的相關性特征；

使用注意力機制Attention機制，根據(jù)所述相關性特征得到每一子數(shù)據(jù)對預測所述待分類數(shù)據(jù)的類別標簽的重要程度；

根據(jù)所述子數(shù)據(jù)之間的上下文特征、所述子數(shù)據(jù)之間的相關性特征以及每一子數(shù)據(jù)對預測所述待分類數(shù)據(jù)的類別標簽的重要程度，得到所述待分類數(shù)據(jù)的特征矩陣。

4.根據(jù)權利要求3所述的數(shù)據(jù)分類方法，其特征在于，所述利用雙向門控循環(huán)單元Bi-GRU從所述非線性特征中提取所述子數(shù)據(jù)之間的上下文特征，包括：

通過如下方式提取所述子數(shù)據(jù)之間的上下文特征：

其中：

O為所述待分類數(shù)據(jù)的非線性特征表示，O＝{o₁，o₂，...o_n}；

o_t表示第t個子數(shù)據(jù)輸入的非線性特征的向量，t∈[1，n]，t為正整數(shù)；

表示第(t-1)個子數(shù)據(jù)所述Bi-GRU向前的隱層狀態(tài)的輸出；

表示第(t-1)個子數(shù)據(jù)所述Bi-GRU反向的隱層狀態(tài)的輸出；

表示第t個子數(shù)據(jù)所述Bi-GRU向前的隱層狀態(tài)的輸出；

表示第t個子數(shù)據(jù)所述Bi-GRU反向的隱層狀態(tài)的輸出；

當t＝1時，通過預先定義得到；

w_t表示第t個子數(shù)據(jù)所述Bi-GRU對應的向前隱層狀態(tài)對應的權重；

v_t表示第t個子數(shù)據(jù)所述Bi-GRU對應的反向隱層狀態(tài)對應的權重；

b_t表示第t個子數(shù)據(jù)隱層狀態(tài)對應的偏置；

S為所述待分類數(shù)據(jù)的特征編碼，S＝{s₁，s₂，...s_n}；所述待分類數(shù)據(jù)的特征編碼包含子數(shù)據(jù)之間的上下文特征；

S_t表示第t個子數(shù)據(jù)的特征編碼，t∈[1，n]，t為正整數(shù)。