[發(fā)明專利]一種大數(shù)據(jù)集中生物事件觸發(fā)詞的識別方法

有效

• 申請?zhí)枺?/td>: 201710148320.5
• 申請日: 2017-03-14
• 公開（公告）號: CN106933805B
• 公開（公告）日: 2020-04-28
• 發(fā)明（設(shè)計）人: 陳一飛;劉峰;韓冰青
• 申請（專利權(quán)）人: 陳一飛;劉峰
• 主分類號: G06F40/279
• 分類號: G06F40/279
• 代理公司: 北京市領(lǐng)專知識產(chǎn)權(quán)代理有限公司 11590
• 代理人: 林輝輪

1.一種大數(shù)據(jù)集中生物事件觸發(fā)詞的識別方法，為并行欠采樣方法，其特征在于包括以下步驟：

步驟1、數(shù)據(jù)分割，定義數(shù)據(jù)集D＝{(x₁,y₁),...,(x_n,y_n)}為訓(xùn)練數(shù)據(jù)集，其中x_i∈R^m,i＝1,2,...n為樣本實(shí)例，R^m表示m維實(shí)數(shù)，且y_i∈{0,1,...,l},i＝1,2,...n為樣本實(shí)例的所屬類別，共有1+l個類別標(biāo)簽；定義D_α為多數(shù)類別數(shù)據(jù)集，其中包含有n_j,j＝0個屬于類別y＝0的樣本實(shí)例，使α＝n_j,j＝0；將多數(shù)類別數(shù)據(jù)集D_α隨機(jī)分割為K個互不相交的多數(shù)類別子數(shù)據(jù)集用α_k表示每個多數(shù)類別子數(shù)據(jù)集中樣本實(shí)例的個數(shù)；定義D_β為少數(shù)類別數(shù)據(jù)集，D_j是其中一個少數(shù)類別數(shù)據(jù)集，包含n_j,j＝1,2,...,l個屬于類別y＝j(luò),j＝1,...,l的樣本實(shí)例，即D_β＝{∪D_j},j＝1,2,...,l，其中，β表示所有少數(shù)類別數(shù)據(jù)集中樣本的個數(shù)，有

即由此得到α＞＞β；

步驟2、邊界因子計算，定義每個數(shù)據(jù)集S^k包含了來自相應(yīng)多數(shù)類別子數(shù)據(jù)集和少數(shù)類別數(shù)據(jù)集D_β的樣本實(shí)例，表示為

經(jīng)過特征提取步驟后數(shù)據(jù)集S^k中每個樣本實(shí)例x，x∈R^m，可由m維特征F＝{f₁,...,f_t},t＝m表示，其中f表示每一維特征，每個樣本邊界因子是基于其屬于所有類別的不確定性計算得到的，不確定性主要通過集合S^k中的每個樣本實(shí)例x到給定類別C_j的距離d(x,C_j)來確定的，距離的計算定義如下：

用來計算在第t維特征空間中，樣本實(shí)例x到給定類別C_j的距離分量，由于生物觸發(fā)詞識別數(shù)據(jù)集是文本，因此，定義為文本向量到類別C_j質(zhì)心的距離，所述質(zhì)心為詞頻TF(f_t|C_j)的均值：

式中，在d(x,C_j)基礎(chǔ)上，每個樣本實(shí)例x對于類別C_j的隸屬度μ_j(x)定義如下：

并且

樣本實(shí)例x的邊界因子BoundF(x)定義如下：

步驟3、樣本欠抽樣，將計算好的BoundF(x)值進(jìn)行排序，將擁有最大的α'_k個BoundF(x)值的樣本被作為邊界樣本實(shí)例抽取組成一個邊界集抽樣個數(shù)α'_k＝p×β，p作為PUS算法的一個待調(diào)節(jié)參數(shù)；

步驟4、邊界集歸并，將步驟2和3中的通過并行欠采樣產(chǎn)生的所有邊界集，合并后得到一個新的多數(shù)類別數(shù)據(jù)集D'_α，和所有的少數(shù)類別集合在一起，得到新的訓(xùn)練數(shù)據(jù)集合D'＝D'_α∪D_β；

步驟5、修剪，對訓(xùn)練數(shù)據(jù)集合D'重復(fù)欠采樣步驟2和步驟3得到最終的訓(xùn)練數(shù)據(jù)集D”，使訓(xùn)練數(shù)據(jù)集D”包含α”個最大BoundF(x)值的樣本，達(dá)到多數(shù)類別樣本數(shù)和少數(shù)類別樣本數(shù)平衡，即α”＝β。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)集中生物事件觸發(fā)詞的識別方法，其特征在于：所述步驟1中的每個均具有相同的規(guī)模。

3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)集中生物事件觸發(fā)詞的識別方法，其特征在于：在所述步驟3中，若數(shù)據(jù)集包含噪聲數(shù)據(jù)，則在對邊界樣本實(shí)例抽樣之前將噪聲數(shù)據(jù)刪除。