[發(fā)明專利]基于實例獲取的非平衡交互文本的話題識別方法

有效

• 申請?zhí)枺?/td>: 201310403755.1
• 申請日: 2013-09-06
• 公開（公告）號: CN103500159A
• 公開（公告）日: 2014-01-08
• 發(fā)明（設計）人: 田鋒;高鵬達;鄭慶華;吳凡
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

1.一種基于實例獲取的非平衡交互文本的話題識別方法，其特征在于：包括如下步驟：

第一步：從源數(shù)據(jù)集中篩選實例階段：

(1)確定共有特征集中代表實例的特征集，即從源數(shù)據(jù)集Dset_Source和目標數(shù)據(jù)集Dset_Target的共有特征集中選擇代表實例并且傾向于少數(shù)類的特征集，具體算法為：

Step：按照label空間所有類別計算F_Source和F_Target各特征的信息增益值InformationGain，并將計算結果分別按降序排列各數(shù)據(jù)集特征，排序后的特征集如下：

F_Source＝{f_Source(1)，f_Source(2)，…，f_Source(i)，…，f_Source(R₁)}，1≤i≤R₁

F_Target＝{f_Target(1)，f_Target(2)，…，f_Target(j)，…，f_Target(R₂)}，1≤j≤R₂

其中，f_Source(i)是F_Source中排序為第i個位置的特征，f_Target(j)是F_Target中排序為第j個位置的特征，R₁為F_Source中特征的總個數(shù)，R₂為F_Target中特征的總個數(shù)，各特征是特征詞詞典中的詞，特征值為在類標簽空間label下，采用TF-IDF算法獲得的各特征值；

Step2：若F＝F_Source∩F_Target＝φ成立，則，所提算法終止，實例獲取失敗；否則，有F(l)∈F，其中，F(xiàn)(l)為共有特征集F中第l個特征，1≤l≤M，M≤min{R₁，R₂}，且定義有M個元素的數(shù)組TopN_IGratio，同時，設TopN_IGratio(m)表示數(shù)組TopN_IGratio的第m個元素中存儲的值；

Step3：確定共有特征F(m)在F_Source中的位置n_Source，形成特征與位置對(n_Source，F(xiàn)(l))，并按照n_source的值升序排列所有特征與位置對，并記最大的位置n_source為MAX_n_source；確定共有特征F(m)在F_Target中的位置n_Target，形成特征與位置對(n_Target，F(xiàn)(l))，并按照n_Target的值升序排列所有特征與位置對，并記最大的位置n_Target為MAX_n_Target；將升序排序后的特征與位置對(n_source，F(xiàn)(l))放入新生產(chǎn)的二維數(shù)組Location中，且Location(m，col)表示Location中第m行第col列的元素，且1≤m≤M≤R₁col＝{1，2}；If?MAX_n_Target＞Max_n_source則，令

Location(M，1)＝MAX_n_Target，令m＝1

Step4：N＝Location(m，2)，N≤R₁；

Step5：在Dset_Source和Dset_Target的前N個特征中進行匹配，得到共有特征的子集F^s(m)，并設F^s(m)的元素個數(shù)為np，計算以下評價函數(shù)：

TopN_IGratio(m)=Σl=1npIGFSource(F(l))*F_Weight(l)Σi=1NFSource(i)]]>???(公式1)

其中：

F_Weight(l)=Σk=1Wp(tk,Cminority)*logp(tk,Cminority)p(tk)*p(Cminority)]]>???(公式2)

目，表示F_Source中Top-N特征信息增益值求和；

表示F_Source∩F_Target中第l個特征在F_Source中的信息增益值；

F_Weight(l)對少數(shù)類實例的特征賦予權值；

t_k為第l個共有特征F(l)的屬性值，共W個；

C_minority為數(shù)據(jù)集中少數(shù)類的類別；

是計算np個共有特征的信息增益值與權重的加權和；

Step6：m＝m+1；如果m＞M，則執(zhí)行Step7；否則，執(zhí)行Step4；

Step7：取數(shù)組TopN_IGratio中的最大值，并標記為TopN_IGratio_MAX，并確定其在數(shù)組TopN_IGratio中的下標為m_MAX，確定代表實例并且偏向于少數(shù)類特征的特征集F_Instance，其維數(shù)為m_MAX維，記為：

F_Instance＝{f_Instance(1)，f_Instance(2)，…，f_Instance(i)，…，f_Instance(m_MAX)}，1≤i≤m_MAX?m_MAX≤M≤min{R₁，R₂}；

(2)以余弦相似度排序篩選源數(shù)據(jù)集實例，采用余弦函數(shù)計算每個少數(shù)類目標實例和源數(shù)據(jù)集中同類別實例的相似度，并按此相似度的值降序排序，針對每一個少數(shù)類目標實例，獲取前K個與目標數(shù)據(jù)集實例相似的源數(shù)據(jù)集實例，具體算法為：

Step1：以特征集F_Instance作為特征空間，對源數(shù)據(jù)集Dset_Source和目標數(shù)據(jù)集Dset_Target中的少數(shù)類實例進行表示，所得對應的少數(shù)類特征值向量如下：

InstanceSourceCminority=(fValuesource(1),...,fValuesource(i),...,fValuesource(mMAX)),1≤i≤mMAX]]>

InstanceTargetCminority=(fValuetarget(1),...,fValuetarget(i),..,fValuetarget(mMAX)),1≤i≤mMAX]]>

其中，和分別是特征集F_Instance第i個維度f_Instance(i)上相應的特征值；

Step2：是目標數(shù)據(jù)集Dset_Target中的少數(shù)類實例的第j個實例，(1≤j≤L)，是源數(shù)據(jù)集Dset_Source中同類別的少數(shù)類實例，(1≤n≤S)，其中S是源數(shù)據(jù)集Dset_Source中同類別的少數(shù)類實例的個數(shù)，定義有S個元素的數(shù)組Similarity_value，同時設Similarity_value(a)表示數(shù)組Similarity_value第a個元素存儲的值，(1≤a≤S)；定義算法的輸出為由K*S個實例組成的數(shù)據(jù)集DsetSimilarity，其中DsetSimilarity(instance(L))為第L個實例，K＝S／L，1≤L≤K*S；

Step3：令j＝1；

Step4：計算與Dset_Source中所有同類別少數(shù)類實例(1≤n≤S)的余弦相似度，分別存儲到Similarity_value數(shù)組中；

???(公式3)

Step5：對Similarity_value數(shù)組降序排序，取排序值前Top-K所對應的Dset_Source少數(shù)類實例存入DsetSimilarity；

Step6：j＝j+1，如果j≤L，則執(zhí)行Step4；否則，程序結束，輸出DsetSimilarity；

第二步：實例特征向量空間一致性處理，即以實例相似度為權值合成實例的特征向量，使其與目標實例的特征向量空間一致，具體處理的過程為：

Step1：合成DsetSimilarity中實例在F_Target中除共有特征F外的特征向量，定義變量數(shù)組Similarity_value同第一步中(2)中的定義，定義算法的輸出為由K*S個實例組成的數(shù)據(jù)集Dset_Instance，其中Dset_Instance(instance(T))為第T個實例，K＝S／L，1≤T≤K*S；

Step2：令j＝1；

Step3：計算與Dset_Source中所有同類別少數(shù)類實例(1≤n≤s)的余弦相似度，分別存儲到Similarity_value數(shù)組中，見公式3；

Step4：定義大小為K的數(shù)組sim_weight，K＝S／L，設sim_weight(k)表示數(shù)組sim_weight第k個元素存儲的值，對Similarity_value數(shù)組降序排序，取前Top-K排序值，存入到數(shù)組sim_weight中；

Step5：以sim_weight數(shù)組的元素值作為權重合成實例的特征向量：

F‾_Instancek=sim_weight(k)*F‾_InstanceTarget(j),1≤k≤K]]>

其中，是的特征集F_Target中除共有特征F外的特征向量；

Step6：將與K個自身的共有特征向量F-Instance_k合并，對K個實例進行最終表示，并將實例存儲到Dset_Instance中；

Instancek={F‾_Instancek,F_Instancek},1≤k≤K]]>

Step7：j＝j+1，如果j≤L，則執(zhí)行Step3；否則，程序結束，輸出Dset_Instance；

第三步：合并獲取的實例和目標數(shù)據(jù)集實例，將獲取的實例并入到目標數(shù)據(jù)集中形成新的數(shù)據(jù)集，共同在此數(shù)據(jù)集上利用基于線性核函數(shù)的SVM分類器訓練模型。

2.如權利要求1所述的基于實例獲取的非平衡交互文本的話題識別方法，其特征在于：所述第三步的合并獲取的實例和目標數(shù)據(jù)集實例的具體過程為：

Step1：將Dset_Instance中的實例與Dset_Target的實例合并，形成新的數(shù)據(jù)集Dset_New，包括H個實例，實例的構成如下：

Dset_New(h)={f_New(1)，…，f_New，(i)，…，f_New(G)，label(h)}，1≤i≤G，1≤h≤H

其中：G為實例向量的特征維數(shù)；f_New(i)為特征值；label(h)為第h個實例的類標簽；

Step2：在Dset_New上采用線性核函數(shù)的SVM分類器訓練模型model；

Step3：調(diào)用訓練得到的model，在測試數(shù)據(jù)集上完成話題分類任務。