[發明專利]一種根據維基百科中話題信息使查詢詞項多樣化的方法

有效

• 申請號: 201310356319.3
• 申請日: 2013-08-15
• 公開（公告）號: CN103455564B
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 胡昊;張明西;汪衛;王鵬;何震瀛
• 申請（專利權）人: 復旦大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

1.一種根據維基百科中分類信息使查詢詞項多樣化的方法，其特征在于具體步驟如下：

(1)對于候選擴展集T中的每一個詞項t_x∈T，設維基百科中的相關話題信息C＝{c₁，c₂，...，c_n}由n個話題組成，根據話題對應方法，為每個詞項t_x生成話題分布ζ(t_x)，該分布的概率質量函數記為P{C＝c_i|t_x}＝P(c_i|t_x)；

(2)以步驟(1)求出的|T|個分布，根據相關性函數sim₁、sim₂和參數λ，λ∈[0，1]，利用已知的MMR算法找出多樣化此項擴展集合S_k，使得|S_k|＝k，且S_k中的k個詞項既與目標查詢詞t₀相似，又盡可能在話題信息上呈現多樣性；其中，MMR算法每一步優化的目標為：

(3)步驟(2)中的sim₁(t₀，t_i)為任意已知求解詞項相似性的度量方法；對于sim₂(t_x，t_i)，計算時首先求出t_x和t_i在所有分類信息上的分布ζ(t_x)和ζ(t_i)，然后采用cosine距離來計算相似度，即sim₂(t_x，t_i)＝cos(ζ(t_x)，ζ(t_i))；

步驟(1)中所述話題對應方法的步驟如下：

(a)選擇與t₀在分類信息上首次出現的分類c，令C＝{c₁，c₂，...，c_n}為所有c的子分類；

(b)對于分布ζ(t_x)，其概率質量函數P(c_i|t_x)按照如下方法計算：

其中詞項t_x的概率P(t_x)在分布的各個分量中都相等，不會影響ζ(t_x)，因此忽略不計算P(t_x)；詞項t_x在給定分類信息c_i上的概率P(t_x|c_i)是維基百科中的先驗概率，它與查詢所在的數據庫無關；分類信息c_i的概率P(c_i)則為c_i在數據庫上的概率；

步驟(b)中所述P(t_x|c_i)和P(c_i)的計算方法如下：

(b1)詞項t_x在給定分類信息c_i上的概率P(t_x|c_i)分為分類短語相關概率P_ph(t_x|c_i)和統計相關概率P_st(t_x|c_i)，P(t_x|c_i)計算式為：

P(t_x|c_i)＝αP_ph(t_x|c_i)+(1-α)P_st(t_x|c_i)

其中，α是調整分類短語相關概率和統計相關概率的權重參數，取值范圍為0≤α≤1；

(b2)步驟(b1)中P_ph(t_x|c_i)計算式為：

其中當詞項t_x在分類系信息c_i中出現時，否則

P_ph(t_x|c_i)為P(t_x|c_i)的分類短語相關概率；

(b3)步驟(b1)中P_st(t_x|c_i)即詞項t_x在文檔集D(c_i)中的TF-IDF值，其中文檔集D(c_i)是維基百科中分類信息c_i下的所有解釋頁面；

(b4)P(c_i)的計算式為：其中p＝2，Num_of_terms(c_i)為分類信息c_i中詞項的個數；

(b5)步驟(b4)中Imp(t_j)＝PR(tj)×IDF(t_j)，其中PR(t_j)為詞項t_j在數據庫中的PageRank值，計算時，先按照數據庫的模式將數據改寫成圖數據，然后按照PageRank的方法進行計算；IDF(t_j)為詞項t_j在數據庫中出現次數的倒數。