[發明專利]基于項集權值比較的模式挖掘和混合擴展的文本檢索方法

有效

• 申請號: 201811649207.6
• 申請日: 2018-12-30
• 公開（公告）號: CN109684465B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 黃名選
• 申請（專利權）人: 廣西財經學院
• 主分類號: G06F16/332
• 分類號: G06F16/332
• 代理公司: 廣西南寧公平知識產權代理有限公司 45104
• 代理人: 黃春蓮

1.基于項集權值比較的模式挖掘和混合擴展的文本檢索方法，包括下列步驟：

步驟1.用戶查詢首次檢索文檔得到初檢結果，用戶對初檢結果進行相關反饋判斷得到初檢相關文檔集，預處理所述初檢相關文檔集，具體步驟如下：

(1.1)用戶查詢首次檢索文檔集得到初檢前列文檔；

(1.2)用戶對初檢前列文檔進行相關性判斷得到初檢相關文檔，構建初檢相關文檔集；

(1.3)預處理初檢相關文檔集，構建文檔索引庫和特征詞庫；

步驟2.結合原查詢詞項，挖掘含有原查詢詞項的特征詞頻繁項集，并進行項集剪枝，具體步驟如下：

(2.1)從特征詞庫中提取特征詞作為1_候選項集C₁；

(2.2)掃描文檔索引庫，統計文檔總數n和統計C₁的項集權值w[C₁]；

(2.3)計算最小權值支持閾值MWS；所述MWS計算公式如式(2)所示：

MWS＝n×ms (2)

式(2)中，所述ms為最小支持度閾值，n為文檔索引庫的文本文檔總數；

(2.4)如果w[C₁]≥MWS，則C₁就是特征詞1_頻繁項集L₁，添加到頻繁項集集合FIS；

(2.5)采用Aproiri連接方法將特征詞1_頻繁項集L₁自連接得到多個2_候選項集C₂；

(2.6)剪枝不含原查詢詞項的2_候選項集C₂；

(2.7)對余下的2_候選項集C₂，掃描文檔索引庫分別統計C₂的項集權值w[C₂]；

(2.8)如果w[C₂]≥MWS，則C₂就是特征詞2_頻繁項集L₂，添加到頻繁項集集合FIS；

(2.9)采用Aproiri連接方法將特征詞(k-1)_頻繁項集L_k-1自連接得到多個k_候選項集C_k＝(i₁,i₂,…,i_k)，所述k≥2；

(2.10)掃描文檔索引庫，分別統計各C_k的項集權值w[C_k]和各C_k中最大的項目權值w_m，分別得到所述最大的項目權值w_m對應的項目i_m，所述m∈(1,2,…,k)；

(2.11)如果所述項目i_m對應的1_項集(i_m)是非頻繁的，或者w_mMWS，則剪枝所述C_k；

(2.12)對于余下的C_k，如果w[C_k]≥MWS×k并且w_min[(i_q)]≥minRate×w_max[(i_p)]，那么，對應的C_k就是特征詞k_頻繁項集L_k，添加到頻繁項集集合FIS；所述minRate為最小項集權值比閾值；所述w_min[(i_q)]為最小項目的項集權值，w_max[(i_p)]為最大項目的項集權值，w_min[(i_q)]和w_max[(i_p)]的含義如下：假設k_候選項集C_k＝(i₁,i₂,…i_k)，C_k的各個項目i₁,i₂,…,i_k單獨作為1_項集時對應為(i₁),(i₂),…,(i_k)，在文檔索引庫中統計1_項集(i₁),(i₂),…,(i_k)的項集權值分別為w[(i₁)],w[(i₂)],…,w[(i_k)]，將w[(i₁)],w[(i₂)],…,w[(i_k)]中最小的項集權值稱為最小項目的項集權值，記為w_min[(i_q)]，對應的1_項集記為(i_q)，將與C_k對應的所述項目i_q稱為C_k的最小項目，同理，將w[(i₁)],w[(i₂)],…,w[(i_k)]中最大的項集權值稱為最大項目的項集權值，記為w_max[(i_p)]，對應的1_項集記為(i_p)，將與C_k對應的所述項目i_p稱為C_k的最大項目；所述q∈(1,2,…,k)，p∈(1,2,…,k)；

(2.13)如果特征詞k_頻繁項集L_k為空集，則特征詞頻繁項集挖掘結束，轉入如下步驟3，否則，k加1后轉入步驟(2.9)繼續順序循環；

步驟3.通過計算項集的卡方值和關聯規則置信度值從頻繁項集中提取含有原查詢詞項的強加權關聯規則，具體步驟如下：

(3.1)構建特征詞k_頻繁項集L_k的所有真子集項集集合；

(3.2)從真子集項集集合中任意取出兩個真子集項集q_t和E_t，且q_t∪E_t＝L_k，Q_TL為原查詢詞項集合，E_t為不含原查詢詞項的特征詞項集E_t，計算項集(q_t,E_t)的卡方值Chis(q_t,E_t)，計算公式如式(3)所示：

式(3)中，w[(q_t)]為項集q_t在文檔索引庫中項集權值，k₁為項集q_t的長度，w[(E_t)]為項集E_t在文檔索引庫中項集權值，k₂為項集E_t的長度，w[(q_t,E_t)]為項集(q_t,E_t)在文檔索引庫中的項集權值，k_L為項集(q_t,E_t)的項目個數，n為文檔索引庫的文本文檔總數；

(3.3)如果Chis(q_t,E_t)0，則分別計算特征詞加權關聯規則置信度WConf(q_t→E_t)和WConf(E_t→q_t)；若WConf(q_t→E_t)≥最小置信度閾值mc，則關聯規則q_t→E_t是強關聯規則模式，添加到關聯規則模式集合AR；若WConf(E_t→q_t)≥mc，則E_t→q_t是強關聯規則模式，添加到關聯規則模式集合AR；

所述WConf(q_t→E_t)和WConf(E_t→q_t)的計算公式如式(4)和(5)所示：

式(4)和(5)中，w[(q_t)]，k₁，w[(E_t)]，k₂，w[(q_t,E_t)]，k_L的定義同式(3)；

(3.4)如果L_k的每個真子集項集當且僅當都被取出一次，那么本次L_k中的特征詞關聯規則模式挖掘結束，這時從頻 繁項集集合FIS中重新取出另一個L_k，并轉入步驟(3.1)進行另一個L_k的關聯規則模式挖掘，否則，轉入步驟(3.2)再順序執行各個步驟；如果頻繁項集集合FIS中的每個L_k都已經被取出挖掘關聯規則模式，則結束關聯規則模式挖掘，轉入如下步驟4；

步驟4.從關聯規則模式集合AR中提取每個關聯規則E_t→q_t的前件E_t和關聯規則q_t→E_t的后件Et作為查詢擴展詞，計算所述擴展詞權值w_e，計算公式如式(6)所示：

式(6)中，max(WConf())和max(Chis())分別表示關聯規則置信度和卡方值的最大值，表示項集中最小項目的項集權值和最大項目的項集權值的比值的最大值，即當擴展詞重復出現在多個關聯規則模式時，分別取上述3個度量值的最大值；

步驟5.擴展詞與原查詢詞組合為新查詢再次檢索文檔得到最后檢索結果文檔返回給用戶。

2.如權利要求1所述的基于項集權值比較的模式挖掘和混合擴展的文本檢索方法，其特征在于，所述(1.3)預處理初檢相關文檔集，具體方法是：去除停用詞，提取特征詞，計算特征詞權值，計算公式如式(1)所示：

式(1)中，w_ij表示文檔d_i中特征詞t_j的權值，tf_j,i表示特征詞t_j在文檔d_i中的詞頻，普遍將tf_j,i進行標準化處理，所述標準化處理是指將文檔d_i中每個特征詞所述的tf_j,i除以文檔d_i的最大詞頻，idf_j是逆文檔頻度。