[發(fā)明專利]基于海量數(shù)字圖書的知識脈絡(luò)自動構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 201710945019.7
• 申請日: 2017-10-12
• 公開（公告）號: CN107908650B
• 公開（公告）日: 2019-11-05
• 發(fā)明（設(shè)計）人: 魯偉明;馬朋坤;魏寶剛;莊越挺
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06N5/02;G06N20/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜;邱啟旺

1.一種基于海量數(shù)字圖書的知識脈絡(luò)自動構(gòu)建方法，其特征在于，包括以下步驟：

1)圖書預(yù)處理：將數(shù)字圖書的元數(shù)據(jù)信息存儲到Lucene索引文件中；用XML解析器將目錄的結(jié)構(gòu)解析出來，并清洗目錄標(biāo)題中的冗余信息；

2)知識單元構(gòu)建：對于用戶檢索主題q，從步驟1)中構(gòu)建的Lucene索引中查詢出相關(guān)圖書集合，將相關(guān)圖書的所有一級目錄標(biāo)題進行分詞處理，通過word2vec方法得到詞語的向量表示，對目錄標(biāo)題中的主題詞和描述詞分別賦予不同的權(quán)重，最終用加權(quán)的方式計算目錄標(biāo)題之間的相似度；通過自底向上的凝聚型層次聚類算法對q相關(guān)圖書的目錄進行聚類得到知識單元集合；

3)知識圖構(gòu)建：用步驟2)中構(gòu)建的知識單元作為結(jié)點，用圖書中章節(jié)之間的偏序關(guān)系構(gòu)建結(jié)點之間的鄰接關(guān)系構(gòu)成有向圖，即知識圖；

4)學(xué)習(xí)路徑選擇：使用動態(tài)規(guī)劃算法遍歷步驟3)得到的知識圖，得到所有的學(xué)習(xí)路徑，引入信息度和流暢度計算公式，信息度衡量路徑中是否包含重要的結(jié)點和重要的結(jié)點對，知識單元對{o_i,o_i+1}的信息度w(o_i,o_i+1)計算公式如下：

其中，freq(o_i)指知識單元o_i中包含的目錄數(shù)，dif(b,i)指知識單元o_i和o_i+1中同屬于書b中的兩個目錄之間的距離，如果兩個目錄和在同一本書b中，且它們又分別屬于知識單元o_i和o_i+1，那么表示目錄在書b中的相對位置，否則，dif(b,i)＝∞；B_q表示用戶檢索主題q相關(guān)的圖書集合；

路徑的信息度I(p_i)計算公式如下：

其中，|p_i|為路徑p_i的長度，s為路徑開始，e為路徑結(jié)束；

流暢度衡量學(xué)習(xí)路徑中知識單元之間順序的質(zhì)量，對于路徑使用語言模型來計算其流暢度F(p_i)，計算公式如下：

其中，p(o_i|o_i-2o_i-1)指給定o_i-2o_i-1的情況下出現(xiàn)o_i的概率，c(o_i-2o_i-1o_i)指知識單元o_i-2，o_i-1，o_i同時出現(xiàn)的次數(shù)；

路徑p_i的打分s(p_i)＝I(p_i)·F(p_i)，用整數(shù)線性規(guī)劃優(yōu)化框架選擇最好的TOP K條學(xué)習(xí)路徑，求解器的目標(biāo)函數(shù)如下：

其中，|P_q|表示用戶檢索主題q相關(guān)的路徑集合P_q的數(shù)量，d_i是一個二進制變量，取值為0或1，取決于路徑p_i是否被選擇；

約束條件如下：

a)確保只有不超過K條路徑被選擇：

b)如果兩條路徑的相似度sim(p_i,p_j)大于等于閾值那么只有一條可以被選擇，即：

其中，sim(p_i,p_j)使用jaccard相似度公式計算；

最終，從知識圖中挖掘出TOP K條重要、有序且冗余小的學(xué)習(xí)路徑；

5)知識脈絡(luò)可視化：將步驟4)選擇出的學(xué)習(xí)路徑構(gòu)成的知識脈絡(luò)進行可視化展示。

2.根據(jù)權(quán)利要求1所述的基于海量數(shù)字圖書的知識脈絡(luò)自動構(gòu)建方法，其特征在于，所述的步驟1)中，冗余信息指章節(jié)號，使用正則表達(dá)式對其進行清洗。