[發明專利]一種基于多策略的微博信息優先采集方法

有效

• 申請號: 201811633421.2
• 申請日: 2018-12-29
• 公開（公告）號: CN109670136B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 劉磊;陳浩;孫應紅;吳爽;侯良文;李靜
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/35;G06F16/9535
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

1.一種基于多策略的微博信息優先采集方法，包括以下步驟：

步驟(1)垃圾博主檢測

步驟(1.1)構建垃圾微博檢測模型

步驟(1.1.1)構建訓練數據集，具體如下：

利用爬蟲爬取并人工標注一組微博博文數據：G＝[(x₁,y₁),(x₂,y₂),......,(x_n,y_n)]，其中n代表總微博條數，x_i代表第i條微博，其中y_i＝0表示x_i為垃圾微博，y_i＝1表示x_i為正常微博；

對G中微博進行數據預處理，包括分詞、去除停用、英文大寫轉小寫、繁體轉簡體；

對微博博文數據G中的所有微博均選取8個微博特征，從而構成訓練數據集，其中8個微博特征包括博主本身的個人信息特征4個：粉絲數、關注數、N個月的發博數量和發博頻率,N的取值范圍為：3≤N≤5，以及博文內容特征4個：單條微博的長度、單條微博的鏈接的個數、單條微博圖片的數量和包含的人工標定的敏感詞匯個數；

步驟(1.1.2)訓練垃圾微博檢測模型

利用前步構建的訓練數據集，采用支持向量機算法，訓練得到垃圾微博檢測模型，記作H(x)，其中，x表示一條微博的8個特征，若H(x)＝0表示垃圾微博，H(x)＝1表示正常微博；

步驟(1.2)利用訓練完成的垃圾微博檢測模型進行垃圾博主檢測并刪除，具體如下：

步驟(1.2.1)獲取d₁天內，25≤d₁≤31，所有微博博主發表的微博集合；

步驟(1.2.2)根據步驟1.1.1)所述對所有微博進行預處理和特征選擇；

步驟(1.2.3)通過訓練完成的垃圾微博檢測模型H(x)對所有微博進行分類,統計每個博主的垃圾微博條數ξ，若ξ＞ξ_max，則將該博主歸為垃圾博主，其中ξ_max為當前博主是否為垃圾博主的閾值，取值范圍為：8≤ξ_max≤10；

步驟(2)將步驟(1)中檢測出的垃圾博主從當前微博博主中剔除，然后分類：

剔除垃圾博主后的博主集合定義為U＝{(u₁,uf₁),(u₂,uf₂),...(u_n,uf_n)}，博主特征集合定義為uf＝{N_fans,N_blog}，其中：(u_i,uf_i)分別代表博主u_i和該博主的特征集合數據，N_fans表示粉絲數，N_blog表示日均更博數量；對博主集合U中每一博主u_i，作如下處理：

若N_fans＞Num₁，則為A類型博主，記作U_A；

若Num₁＞N_fans＞Num₂或N_blog＞MB，則為B類型博主，記作U_B；

若不滿足上述兩個條件且N_fans＞Num₃，則為C類型博主，記作U_C；

其中Num₁代表第一閾值，取值范圍為：20萬≤Num₁≤80萬；Num₂代表第二閾值，取值范圍為：1萬≤Num₂≤10萬；MB代表第三閾值，取值范圍為：3≤MB≤5；NumC代表第四閾值，取值范圍為：2000≤Num₃≤5000；

步驟(3)確定A類型博主優先采集策略，得到對每位博主的最優采集時間，具體如下：

步驟(3.1)對于任意u_a∈U_A，獲取d₂天內,25≤d₂≤31,博主u_a的博文的發表時間，去除年月日部分，只保留時分秒部分，排序后得到集合T(u_a)＝{t₁,t₂,...,t_n}，其中t_i代表博主u_a的第i條微博的發表時間；

步驟(3.2)將T(u_a)利用k-means算法進行聚類，簇中心的個數k定義見公式(1)：

其中：δ為權重，取值范圍為：0.3≤δ≤0.8，len(T(u_a))為集合T(u_a)的大小，k為δ和len(T(u_a))乘積的向上取整；

步驟(3.3)獲取k-means算法的k個簇中心為{t_c1,t_c2,...,t_ck},在每個簇中選擇時間最大的作為當前簇的最優采集時間，得到對每位博主的k個最優采集時間，記作

步驟(4)確定B類型博主優先采集策略，得到對B類型博主的優先采集列表SortB，具體如下：

步驟(4.1)構建B類型博主采集回歸模型，具體如下：

步驟(4.1.1)從B類型博主集合中隨機采樣n個，45000≤n≤50000，作為B類型博主的種子博主集合：M＝{u_b1,u_b2,...,u_bn}，其中u_bi代表隨機采樣的第i個B類型博主；

步驟(4.1.2)獲取種子博主集合M中每個博主u_b的微博特征集合x(u_b)以及活躍度值y(u_b)，

其中，x(u_b)表示為一個7元組，x(u_b)＝{N_hot,N_blog,N_reply,N_follow，N_like,len，type}

其中，N_hot表示博主d₃天內微博中包含熱點信息的微博條數，25≤d₃≤31；N_blog表示博主d₃天內的微博條數，N_reply表示博主d₃天內收到的回復數量，N_follow表示博主d₃天內中微博被轉發的數量，N_like表示博主d₃天內中收到的點贊數量，len表示博主d₃天內所發微博的平均長度，type為1代表當前博主是轉發型博主，即在微博總數中，轉發微博數量大于原創微博數量，否則為0；

y(u_b)由公式(2)進行計算得到：

其中：H_blog代表當前博主d₄年內所發的微博數量，1≤d₄≤3,H_follow代表博主d₄年內微博被轉發的總數量，H_reply代表博主d₄年內收到的總回復數量，H_like代表博主d₄年內收到的微博的點贊數量；w_f,w_r,w_l分別代表B類型博主轉發、回復、點贊所占的權重值，其中：0.5≤w_f≤0.7，0.2≤w_r≤0.4,0.1≤w_l≤0.2，且w_f+w_r+w_l＝1；

步驟(4.1.3)依據種子博主集合M中每個博主u_b的微博特征集合，構建回歸模型訓練集：trainset＝[(x(u_b1),y(u_b1)),(x(u_b2),y(u_b2)),...,(x(u_bn),y(u_bn))]，其中：(x(u_bi),y(u_bi))代表博主u_bi的微博特征集合和活躍度分數值，活躍度分數值通過公式(2)得到；

步驟(4.1.4)利用隨機森林算法構建回歸模型，并通過訓練集trainset進行訓練，得到訓練好的模型F(u)，其中:u代表每個B類型博主的微博特征集合，F(u)則表示該博主的活躍度值；

步驟(4.2)構建B類型博主的優先采集列表SortB；

步驟(4.2.1)通過訓練好的回歸模型F(u)獲取每一個B類型博主u_b的活躍度值F(u_b)；

步驟(4.2.2)依據活躍度值F(u_b)將B類型博主進行降序排序，得到B類型博主的優先采集列表SortB；

步驟(5)確定C類型博主優先采集策略，得到對C類型博主的優先采集列表SortC，具體如下：

步驟(5.1)獲取每個C類型博主u_c的d₅天內的微博總數量N_blog，以及粉絲數量N_fans,25≤d₅≤31；

步驟(5.2)C類型博主的活躍度得分score由公式(3)得到：

其中w_f代表C類型博主的粉絲數的權重，w_b代表所發微博數量的權重，0.1≤w_f≤0.3,0.7≤w_b≤0.9且w_f+w_b＝1，N_fans和N_blog則代表C類型博主u_c的粉絲數和近d₅天內的發博總數量；N_fmax和N_fmin代表所有C類型博主的最大粉絲數和最小粉絲數，N_bmax和N_bmin則代表所有C類型博主近d₅天內發的微博總數量的最大值和最小值；

步驟(5.3)依據公式(3)，依次計算每個C類型博主的活躍度得分，并降序排序得到C類型博主的優先采集列表SortC；

步驟(6)構建A、B、C類博主的采集隊列list，采集器根據采集隊列搜集博主信息，具體為：

將C類型博主平均分成三份，即sortC＝{sortC1,sortC2,sortC3}，B、C類博主的采集隊列為[SortB,SortC1,SortB,SortC2,SortB,SortC3]，即SortB采集了三遍的同時，SortC僅僅采集了一遍；

然后將A類所有博主的采集時間加入B、C類博主的采集隊列，即當任意A類博主中的最優采集時間與系統時間相等時，則將對應博主的微博采集需求插入到采集隊列list中，遍歷A類所有博主的最優采集時間，形成A、B、C類博主的采集隊列list；

采集器依據list的順序，采集博主的信息；

步驟(7)定期執行步驟(2)-(6)，重新獲取博主的近期信息，重新劃定博主類型，訓練模型，更新采集隊列list并采集博主信息。