[發(fā)明專利]一種批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010540941.X
• 申請(qǐng)日: 2020-06-15
• 公開（公告）號(hào): CN111723262A
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 王世偉
• 申請(qǐng)（專利權(quán)）人: 武漢文慧谷信息技術(shù)有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/9535;G06F16/34;G06F16/33
• 代理公司: 武漢聚信匯智知識(shí)產(chǎn)權(quán)代理有限公司 42258
• 代理人: 馬尚偉

1.一種批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)，其特征在于，包括：獲取模塊，數(shù)據(jù)處理模塊，數(shù)據(jù)庫(kù)，數(shù)據(jù)查詢模塊和客戶端；

獲取模塊，用于采集各種新聞數(shù)據(jù)，并將采集到的新聞數(shù)據(jù)傳輸?shù)綌?shù)據(jù)處理模塊；

數(shù)據(jù)處理模塊，用于接收獲取模塊傳輸?shù)男侣剶?shù)據(jù)，并對(duì)新聞數(shù)據(jù)進(jìn)行處理并將處理后的新聞數(shù)據(jù)傳輸?shù)綌?shù)據(jù)庫(kù)；

數(shù)據(jù)庫(kù)，用于接收數(shù)據(jù)處理模塊傳輸?shù)男侣剶?shù)據(jù)并對(duì)新聞數(shù)據(jù)就那些存儲(chǔ)；

數(shù)據(jù)查詢模塊，用于查詢數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)并反饋到客戶端；

客戶端，用于發(fā)送控制指令到數(shù)據(jù)查詢模塊對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢操作。

2.如權(quán)利要求1所述的批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)，其特征在于，所述獲取模塊包括采集器，所述采集器采集的數(shù)據(jù)包括各大平臺(tái)免費(fèi)新聞以及訪問(wèn)地址。

3.如權(quán)利要求1所述的批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)，其特征在于，數(shù)據(jù)處理模塊包括數(shù)據(jù)清洗單元、數(shù)據(jù)合并單元、數(shù)據(jù)索引單元和數(shù)據(jù)發(fā)布單元，所述數(shù)據(jù)清洗單元用于新聞數(shù)據(jù)的數(shù)據(jù)、欄目信息補(bǔ)充、異常數(shù)據(jù)過(guò)濾、數(shù)據(jù)去重以及錯(cuò)誤數(shù)據(jù)收集，所述數(shù)據(jù)合并單元用于新聞數(shù)據(jù)合并，包括標(biāo)題合并、正文合并和摘要合并，所述數(shù)據(jù)索引單元用于管理新聞數(shù)據(jù)，包括全量數(shù)據(jù)索引、增量數(shù)據(jù)索引、修改數(shù)據(jù)索引更新和刪除新聞索引同步，所述數(shù)據(jù)發(fā)布單元用于發(fā)布新聞數(shù)據(jù)，包括首頁(yè)新聞推薦、分欄目新聞閱讀、新聞簡(jiǎn)報(bào)查看、新聞詳情參考和新聞源地址查看。

4.如權(quán)利要求1所述的批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)，其特征在于，所述數(shù)據(jù)查詢模塊包括查詢單元、緩存單元和反饋單元，所述查詢單元用于在系統(tǒng)和數(shù)據(jù)庫(kù)中進(jìn)行新聞數(shù)據(jù)的查詢，所述緩存單元用于緩存歷史查詢記錄形成快速訪問(wèn)接口，所述反饋單元用于反饋查詢結(jié)果數(shù)據(jù)到客戶端。

5.如權(quán)利要求1所述的批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)，其特征在于，所述客戶端用于用戶根據(jù)自身需求手動(dòng)輸入關(guān)鍵詞進(jìn)行新聞數(shù)據(jù)的搜索和查閱。

6.如權(quán)利要求1所述的批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)，其特征在于，所述數(shù)據(jù)庫(kù)為通用型關(guān)系型數(shù)據(jù)庫(kù)。

7.一種批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的方法，應(yīng)用于如權(quán)利要求1-6所述的批量合并網(wǎng)絡(luò)新聞標(biāo)題、摘要、正文的系統(tǒng)，其特征在于，包括以下步驟：

S1，數(shù)據(jù)采集，采集器采集各大平臺(tái)的新聞，并將采集到的新聞數(shù)據(jù)傳輸?shù)綌?shù)據(jù)處理模塊；

S2，數(shù)據(jù)處理，數(shù)據(jù)處理模塊接收到新聞數(shù)據(jù)后，數(shù)據(jù)清洗單元對(duì)數(shù)據(jù)進(jìn)行初步清洗統(tǒng)一規(guī)范數(shù)據(jù)格式，數(shù)據(jù)合并單元對(duì)新聞數(shù)據(jù)的標(biāo)題、正文和摘要進(jìn)行合并，數(shù)據(jù)索引單元對(duì)新聞數(shù)據(jù)增加增加索引方便后期查詢，處理完成后，將數(shù)據(jù)寫入數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)；

S3，數(shù)據(jù)發(fā)布，管理員根據(jù)整理之后的新聞，選擇優(yōu)質(zhì)內(nèi)容，通過(guò)數(shù)據(jù)發(fā)布單元進(jìn)行發(fā)布到前臺(tái)，也可以人工選擇優(yōu)質(zhì)內(nèi)容，合并生成新聞簡(jiǎn)報(bào)，供用戶快速瀏覽熱點(diǎn)新聞；

S4，數(shù)據(jù)查詢，用戶通過(guò)客戶端訪問(wèn)系統(tǒng)并在看到感興趣的內(nèi)容時(shí)，快速的打開詳細(xì)地址，查閱詳細(xì)內(nèi)容；用戶通過(guò)客戶端輸入關(guān)鍵詞，并將關(guān)鍵詞傳輸?shù)綌?shù)據(jù)查詢模塊，查詢單元按照關(guān)鍵詞進(jìn)行查詢，緩存單元對(duì)查詢的結(jié)果進(jìn)行緩存，并將查詢結(jié)果通過(guò)反饋單元反饋到客戶端。