[發(fā)明專利]一種移動(dòng)終端獲取互聯(lián)網(wǎng)信息的內(nèi)容去重方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201410513646.X
• 申請(qǐng)日: 2014-09-29
• 公開（公告）號(hào): CN105528351A
• 公開（公告）日: 2016-04-27
• 發(fā)明（設(shè)計(jì)）人: 邊凌燕;姚曉輝;邱晨旭;譚敏
• 申請(qǐng)（專利權(quán)）人: 中國電信股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 方亮

技術(shù)領(lǐng)域

本發(fā)明涉及移動(dòng)通信技術(shù)領(lǐng)域，尤其涉及一種移動(dòng)終端獲取互聯(lián) 網(wǎng)信息的內(nèi)容去重方法及系統(tǒng)。

背景技術(shù)

移動(dòng)互聯(lián)網(wǎng)時(shí)代，人們對(duì)隨時(shí)隨地能連接網(wǎng)絡(luò)的移動(dòng)終端越來 越青睞。人們借助于五花八門的各式終端上的應(yīng)用軟件，實(shí)現(xiàn)網(wǎng)絡(luò)通 信到休閑娛樂、再到資訊的獲取。目前，用戶使用各類移動(dòng)應(yīng)用瀏覽 網(wǎng)絡(luò)信息的流程如圖1所示。但是，目前越來越嚴(yán)重的信息同質(zhì)化現(xiàn) 象，不僅浪費(fèi)人們?yōu)g覽信息的時(shí)間，也在一定程度上造成了用戶上網(wǎng) 流量的價(jià)值損耗。目前，隨著非結(jié)構(gòu)化數(shù)據(jù)分析識(shí)別技術(shù)(包括且不 限于文本識(shí)別、聲音識(shí)別、圖像識(shí)別以及視頻屬性識(shí)別等)，統(tǒng)稱為 內(nèi)容指紋識(shí)別技術(shù)的日益成熟。很多終端應(yīng)用都已經(jīng)在自身應(yīng)用內(nèi)部 增加同質(zhì)化內(nèi)容去重功能，來提升用戶體驗(yàn)。但隨著終端應(yīng)用的日益 增多，跨應(yīng)用、跨系統(tǒng)的內(nèi)容重復(fù)就突顯為最影響用戶體驗(yàn)的關(guān)鍵問 題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明要解決的一個(gè)技術(shù)問題是提供一種移動(dòng)終端獲取 互聯(lián)網(wǎng)信息的內(nèi)容去重方法，在網(wǎng)絡(luò)側(cè)完成重復(fù)信息數(shù)據(jù)的攔截。

一種移動(dòng)終端獲取互聯(lián)網(wǎng)信息的內(nèi)容去重方法，包括：在移動(dòng)終 端的網(wǎng)絡(luò)鏈接接口處接收到發(fā)送到移動(dòng)終端的數(shù)據(jù)信息，對(duì)所述數(shù)據(jù) 信息進(jìn)行解析并將所述數(shù)據(jù)信息的內(nèi)容與該終端用戶的已獲取信息庫 中存儲(chǔ)的內(nèi)容進(jìn)行對(duì)比；判斷所述數(shù)據(jù)信息的內(nèi)容與所述已獲取信息 庫中的內(nèi)容是否重復(fù)，如果是，則對(duì)所述數(shù)據(jù)信息進(jìn)行攔截，如果 否，則將所述數(shù)據(jù)信息的內(nèi)容存儲(chǔ)在所述已獲取信息庫中。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)一步的，當(dāng)判斷所述數(shù)據(jù)信息的內(nèi) 容與所述已獲取信息庫中的內(nèi)容重復(fù)時(shí)，則向移動(dòng)終端側(cè)發(fā)送內(nèi)容重 復(fù)指令；根據(jù)所述內(nèi)容重復(fù)指令彈起提醒用戶重復(fù)獲取信息的視窗。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)一步的，設(shè)定信息遺忘記周期；當(dāng) 判斷所述數(shù)據(jù)信息與所述已獲取信息庫中的內(nèi)容重復(fù)時(shí)，判斷所述數(shù) 據(jù)信息獲取的間隔是否超過所述信息遺忘周期，如果否，則對(duì)所述數(shù) 據(jù)信息進(jìn)行攔截；如果是，則將所述數(shù)據(jù)信息的內(nèi)容存儲(chǔ)在所述已獲 取信息庫中。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)一步的，設(shè)定攔截模式，所述攔截 模式包括：手動(dòng)、自動(dòng)模式；當(dāng)為自動(dòng)模式時(shí)，根據(jù)所述內(nèi)容重復(fù)指 令彈起提醒用戶重復(fù)獲取信息的視窗，并且自動(dòng)對(duì)所述數(shù)據(jù)信息進(jìn)行 攔截；當(dāng)為手動(dòng)模式時(shí)，根據(jù)所述內(nèi)容重復(fù)指令彈起提醒用戶重復(fù)獲 取信息的視窗并彈出攔截選擇按鈕，根據(jù)用戶的選擇決定是否對(duì)所述 數(shù)據(jù)信息進(jìn)行攔截和將所述數(shù)據(jù)信息的內(nèi)容存儲(chǔ)在所述已獲取信息庫 中。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)一步的，對(duì)發(fā)送到移動(dòng)終端的數(shù)據(jù) 包進(jìn)行檢測(cè)并解析，從所述數(shù)據(jù)包中獲取識(shí)別信息，所述識(shí)別信息包 括：協(xié)議類型、URL鏈接地址；對(duì)所述URL鏈接地址對(duì)應(yīng)的網(wǎng)絡(luò)頁 面進(jìn)行抓取，并從所述頁面中提取關(guān)鍵內(nèi)容信息，根據(jù)所述關(guān)鍵內(nèi)容 信息建立所述頁面的內(nèi)容指紋，所述關(guān)鍵內(nèi)容信息包括：標(biāo)題、文 本、圖像、音頻、視頻。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)一步的，將所述頁面的內(nèi)容指紋與 所述已獲取信息庫中存儲(chǔ)的頁面內(nèi)容指紋進(jìn)行比對(duì)，判斷所述數(shù)據(jù)信 息是否重復(fù)；如果否，則將所述頁面的內(nèi)容指紋存儲(chǔ)在所述已獲取信 息庫中；如果是，則對(duì)所述數(shù)據(jù)信息進(jìn)行攔截。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)一步的，對(duì)從所述頁面中提取的標(biāo) 題和內(nèi)容進(jìn)行分詞處理獲得多個(gè)關(guān)鍵詞，將多個(gè)關(guān)鍵詞進(jìn)行排序并用 符號(hào)進(jìn)行拼接，采用MD5算法對(duì)拼接后的字符串進(jìn)行運(yùn)算，獲取的 MD5值為所述網(wǎng)頁的內(nèi)容指紋。

本發(fā)明要解決的一個(gè)技術(shù)問題是提供一種移動(dòng)終端獲取互聯(lián)網(wǎng)信 息的內(nèi)容去重系統(tǒng)，在網(wǎng)絡(luò)側(cè)完成重復(fù)信息數(shù)據(jù)的攔截。

一種移動(dòng)終端獲取互聯(lián)網(wǎng)信息的內(nèi)容去重系統(tǒng)，包括：內(nèi)容探測(cè) 與攔截模塊，位于網(wǎng)絡(luò)側(cè)，用于在移動(dòng)終端的網(wǎng)絡(luò)鏈接接口處接收到 發(fā)送到移動(dòng)終端的數(shù)據(jù)信息，對(duì)所述數(shù)據(jù)信息進(jìn)行解析并將所述數(shù)據(jù) 信息的內(nèi)容與該終端用戶的已獲取信息庫中存儲(chǔ)的內(nèi)容進(jìn)行對(duì)比；判 斷所述數(shù)據(jù)信息的內(nèi)容與所述已獲取信息庫中的內(nèi)容是否重復(fù)，如果 是，則對(duì)所述數(shù)據(jù)信息進(jìn)行攔截，如果否，則將所述數(shù)據(jù)信息的內(nèi)容 存儲(chǔ)在所述已獲取信息庫中。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，進(jìn)一步的，重復(fù)內(nèi)容攔截模塊，位于 移動(dòng)終端中；當(dāng)所述內(nèi)容探測(cè)與攔截模塊判斷所述數(shù)據(jù)信息的內(nèi)容與 所述已獲取信息庫中的內(nèi)容重復(fù)時(shí)，則向移動(dòng)終端側(cè)發(fā)送內(nèi)容重復(fù)指 令；所述重復(fù)內(nèi)容攔截模塊根據(jù)所述內(nèi)容重復(fù)指令彈起提醒用戶重復(fù) 獲取信息的視窗。