[發(fā)明專利]能自動(dòng)抓取和播報(bào)新聞的方法及其機(jī)器人裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710041170.8
• 申請(qǐng)日: 2017-01-20
• 公開（公告）號(hào): CN106933944A
• 公開（公告）日: 2017-07-07
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)江霖;吳勇謀
• 申請(qǐng)（專利權(quán)）人: 深圳前海勇藝達(dá)機(jī)器人有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京金蓄專利代理有限公司11544
• 代理人: 孫巍

1.一種能自動(dòng)抓取和播報(bào)新聞的方法，其特征在于，至少包括以下步驟：

獲取新聞網(wǎng)頁，指定初始種子連接和抓取深度，抓取相關(guān)網(wǎng)頁；

采用正則表達(dá)式抽取導(dǎo)航欄連接，進(jìn)行網(wǎng)頁去噪，提取正文內(nèi)容；

對(duì)提取的正文內(nèi)容進(jìn)行網(wǎng)頁去重；

對(duì)去重后的網(wǎng)頁內(nèi)容進(jìn)行中文分詞；

對(duì)分詞后的網(wǎng)頁進(jìn)行新聞文本分類；

語音播報(bào)分類后的新聞。

2.根據(jù)權(quán)利要求1所述的能自動(dòng)抓取和播報(bào)新聞的方法，其特征在于，使用開源工具nutch進(jìn)行相關(guān)網(wǎng)頁抓取。

3.根據(jù)權(quán)利要求1所述的能自動(dòng)抓取和播報(bào)新聞的方法，其特征在于，使用開源工具BoilerPipe進(jìn)行網(wǎng)頁去噪。

4.根據(jù)權(quán)利要求1所述的能自動(dòng)抓取和播報(bào)新聞的方法，其特征在于，采用開源算法Simhash進(jìn)行網(wǎng)頁去重。

5.根據(jù)權(quán)利要求1所述的能自動(dòng)抓取和播報(bào)新聞的方法，其特征在于，使用樸素貝葉斯分類算法進(jìn)行新聞文本分類。

6.一種能自動(dòng)抓取和播報(bào)新聞的機(jī)器人裝置，其特征在于，至少包括：

網(wǎng)頁抓取單元，用于獲取新聞網(wǎng)頁，指定初始種子連接和抓取深度，抓取相關(guān)網(wǎng)頁；

網(wǎng)頁去噪單元，用于采用正則表達(dá)式抽取導(dǎo)航欄連接，進(jìn)行網(wǎng)頁去噪，提取正文內(nèi)容；

網(wǎng)頁去重單元，用于對(duì)提取的正文內(nèi)容進(jìn)行網(wǎng)頁去重；

中文分詞單元，用于對(duì)去重后的網(wǎng)頁內(nèi)容進(jìn)行中文分詞；

文本分類單元，用于對(duì)分詞后的網(wǎng)頁進(jìn)行新聞文本分類；

語音播報(bào)單元，用于語音播報(bào)分類后的新聞。