[發明專利]一種基于網頁數據采集的數據源分發管理系統

在審

• 申請號: 201711460809.2
• 申請日: 2017-12-28
• 公開（公告）號: CN108038242A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 梁鎮爽
• 申請（專利權）人: 中譯語通科技（青島）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于網頁數據采集的數據源分發管理系統，包括以下步驟，通過網絡，收集網頁網址信息，并導入系統；系統對收集到的網頁網址信息進行管理；系統將要分發的網址分配給用戶賬號；系統對采集的網址進行標記；系統通過標記對網址進行管理，通過把采集過程中對網站的分類、標注等內容統一管理，為后續項目提供方便，使數據產生更多剩余價值。降低管理成本，對任務分發，采集等工作統一管理，防止重復、錯漏，提高效率。

技術領域

本發明涉及一種基于網頁數據采集的數據源分發管理系統。

背景技術

數據是大數據產業的最重要的基礎研究資源，其中網頁數據是最為容易獲取的一種數據。目前單境內新聞采集已超過12萬家網站，網址的獲取可以有多種途徑，如此大的量級單靠一兩個人是無法完成采集工作的。在團隊共同配置采集規則時如何分發這些網址，采集規則配置完成后，如何管理成為了新的問題。

發明內容

針對以上不足，本發明提供一種基于網頁數據采集的數據源分發管理系統，所需采用的技術方案是，

一種基于網頁數據采集的數據源分發管理系統，包括以下步驟，

（1）通過網絡，收集網頁網址信息，并導入系統；

（2）系統對收集到的網頁網址信息進行管理；

（3）系統將要分發的網址分配給用戶賬號；

（4）系統對采集的網址進行標記；

（5）系統通過標記對網址進行管理。

步驟（2）中網頁網址信息包括網站名稱、主域名、行業分類、媒體類型、國家、城市、語言。

所述網頁網址的信息至少包括主域名。

步驟（2）的管理內容包括提取信息、去重和分類。

所述用戶賬號包括普通用戶賬號和管理員賬號。

所述普通用戶賬號只能領域任務派發網站。

所述管理員賬號能對網站進行篩選、導入批量維護等功能。

本發明的有益效果，通過把采集過程中對網站的分類、標注等內容統一管理，為后續項目提供方便，使數據產生更多剩余價值。降低管理成本，對任務分發，采集等工作統一管理，防止重復、錯漏，提高效率。

附圖說明

圖1是本發明的數據源管理流程圖。

圖2是本發明的任務分發流程圖。

具體實施方式

下面結合附圖對本發明進行進一步的說明，

一種基于網頁數據采集的數據源分發管理系統，包括以下步驟，

（1）通過網絡，收集網頁網址信息，并導入系統，由管理員將要采集的數據源信息導入至管理平臺。

（2）系統對收集到的網頁網址信息進行管理，對網頁網址信息中的網站名稱、主域名、行業分類、媒體類型、國家、城市、語言進行信息提取，去重和分類，其中網頁網址的信息至少包括主域名。

（3）系統將要分發的網址分配給用戶賬號，所述用戶賬號包括普通用戶賬號和管理員賬號，所述普通用戶賬號只能領域任務派發網站，所述管理員賬號能對網站進行篩選、導入批量維護等功能，每人分批次分配一定數量網站源，采集數據。

（4）系統對采集的網址進行標記，采集完成后做相應標記;如不能采集，標記原因以方便后續管理。做完一批次后可再分發下一批次。各實施人員只能看到分配給自己的網站。

（5）系統通過標記對網址進行管理。

通過本發明能解決數據源除重問題，數據地域和語言信息自動獲取，數據源分配問題，采集后數據源的管理問題。