[發明專利]一種高效的數據采集方法

在審

• 申請號: 201710559435.3
• 申請日: 2017-07-11
• 公開（公告）號: CN107302584A
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 楊博
• 申請（專利權）人: 上海精數信息科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙)11481
• 代理人: 余玥君

1.一種高效數據采集方法，其包括：

S110接收用戶請求；

S120對所述用戶請求的各字段進行合法性校驗；

S130根據所述用戶請求的各字段計算出隨機子域名，并進行子域名校驗；

S140采集通過校驗的用戶請求，根據預先設定的規則進行跳轉；

S150檢驗跳轉鏈接的安全性和跳轉到抵達網頁的完成狀態；和

S160存儲所述跳轉網頁鏈接、抵達網頁鏈接以及加載完成的信息狀態，結果寫入Nginx日志中。

2.根據權利要求1所述的方法，其中對于無法通過校驗的用戶請求，返回1*1像素gif格式圖片。

3.根據權利要求1所述的方法，其中所述進行合法性校驗的字段包括項目號、廣告位、媒體號、創意號、關鍵字、廣告主、IP地址、IDFA、IMEI、AndroidID、OpenUDID中的一種或多種。

4.根據權利要求1所述的方法，其中所述用于計算隨機子域名的字段包括項目號、廣告位、媒體號、創意號、廣告主、采集類型中的一種或多種。

5.根據權利要求1所述的方法，其中根據廣告主、項目號、廣告位、媒體號、創意、關鍵字中一種或多種預先設定跳轉規則。

6.根據權利要求1所述的方法，其中接收到用戶請求后，DNS解析服務器選擇距離用戶最近的LVS服務器作為當前LVS服務器，并向其發送所述用戶請求。

7.根據權利要求6所述的方法，其中所述LVS服務器的負載均衡方式為VS/DR。

8.根據權利要求6所述的方法，其中所述LVS服務器將所述用戶請求發送給Nginx服務器，由所述Nginx服務器處理數據采集的各項步驟。

9.根據權利要求6所述的方法，其中根據來源地址的運營商，分配相同運營商里速度最快延遲最小的LVS服務器。

10.根據權利要求9所述的方法，其中對于視頻網站的數據，分配到與視頻網站同機房的LVS服務器。