[發明專利]一種數據文件的推送方法、裝置及系統

在審

• 申請號: 201510422363.9
• 申請日: 2015-07-17
• 公開（公告）號: CN105045873A
• 公開（公告）日: 2015-11-11
• 發明（設計）人: 羅如海
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

技術領域

本發明屬于通信技術領域，尤其涉及一種數據文件的推送方法、裝置及系統。

背景技術

目前在廣點通、微信朋友圈的廣告推薦系統中，為了提升推薦的精準度，經常會使用到一些外部數據(如廣告點擊數據、廣告發布數據等)來做算法預測。這些數據往往需要保持強一致性，且由于數據特性原因不便做增量更新，故目前采取的方式是把這類數據先存放在文件中再推送到目的機器上。

該推薦系統包括任務提交客戶端(MC，ModelClient)、推送數據接收實例(MA，ModelAgent)以及推送服務器(PS，PushServer)；數據文件推送之前，MC把數據文件上傳到hadoop分布式文件系統(HDFS，HadoopDistributedFileSystem)中，并在大型分布式協調系統(zookeeper)中記錄一次推送任務；其后，PS感知到zookeeper上有新的推送任務，則把數據文件從HDFS上拉取下來并推送到各個MA，以使實時廣告推薦系統(TRE)加載數據文件，其中MA跟實時廣告推薦系統部署在統一機器上。

在對現有技術的研究和實踐過程中，本發明的發明人發現，一般情況下，在廣告推薦系統中，這些數據的同步越快，推薦的效果就會越好。但隨著推薦算法的發展，數據文件也越來越大，即需要同步的數據量也越來越大，因此會導致網絡帶寬占用率較大，數據的時效性不高的問題。

發明內容

本發明的目的在于提供一種數據文件的推送方法、裝置及系統，旨在減少網絡帶寬占用率，提高數據的時效性。

為解決上述技術問題，本發明第一方面提供以下技術方案：

一種數據文件的推送方法，其中包括：

獲取需推送的數據文件；

確定數據接收端的資源敏感類型；

根據所述資源敏感類型確定所述數據文件需做壓縮處理時，獲取對應的壓縮算法；

利用所述壓縮算法對所述數據文件進行壓縮；

將壓縮后的數據文件推送至對應的數據接收端。

本發明第二方面提供以下技術方案：

一種數據文件的推送裝置，其中包括：

第一獲取單元，用于獲取需推送的數據文件；

確定單元，用于確定數據接收端的資源敏感類型；

第二獲取單元，用于根據所述資源敏感類型確定所述數據文件需做壓縮處理時，獲取對應的壓縮算法；

壓縮推送單元，用于利用所述壓縮算法對所述數據文件進行壓縮，并將壓縮后的數據文件推送至對應的數據接收端。

本發明第三方面提供以下技術方案：

一種數據文件的推送系統，包括任務提交端、推送服務器以及數據接收端，其中，所述推送服務器為如上所述的數據文件的推送裝置，用于獲取需推送的數據文件；確定數據接收端的資源敏感類型；根據資源敏感類型確定數據文件需做壓縮處理時，獲取對應的壓縮算法；利用壓縮算法對數據文件進行壓縮；將壓縮后的數據文件推送至對應的數據接收端；

所述任務提交端，用于將數據文件上傳到預設的分布式文件系統，并在預設的分布式協調系統提交推送任務請求；

所述數據接收端，用于接收所述數據文件的推送裝置推送的數據文件。

相對于現有技術，本實施例，根據數據接收端的資源敏感類型確定數據文件需做壓縮處理時，獲取該資源敏感類型對應的壓縮算法，其后利用該壓縮算法對數據文件進行壓縮，并將壓縮后的數據文件推送至對應的數據接收端；本發明實施例在數據文件傳輸前，根據數據接收端的特性確定需推送的數據文件是否做壓縮，若需要，則選擇相應的壓縮算法對數據文件進行壓縮并推送，可有效的限制了推送的數據文件的大小，從而降低了同步的數據量，減少網絡帶寬占用率，提高數據的時效性。

附圖說明

下面結合附圖，通過對本發明的具體實施方式詳細描述，將使本發明的技術方案及其它有益效果顯而易見。

圖1a是本發明提供的數據文件的推送方法的場景示意圖；

圖1b是本發明第一實施例提供的數據文件的推送方法的流程示意圖；

圖2a為本發明第二實施例提供的數據文件的推送的工作機制示意圖；

圖2b為本發明第二實施例提供的數據文件的推送方法的流程示意圖；

圖3為本發明第三實施例提供的數據文件的推送裝置的結構示意圖。

具體實施方式

請參照圖式，其中相同的組件符號代表相同的組件，本發明的原理是以實施在一適當的運算環境中來舉例說明。以下的說明是基于所例示的本發明具體實施例，其不應被視為限制本發明未在此詳述的其它具體實施例。