[發明專利]一種處理延遲發送的日志數據的方法和系統

有效

• 申請號: 201210244559.X
• 申請日: 2012-07-13
• 公開（公告）號: CN103546514A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 劉時光;初敏;趙斌強;鐘華;張金;周躦;龍琰;張志強
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F11/34
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

技術領域

本申請涉及移動數據處理技術領域，尤其涉及移動數據平臺中處理延遲發送的日志數據的裝置、系統和方法。

背景技術

隨著移動互聯網的迅猛發展，移動應用(App，應用程序)市場的競爭也日趨激烈，移動應用的開發者要發展就必須為用戶提供優質的產品功能與服務，并能夠針對市場變化和用戶需求做出快速反應。為此，實時采集并分析用戶的使用習慣，是把握最新用戶需求和優化用戶體驗的關鍵一步。但由于移動應用的特殊性，與傳統互聯網不同，其用戶的操作行為大多是在手機客戶端上完成的，這也意味著用戶行為日志必須傳到服務器后，才能被開發者進行分析處理，實現應用的監測和優化等。

但由于移動應用的特殊性，用戶的行為日志有時往往不能夠實時傳回到服務器，這有兩方面原因：一方面是一些離線類應用(如離線游戲、電子讀物)，其用戶在使用應用的大多數時候是不需要用手機聯網的，這就導致其在離線(脫網)時所產生的行為日志只有等用戶下次使用該應用聯網時才能發回服務器，這個時間延遲有可能是數天、數周、甚至數月，完全由應用自身決定；另一方面是，由于目前移動應用的上傳過程都是會產生流量的，通過WIFI方式一般是不計流量費用的，但如果通過GPRS或其他移動通訊商的收費聯網方式上傳日志到服務器所產生的流量則是要計費的，所以導致應用開發者為了顧及用戶感受，不得不將行為日志發回服務器的時機安排在不計流量費用時發送，這也導致了一部分日志數據延遲發回服務器，其延遲時間可能為數個小時或數天。另外，考慮到數據壓縮，日志采集器往往也會緩存一部分日志后再發送，這個過程也會導致日志發送過程的延遲。

日志延遲發回服務器，如果時間較長，超過了日志數據計算頻度的時間間隔，就會造成數據失真，從而不能按時全面地為應用開發者展現客戶真實準確的結果。對于這個問題，現有的移動應用技術的處理策略大概分為兩大類：(1)忽略接收到的延遲發送過來的日志數據；(2)認可延遲發送過來的日志數據，并再一次計算操作時反映到結果中，相當于一種數據修正。第一種策略，操作簡單、計算量小，但所帶來的問題就是沒有全面地反映用戶的實際使用情況的總量，如果應用的離線日志程度很高的話，則應用開發者在服務器上所看到結果就嚴重失真了。第二種策略，對結果進行了必要的修正，但計算的時間空間復雜度會增加很多，這是因為需要重新計算延遲發送日志數據所在實際發生時間所涉及的所有指標，時間復雜度將增加，而為了完成修正，有些修正計算還需要保存之前的中間結果(比如獨立用戶數列表)，也會造成空間復雜度將要增加；并且往往是時間離得越近則修正的作用越不明顯(因為數據延遲時間長度的概率分布往往不是幾個小時，而可能是幾天左右)，從而導致在對數據進行趨勢分析時，修正后的計算結果往往會在近期出現一些下滑的趨勢，過一段時間修正完后，又會發現之前的下滑不存在了，這種不穩定性的下滑往往不能代表真實的趨勢方向，而完全是由于數據延遲所造成，從而給應用開發者的數據分析帶來干擾。

由于移動應用在用戶手機端所產生的日志數據因諸如上述多種原因往往不能及時發回服務器，而當這種延遲的時間間隔超過了操作的時間間隔時，就會需要考慮在下次計算操作時對其之前所有計算結果是否需要進行數據修正。如果不在之后修正的話就會影響計算結果的全面性與真實準確性；而如果在收到延遲數據后進行數據修正，不單計算時間空間復雜度會增加很多，同時數據計算結果也將會具有一定的不穩定性(尤其是在趨勢分析時所帶來的失真下滑)。可見，現有的移動應用計算技術存在的移動應用日志數據延遲發送造成數據不全面準確，進而導致簡單數據修正策略計算量過大且數據失真等缺陷。

發明內容

針對上述現有技術的缺陷，本申請要解決的技術問題是提供一種處理延遲發送的日志數據的裝置、系統和方法，其針對移動應用日志延遲發送所帶來的計算不夠全面準確的問題，以及進行簡單數據修正策略所帶來的計算量過大與數據失真等問題，在該處理延遲發送的日志數據的裝置、系統和方法中，采用了一種優化的“修正前”與“修正后”兩套計算指標相結合的計算與分析策略。