[發明專利]用于多個數據源的數據整合處理方法和裝置

有效

• 申請號: 201310566735.6
• 申請日: 2013-11-14
• 公開（公告）號: CN103605715B
• 公開（公告）日: 2017-09-08
• 發明（設計）人: 陳改靜;楊基彬;蔡波
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 李志剛,吳貴明

技術領域

本發明涉及數據處理領域，具體而言，涉及一種用于多個數據源的數據整合處理方法和裝置。

背景技術

在互聯網廣告領域，轉化數據是指廣告商投放廣告之后，由于用戶的注冊、登陸、瀏覽、點擊以及下訂單等行為產生的數據。轉化數據可以來自多個平臺，例如，轉化數據可以來自第三方代理商、廣告投放平臺、網站本身監控等不同的數據源。這些不同的數據源，以不同的方式、格式和渠道等為數據管理系統等導入系統提供轉化數據以進行整合。

為了整合來自不同的數據源的轉化數據，在相關技術中采用以下方案：首先針對來自不同的數據源的轉化數據根據預定格式進行定制開發，然后再將定制開發后的數據進行整合處理。這種方案雖然能對轉化數據進行整合處理，但是，由于轉化數據來自不同的數據源，它們各自的數據格式和數據類型多種多樣，而且不同時期的同一轉化數據可能也不一樣，這就需要對每一種轉化數據進行不同的定制開發，因此該種方案存在如下缺點：

a)針對每種類型的轉化數據都需要進行不同的定制開發，因此開發成本較高。

b)客戶以及轉化數據的數據源均多種多樣，這樣，定制開發的版本就會很多，從而維護的轉化數據類型越來越多，進而維護各種版本的成本也會提高。

針對相關技術中不能對不同來源的數據進行統一整合的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種用于多個數據源的數據整合處理方法和裝置，以解決相關技術中不能對不同來源的數據進行統一整合問題。

為了實現上述目的，根據本發明的一個方面，提供了一種用于多個數據源的數據整合處理方法。該用于多個數據源的數據整合處理方法包括：獲取來自多個不同數據源的數據；將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據；以及對第一類型的數據和第二類型的數據進行數據整合處理。

進一步地，在將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據之前，該數據整合處理方法還包括：判斷多個不同數據源的數據是否有標識；如果判斷出多個不同數據源的數據有標識，則對每一條數據都加入已有的標識；以及如果判斷出多個不同數據源的數據沒有標識，則對每一條數據都加入唯一標識。

進一步地，按照以下方式對每一條數據加入標識：將需要加入標識的數據拆分為關鍵字部分和點擊部分；以及將關鍵字部分和點擊部分分別加上標識。

進一步地，在將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據之后，數據整合處理方法還包括：查找預先設置的第一數據表和第二數據表；將第一類型的數據存儲至第一數據表中；以及將第二類型的數據存儲至第二數據表中。

進一步地，將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據包括：將多個不同數據源的數據拆分為物料數據和轉化數據。

為了實現上述目的，根據本發明的另一方面，提供了一種用于多個數據源的數據整合處理裝置。該用于多個數據源的數據整合處理裝置包括：獲取單元，用于獲取來自多個不同數據源的數據；拆分單元，用于將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據；以及整合單元，用于對第一類型的數據和第二類型的數據進行數據整合處理。

進一步地，還包括：判斷單元，用于在將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據之前，判斷多個不同數據源的數據是否有標識；第一加入單元，用于如果判斷出多個不同數據源的數據有標識，則對每一條數據都加入已有的標識；以及第二加入單元，用于如果判斷出多個不同數據源的數據沒有標識，則對每一條數據都加入唯一標識。

進一步地，第一加入單元包括：拆分模塊，用于將需要加入標識的數據拆分為關鍵字部分和點擊部分；以及加入模塊，用于將關鍵字部分和點擊部分分別加上標識。

進一步地，在將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據之后，還包括：查找單元，用于查找預先設置的第一數據表和第二數據表；第一存儲單元，用于將第一類型的數據存儲至第一數據表中；以及第二存儲單元，用于將第二類型的數據存儲至第二數據表中。

進一步地，拆分單元還用于將多個不同數據源的數據拆分為物料數據和轉化數據。

通過本發明，采用獲取來自多個不同數據源的數據；將多個不同數據源的數據拆分為第一類型的數據和第二類型的數據；以及對第一類型的數據和第二類型的數據進行數據整合處理，解決了相關技術中不能對不同來源的數據進行統一整合的問題，進而達到了統一整合不同來源的數據的效果。

附圖說明