[發明專利]一種基于多數據源的數據處理方法和裝置

在審

• 申請號: 201810122574.4
• 申請日: 2018-02-07
• 公開（公告）號: CN108415965A
• 公開（公告）日: 2018-08-17
• 發明（設計）人: 龍凱;趙相龍;劉屹州;高瑞鑫
• 申請（專利權）人: 五維引力（上海）數據服務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海市金茂律師事務所 31299
• 代理人: 王崢;謝瑞強

本發明提供一種基于多數據源的數據處理方法和裝置，方法包括：從第一數據源獲取第一數據列表并且從第二數據源獲取第二數據列表；其中，第一數據列表的每組數據包括：第一標識數據以及與第一標識數據相對應的第一地理位置數據和第一時間數據；第二數據列表的每組數據包括：第二標識數據以及與第二標識數據相對應的第二地理位置數據和第二時間數據；根據空間篩選條件和時間篩選條件對第一數據列表和第二數據列表進行篩選處理；其中，空間篩選條件為：第一地理位置數據和第二地理位置數據在預設地理范圍之內；時間篩選條件為：第一時間數據和第二時間數據在第一預設時間范圍之內；根據篩選處理后的第一數據列表和第二數據列表，構建第三數據列表。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于多數據源的數據處理方法和裝置。

背景技術

大數據(big data，mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。基于大數據進行分析處理，可以提供用戶畫像服務，以分析用戶屬性和需求等。

然而現有技術中，圍繞一個信息主體(如同一臺設備、同一個用戶、同一家企業)所產生的或與之相關的數據都分散在很多不同的數據源中，不同數據源之間毫無關聯，形成若干數據孤島。基于單個數據源進行分析處理，只能得到碎片化的畫像，難以為信息主體提供完整的信息視圖。

發明內容

本發明目的在于提供一種基于多數據源的數據處理方法和裝置，以解決在相互沒有業務邏輯的多個數據源之間進行數據關聯的問題。

本發明提供的基于多數據源的數據處理方法，包括：

從第一數據源獲取第一數據列表并且從第二數據源獲取第二數據列表；其中，第一數據列表的每組數據包括：第一標識數據以及與所述第一標識數據相對應的第一地理位置數據和第一時間數據；第二數據列表的每組數據包括：第二標識數據以及與所述第二標識數據相對應的第二地理位置數據和第二時間數據；

根據空間篩選條件和時間篩選條件對所述第一數據列表和所述第二數據列表進行篩選處理；其中，所述空間篩選條件為：所述第一地理位置數據和所述第二地理位置數據在預設地理范圍之內；所述時間篩選條件為：所述第一時間數據和所述第二時間數據在第一預設時間范圍之內；

根據篩選處理后的所述第一數據列表和所述第二數據列表，構建第三數據列表。

進一步，本發明所述的數據處理方法，還包括：

根據所述第三數據列表構建第四數據列表；其中，所述第四數據列表包含所述第三數據列表下的所述第一標識數據與所述第二標識數據的全部組合關系；

計算每組所述第一標識數據與所述第二標識數據的組合的迭代次數；

根據迭代篩選條件對所述第一標識數據與所述第二標識數據的組合進行篩選處理；其中，所述迭代篩選條件為：所述迭代次數超過預設次數閾值；

根據篩選處理后的所述第一標識數據與所述第二標識數據的組合，構建第五數據列表；其中，所述第五數據列表包括：相互具有對應關系的所述第一標識數據和所述第二標識數據。

進一步，本發明所述的數據處理方法，根據所述第三數據列表構建第四數據列表的步驟具體包括：

根據n個所述預設地理范圍構建n個所述第三數據列表，并且，在每個所述第三數據列表中將所述第一標識數據與所述第二標識數據進行配對組合，以構建n個所述第四數據列表；

或者，根據m個所述第一預設時間范圍構建m個所述第三數據列表，并且，在每個所述第三數據列表中將所述第一標識數據與所述第二標識數據進行配對組合，以構建m個所述第四數據列表；