[發明專利]一種大數據獲取方法

有效

• 申請號: 201611123047.2
• 申請日: 2016-12-08
• 公開（公告）號: CN106649638B
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 湯寒林
• 申請（專利權）人: 貴州數據寶網絡科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 11399 北京冠和權律師事務所
• 代理人: 朱健;陳國軍

1.一種大數據獲取方法，其特征在于，包括：

接收數據請求端的獲取數據請求；所述獲取數據請求包括查詢參數；

驗證所述數據請求端是否具有獲取數據權限；

當所述數據請求端具有獲取數據權限時，判斷根據預先設置的匹配規則從模板庫中是否能獲取到所記錄的請求參數與所述查詢參數相匹配的數據源配置模板；所述模板庫中存儲有多個預先設置的數據源配置模板，每個數據源配置模板記錄有請求參數及對應的數據源的地址和數據源參數；

當根據預先設置的匹配規則從模板庫中獲取到所記錄的請求參數與所述查詢參數相匹配的至少一個數據源配置模板時，從獲取的至少一個數據源配置模板中選擇一個未被選擇過的數據源配置模板；

判斷當前選擇的數據源配置模板對應的數據源是否滿足所述獲取數據請求的要求；若是，則將當前選擇的數據源配置模板對應的數據源確定為目標數據源并執行下一步驟；否則，當所述至少一個數據源配置模板中還有未被選擇過的數據源配置模板時，返回執行從獲取的至少一個數據源配置模板中選擇一個未被選擇過的數據源配置模板的步驟；

根據當前選擇的數據源配置模板中記錄的地址，向所述目標數據源請求數據；

判斷所述目標數據源返回的數據是否正常；若是，則將所述目標數據源返回的數據轉換為預定格式的數據后返回給所述數據請求端；否則，當所述至少一個數據源配置模板中還有未被選擇過的數據源配置模板時，返回執行從獲取的至少一個數據源配置模板中選擇一個未被選擇過的數據源配置模板的步驟；

其中，所述接收數據請求端發來的獲取數據請求之前，還包括：預先為所述模板庫中的各數據源配置模板設置優先級；

所述從獲取的至少一個數據源配置模板中選擇一個未被選擇過的數據源配置模板，包括：根據優先級從高到低的順序，從獲取的至少一個數據源配置模板中選擇一個未被選擇過的數據源配置模板；

所述方法還包括：

根據所述數據請求端的歷史數據請求行為，預測所述數據請求端對數據源配置模板的喜好度；根據所述數據請求端對數據源配置模板的喜好度，確定所述數據請求端對應的數據源配置模板優先級；

所述根據優先級從高到低的順序，從獲取的至少一個數據源配置模板中選擇一個未被選擇過的數據源配置模板，包括：

根據所述數據請求端對應的數據源配置模板優先級，從獲取的至少一個數據源配置模板中選擇一個未被選擇過的數據源配置模板；

所述數據請求端的歷史數據請求行為包括：當前時間之前的預設時間段內的數據請求行為，所述數據請求行為包括數據請求端在所述預設時間段內每次獲取到的數據源配置模板的標識及其數據源的標識；

所述根據所述數據請求端的歷史數據請求行為，確定所述數據請求端對數據源配置模板的喜好度，包括：

根據所述數據請求端的歷史數據請求行為，統計所述數據請求端在所述預設時間段內對數據源配置模板i的使用次數Ni、和從數據源配置模板i對應的數據源Mi獲取到數據的次數Q_Mi，以及統計預設數據請求端在所述預設時間段內對數據源配置模板i的總使用次數Ri、和從數據源配置模板i對應的數據源Mi獲取到數據的總次數T_Mi；根據以下計算公式計算所述數據請求端對數據源配置模板i的喜好度Pi，所述計算公式為：

其中，所述N為所述數據請求端在所述預設時間段內對所有數據源配置模板的總使用次數；所述R為預設數據請求端在所述預設時間段內對所有數據源配置模板的總使用次數；所述Q為所述數據請求端在所述預設時間段內從所有數據源獲取到數據的總次數；所述T為預設數據請求端在所述預設時間段內從所有數據源獲取到數據的總次數；預設數據請求端是指滿足以下條件的所有數據請求端：用戶信息與所述數據請求端的用戶信息之間的信息匹配度達到預設匹配度的數據請求端；

所述根據所述數據請求端對數據源配置模板的喜好度，確定所述數據請求端對應的數據源配置模板優先級，包括：

按照所述數據請求端對各個數據源配置模板的喜好度從大到小的順序排列數據源配置模板，形成第一排列；

將第一排列中的數據源配置模板從中間位置一分為二，形成喜好度較大的第二排列和喜好度較小的第三排列；其中，當第一排列中的數據源配置模板為2N個時，第一排列中的數據源配置模板的編號從前往后依序為1～2N；第二排列中的數據源配置模板為N個、第三排列中的數據源配置模板為N個，第二排列中的數據源配置模板的編號從前往后依序為1～N，第三排列中的數據源配置模板的編號從前往后依序為N+1～2N；當第一排列中的數據源配置模板為2N+1個時，第一排列中的數據源配置模板的編號從前往后依序為1～2N+1，第二排列中的數據源配置模板為N個、第三排列中的數據源配置模板為N+1個，第二排列中的數據源配置模板的編號從前往后依序為1～N，第三排列中的數據源配置模板的編號從前往后依序為N+1～2N+1；

將第三排列中的數據源配置模板按照喜好度從大到小的順序逐個穿插入第二排列中，形成第四排列；第四排列中的第一個數據源配置模板為原屬于第二排列的第一個數據源配置模板；在第四排列中，原屬于第二排列的數據源配置模板的兩側均為原屬于第三排列的數據源配置模板，并且，原屬于第三排列的數據源配置模板的兩側均為原屬于第二排列的數據源配置模板；在第四排列中，原屬于第三排列的數據源配置模板對應的喜好度依序從大變小，原屬于第二排列的數據源配置模板對應的喜好度依序從大變小；

將所述第四排列中的數據源配置模板的先后順序，作為所述數據請求端對應的數據源配置模板優先級，數據源配置模板在第四排列中的排位越靠前，其優先級越高；

所述判斷當前選擇的數據源配置模板對應的數據源是否滿足所述獲取數據請求的要求，包括：

向所述當前選擇的數據源配置模板對應的數據源發送獲取參數請求；

接收所述當前選擇的數據源配置模板對應的數據源返回的數據源參數；

判斷接收的數據源參數是否與所述當前選擇的數據源配置模板中記錄的數據源參數相一致，若是，則斷定所述當前選擇的數據源配置模板對應的數據源滿足所述獲取數據請求的要求。