[發明專利]一種基于多維數據變量的數據交互方法及平臺

在審

• 申請號: 201910062225.2
• 申請日: 2019-01-23
• 公開（公告）號: CN109783163A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 崔晶晶;張永名;鄭興旺
• 申請（專利權）人: 集奧聚合（北京）人工智能科技有限公司
• 主分類號: G06F9/448
• 分類號: G06F9/448
• 代理公司: 北京東方匯眾知識產權代理事務所(普通合伙) 11296
• 代理人: 張淑賢;王慶彬

本發明提供一種基于多維數據變量的數據交互方法及平臺，本發明分為三個模塊：1、校驗模塊2、接口引擎3、配置解析引擎。校驗模塊采用布隆過濾器實現對垃圾數據進行過濾。在接口引擎中，對于多維數據變量的調用和讀取采用并發安全策略，實現高性能，高可靠，確保在同一時刻多維數據交互實現數據準確性以及高效性。配置解析引擎負責對交互的數據進行自定義解析和封裝。本發明能有效過濾垃圾數據，并能夠在各系統之間實現高效實時數據互動，為各類數據服務提供高效穩定的數據支持。

技術領域：

本發明涉及數據交互信息技術領域，尤其涉及一種基于多維數據變量的數據交互方法及平臺。

背景技術：

隨著互聯網，云技術、大數據技術不斷融入我們的生活，人類積累的數據在互聯網、通信、金融、商業、醫療等諸多領域不斷增長和積累，而這些數據也已經推進了數據提供商和數據消費者的發展。數據消費者需要通過多方數據提供商提供的數據來支撐自己的業務體系。例在互聯網金融領域，金融風控、信用評估都是建立在用戶的數據基礎上。各類系統中數據交互變得越來越頻繁，但系統中頻繁的數據交互也會帶來一下幾個問題：

數據交互耦合度高，不易擴展，若新增新的數據提供方提供數據，還需修改各層業務。若調用多方數據提供商，獲取的數據自然會有一些相同，會產生數據冗余。若調用多方數據提供商以及調用次數多或者頻繁，都將會導致一個性能遲鈍的問題。線性訪問各個數據提供商的服務器，產生的網絡訪問連接消耗累積耗時將會影響用戶體驗。一些請求數據中可能會存在垃圾數據，需避免對數據提供方產生數據污染或者侵入。

發明內容：

為解決上述技術問題，本發明提供一種基于多維數據變量的數據交互方法及平臺，能有效過濾垃圾數據以及在各系統之間實現高效實時數據互動，為各類數據服務提供高效穩定的數據支持。

一種基于多維數據變量的數據交互平臺分為三個模塊：1、校驗模塊2、接口引擎3、配置解析引擎。所述校驗模塊，通過布隆過濾器實現對垃圾數據進行過濾；所述接口引擎，并發調用多個數據提供方接口以交互獲取多維數據變量，并能返回有效數據放的功能；所述配置解析引擎，對所述接口引擎返回的數據進行自動以及私有化定制解析的功能。

進一步，校驗模塊根據解析出來的字段和數據類型來映射自身所提供的所有安全字段，以此篩選出安全可靠的字段，避免污染字段注入。

進一步，根據字段匹配合理的數據提供商的接口，若未指定具體數據提供商的接口，在此制定了一個最優匹配策略。首先，篩選出所有能滿足所需字段的接口。其次，篩選出所有最穩定以及高效的接口。最后，優先選擇訪問最快的接口。

進一步，接口引擎根據接口類型并發訪問各個數據提供商接口,以此進行多維數據變量交互獲取。并發，在操作系統中，是指一個時間段中有幾個程序都處于已啟動運行到運行完畢之間，且這幾個程序都是在同一個處理機上運行，但任一個時刻點上只有一個程序在處理機上運行，但又由于目前cpu處理性能高效，處理任務直觀感受將會是同一時刻在進行。對于量級大的或者單個訪問效率偏慢的，并發處理的性能會遠遠超過線性處理的性能。

進一步，配置解析引擎對接口引擎返回的數據進行解析封裝。可在開始就配置多套解析封裝方案，同時也可抽象出了私有方法供用戶自定義解析封裝。用戶只需在訪問請求時傳入數據結構配置，配置解析引擎將會根據指定數據結構配置解析封裝數據。

本發明還提供一種基于多維數據變量的數據交互方法，其包括以下步驟：

(1)數據請求方請求接入；

(2)利用布隆過濾器對接入的數據進行過濾，以過濾掉垃圾數據變量，解析請求參數，獲取字段及其數據類型；

(3)通過與合法字段列表進行匹配，從而對(2)獲取的所有字段進行合法校驗，如果合法，則篩選出合法字段，然后執行(4)；如果不合法，則執行(8)；