[發明專利]一種動態調整多數據源數據集成處理方法與裝置

有效

• 申請號: 201811566680.8
• 申請日: 2018-12-20
• 公開（公告）號: CN109684367B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 陳貽汕;韓晗;陳銳浩;衛浩
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 李龍;徐金瓊

本發明公開了一種動態調整多數據源數據集成處理方法與裝置，屬于網絡應用技術領域，解決現有技術中多數據源和多場景頻繁變動的情況下，造成多數據源數據集成處理的效率低、資源浪費且系統開發與維護的時間成本與資源成本高等問題。本發明對N個不同系統執行數據調取命令，返回N個數據源的數據項；判斷應用場景是否發生變化；若應用場景未變化，繼續判斷是否存在數據源數據項調取失敗的情況；若應用場景變化或數據源調取失敗，遍歷尋找能達到決策效果最優的各數據源數據項權重關系，更新為最新的各數據源數據項的權重關系；基于所有數據源數據項，進行加權計算，得到用于決策的關鍵性數據項Y。用于適用于多應用場景的多數據源數據的集成。

技術領域

一種動態調整多數據源數據集成處理方法與裝置，用于適用于多應用場景的多數據源數據的集成，屬于網絡應用技術領域。

背景技術

目前隨著可收集的數據維度日益增加和分布式數據存儲的推廣，大部分用戶決策都需要基于多個數據源進行開展。而不同數據源由于采集方式、存儲方式、傳輸方式等的不同，分布于不同的數據系統中。如何協調分布于不同系統的數據源的傳輸、處理會直接影響到業務決策的時效性與正確性。一種典型的技術場景是：一個用于用戶決策的關鍵數據項Y的具體數值，依賴于N個不同數據源數據項(X₁、X₂、…、X_N)的具體數值的集成計算，而這N個數據源分布于不同的數據系統中。

現有的技術方案，對于多數據源數據的傳輸和集成處理方法，主要步驟如下：

步驟1：對N個不同系統執行數據調取命令，返回N個數據源的數據項(X₁、X₂、…、X_N)；

步驟2：對返回的N個數據項(X₁、X₂、…、X_N)的具體數值傳輸進計算模塊，進行集成處理，一般方法是對所有N個數據項進行固定權重的加權相加，返回用戶決策所需的關鍵數據項Y的具體數值；

步驟3：根據返回的關鍵數據項Y進行用戶決策；

使用上述方法的缺點如下：

1.不同數據源由于采集方式不同，以及數據存儲的數據庫不同，造成各數據源的維護方式不一致。上述方法中，一旦某一個數據源數據項(X_i)發生調取錯誤，將導致用于決策的關鍵性數據項(Y)無法計算，同時造成其他正常調取數據源數據項的傳輸資源浪費和計算資源浪費，尤其在數據源數量很多(比如N＞50)的情況下，因某一個數據源發生調取錯誤而導致整個關鍵數據項Y無法返回的中斷風險和系統資源浪費會極大增加；

2.上述方法中，在處理各數據源數據項集成計算時，采用對所有N個數據項進行固定權重的加權相加方法得到用于決策的關鍵性數據項。對于特定的場景，設定固定的權重。一旦業務場景發生變化或新增數據源，權重需要重新調整，步驟1、步驟2的計算代碼需要重新編寫，多數據源的數據傳輸、集成處理的程序需要重新開發與部署。因此，現有技術方案對于多數據源的傳輸、集成處理方式無法滿足多場景所需的穩定性要求，增加了系統開發與維護的時間成本和系統資源浪費，降低了多數據源數據傳輸與集成處理的效率。

綜上所述，多數據源數據傳輸、集成處理的技術難點在于：

1.由于多數據源和多場景的頻繁變動導致的開發、維護成本上升；

2.由于某一個數據源失效導致的其他正常數據源調取資源浪費；

3.由于多場景變動，各數據源數據權重重新計算且計算程序重新編寫部署的效率低下問題。

發明內容

針對上述研究的問題，本發明的目的在于提供一種動態調整多數據源數據集成處理方法與裝置，解決現有技術中多數據源和多場景頻繁變動的情況下，造成多數據源數據集成處理的效率低、資源浪費且系統開發與維護的時間成本與資源成本高等問題。