[發明專利]一種業務處理和數據源確定方法

有效

• 申請號: 202010006645.1
• 申請日: 2020-01-03
• 公開（公告）號: CN111209100B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 王飛飛
• 申請（專利權）人: 光大興隴信托有限責任公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京中和立達知識產權代理事務所(普通合伙) 11756
• 代理人: 祝妍

本發明涉及一種業務處理和數據源確定方法，所述方法包括：為通道列表中的通道確定數據源集合；對數據源進行處理以進行數據源的復用；從通道列表的頭部選擇一通道進行業務處理，直到通道列表尾部為止。本發明能夠在考慮業務多層次特征的基礎上，進行業務通道，計算節點、數據源確定的全局考慮，在進行業務的處理過程中，同時對業務的處理速度、節點的復用性，可用性，通道的歷史處理情況等角度出發進行及業務的處理和數據源的選擇，在確定了計算節點和數據源的大范圍的情況下，支持多節點的業務并行處理，能夠保障數據計算的準確度和實時性。

【技術領域】

本發明屬于計算機技術領域，尤其涉及一種業務處理和數據源確定方法。

【背景技術】

隨著社會工業化、信息化水平的不斷提高，如今數據已取代計算成為信息計算的中心，云計算、大數據正在成為一種趨勢和潮流。包括存儲容量、可用性、I/O性能、數據安全性、可擴展性等諸多方面。由于大數據中包含海量的信息，在對海量信息中的可用數據資源進行分布式的大數據分析和挖掘是最優選方式。在進行業務處理時，很多對于大數據透明使用的相關研究，但是對于業務處理節點來說，很多業務需要大量的數據分析和對比，這就需要大量的計算和數據傳輸。在進行業務處理時，現有技術中往往是進行業務處理通道的選擇，而對通道的考慮往往是僅僅局限于業務處理過程的方式以及業務處理的節點。或者往往集中于如何進行數據源自身的評估，并集中于研究如何進行數據源本身的選擇，但是在進行業務處理過程中，業務處理的效率不僅和業務本身相關，還和業務處理所選擇的通道以及處理過程中涉及的數據源相關，現有技術中沒有針對將這三者進行聯合考慮，從而從一個整體的效率研究如何提高業務處理效率這個問題。此外，現有的業務規模已經相當大了，如果僅僅還是采用傳統的任務調度方法是進行業務處理則過于局部而缺乏全局性。本發明能夠在考慮業務多層次特征的基礎上，進行業務通道，計算節點、數據源確定的全局考慮，在進行業務的處理過程中，同時對業務的處理速度、節點的復用性，可用性，通道的歷史處理情況等角度出發進行及業務的處理和數據源的選擇，在確定了計算節點和數據源的大范圍的情況下，支持多節點的業務并行處理，能夠保障數據計算的準確度和實時性；

【發明內容】

為了解決現有技術中的上述問題，本發明提出了一種業務處理和數據源確定方法，所述方法包含：

步驟S1：基于業務數據確定處理通道；

步驟S2：縮小候選通道列表以得到通道列表；

步驟S3：對通道列表中的每個通道確定計算節點；

步驟S4：對計算節點進行處理以消除通道間的重復計算節點；

步驟S5：為通道列表中的通道確定數據源集合；

步驟S6：對數據源進行處理以進行數據源的復用；

步驟S7：從通道列表的頭部選擇一通道進行業務處理，直到通道列表尾部為止。

進一步的，所述步驟S1具體為：于業務數據抽取業務特征，基于業務特征的特點對業務特征進行分類，基于分類的業務特征確定候選通道列表。

進一步的，所述步驟S2具體為:確定候選通道列表中每個通道的通道轉移概率，從候選通道列表的頭部開始依次選擇P個通道使得所述P個通道均發生通道轉移的概率小于轉移閾值，舍棄從P+1開始的通道以得到縮小后的候選通道列表，將所述縮小后的候選通道列表作為通道列表。

進一步的，所述基于分類的業務特征確定候選通道列表。

進一步的，所述基于分類的業務特征確定候選通道列表，具體為：對于n類業務特征中的每個類型的業務特征，計算所述類型的業務特征的歸一化向量，計算所述歸一化向量的模；對于n類業務特征對應n個模值；基于所述n個模值確定候選通道列表。

進一步的，預先保存n個模值和候選通道列表之間的對應關系，并通過查找獲得所述n個模值對應候選通道列表。