[發明專利]一種后臺業務處理框架的搭建方法和系統

在審

• 申請號: 201710390022.7
• 申請日: 2017-05-27
• 公開（公告）號: CN107291493A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 王智
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/48;G06F9/50
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立

技術領域

本發明涉及互聯網通訊領域，特別涉及一種后臺業務處理框架的搭建方法和系統。

背景技術

框架屬于一種輕量級的調度框架，能夠將較大的批量任務拆分成合適的子任務再發送至消息服務器中緩存，并等待應用服務集群的處理?？蚣苤粚Ｗ⒂谌蝿盏牟鸱趾驼{度，并不涉及任何業務邏輯、中間狀態等。對于傳統的后臺業務處理框架，由于沒有對后臺的批處理應用的公共部分進行固化，系統會反復的調用公共部分從而導致某些環節因為通訊流量過大出現訪問超時或者擁堵，導致整個系統穩定性差，嚴重時會導致系統崩潰。

發明內容

本發明提供了一種后臺業務處理框架的搭建方法和系統，解決以上所述技術問題。

本發明解決上述技術問題的技術方案如下：一種批量后臺通用框架方法，包括以下步驟：

S1，獲取預設的配置文件；

S2，創建主進程，對系統進行初始化后讀取所述配置文件，并將讀取的內容提供給主進程；

S3，控制主進程獲取所述配置文件的內容，并通過主進程啟動日志管理模塊，然后通過日志管理模塊創建日志管理線程，以對日志管理線程的日志進行讀寫；同時通過主進程啟動線程管理模塊，然后通過線程管理模塊創建業務線程，以對程序的業務數據進行處理；所述業務線程包括數據抽取流程和數據處理流程，所述數據抽取流程用于創建定時任務數據源，所述數據處理流程用于處理數據源的業務數據，所述數據源包括定時任務數據源和系統外部寫入的數據源。

本發明的有益效果是：本發明通過對后臺的批處理應用的公共部分進行固化，從而大大提高了開發人員的效率，也使得系統框架更加穩定，問題排查更加直接有效。

進一步,步驟S3中所述數據抽取流程用于創建定時任務數據源，具體為：

S301，獲取預設的SQL語句；

S302，執行SQL語句，并將執行SQL語句的結果輸入到定時任務中創建定時任務數據源。

采用上述進一步方案的有益效果是：通過創建定時任務數據源，方便后續在有業務需要處理的時候從數據源中調取數據，節省系統資源。

進一步，步驟S3中所述數據抽取流程用于業務數據處理，具體為：

S311，創建業務主線程和業務處理子線程；

S312，采用業務主線程對數據源進行掃描，若數據源中無業務數據，則控制業務主線程進行等待，若數據源中有業務數據，則控制業務主線程按照數據提取的配置規則對數據源的業務數據進行提取，并對提取的業務數據按照預設的數據分發規則進行業務數據分發；

S313，采用業務處理子線程接收所述業務主線程分發的業務數據，并按照預設的處理規則對所述業務數據進行處理。

采用上述進一步方案的有益效果是：通過構建業務主線程對定時任務數據源的數據進行提取，然后分發給業務處理子線程進行業務數據處理，業務數據處理框架結構分工明確，方便在業務處理的過程中程序出現問題后的進行查找。

進一步，步驟S311和步驟S312中，將所述數據提取的配置規則、數據分發規則以及業務處理子線程處理規則分別抽象成方法，業務線程重寫到抽象方法中完成業務線程的運行，所述數據提取的配置規則、數據分發規則以及業務處理子線程處理規則預設在緩存中。

采用上述進一步方案的有益效果是：將數據提取的配置規則、數據分發規則以及業務處理子線程處理規則預存放在緩存中，調用速度快，有利于提高系統的響應速度。

進一步，步驟S312中，所述數據分發采用負載均衡的方式分發給業務處理子線程。

采用上述進一步方案的有益效果是：通過采用負載均衡的方式分發數據解決了在數據分發的過程中網絡擁塞的問題，提高服務器響應速度，服務就近提供，達到更好的訪問質量。

進一步，步驟S2中，將所述配置文件的內容加載于內存中，且在整個框架搭建方法中只加載一次，后續直接在內存中進行調用。

采用上述進一步方案的有益效果是：通過將配置文件的內容加載在內存中，后續在使用配置文件的內容是不需要重復加載，直接通過在內存中調用后使用，節省了系統響應時間。

本發明還提供了一種后臺業務處理框架的搭建系統，包括：

獲取模塊，用于獲取預設的配置文件；

配置文件加載模塊，用于對系統進行初始化后讀取所述配置文件，并將讀取的內容提供給主進程；