[發明專利]鐵路運輸統計中的數據抽取多任務管理方法和系統

有效

• 申請號: 201710722692.4
• 申請日: 2017-08-22
• 公開（公告）號: CN107562538B
• 公開（公告）日: 2020-01-07
• 發明（設計）人: 張錦超;李紀鈾;孫晶;賀曉玲;陳浩;薛默;陳翠杰;郭洋洋;任艷方;王龍;鐘劍;董立華;史維峰
• 申請（專利權）人: 中國鐵道科學研究院電子計算技術研究所;北京經緯信息技術公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 11612 北京金咨知識產權代理有限公司
• 代理人: 宋教花

本發明提供一種鐵路運輸統計中的數據抽取多任務管理方法和系統，該方法包括：創建包含多個線程的線程池；生成多個數據抽取任務；在創建的線程池中存在空閑的數據讀取線程的情況下利用該空閑的線程執行數據抽取任務中的數據讀取過程，以從數據源讀取數據；在不存在的情況下將待執行數據讀取的數據抽取任務順序加入待讀取隊列；在創建的線程池中存在空閑的數據寫入線程的情況下利用該空閑線程執行數據抽取任務中的數據寫入過程，將從數據源讀取的數據寫入數據庫中；在不存在的情況下將待執行數據寫入過程的數據抽取任務順序加入待寫入隊列。本發明能快速、高效地從各基層單位的專業統計系統抽取到原始數據和統計數據而防止服務器超時或崩潰。

技術領域

本發明涉及鐵路運輸統計及監察技術領域，尤其涉及一種鐵路運輸統計中的數據抽取多任務管理方法和系統。

背景技術

鐵路貨車統計監察工作是鐵路運輸統計監察工作中最為重要的組成部分，對提高鐵路運輸生產效率有著重要的作用和意義，實際統計工作中需要采集預確報、現車、貨運等基礎數據資源，是一個非常復雜的系統。

基于傳統的監察模式，監察人員通常到現場對統計數據進行抽查，監察工作覆蓋范圍和時間跨度都受到了嚴格的限制。隨著鐵路信息化建設的發展，鐵路運輸各專業統計工作已經逐步實現了信息化，鐵路運輸統計監察工作被監察對象的表現形式也發生了重大變化。

鐵路運輸統計監察系統采集處理基層單位業務相關的原始信息和統計數據，然后根據各專業監察子系統的業務進行數據分析、檢查，最終形成報告并呈現給監察人員。目前，在數據收集過程中，存在以下問題：(1)統計監察系統部署分散，收集數據耗時費力：各系統在基層單位的覆蓋范圍較廣，部署分散，數據存放在各個基層使用單位，不易收集。(2)數據量巨大,數據獲取壓力太大：由于統計系統每天產生業務數據很多，用程序逐個收集統計系統原始數據的方式無法滿足對數據獲取的要求，且容易造成系統服務器崩潰。

因此，在鐵路運輸統計監察工作中，需要從多個專業統計系統獲取大量的統計數據，如何快速、高效地從各基層單位的專業統計系統抽取到原始數據和統計數據而防止服務器超時或崩潰，是現有技術中尚未解決的問題。

發明內容

鑒于如上現有技術，本發明實施例提供了一種鐵路運輸統計的中數據抽取多任務管理方法及系統，以消除或改善現有技術中存在的一個或更多個缺陷。

本發明的一方面，提供了一種鐵路運輸統計中的數據抽取多任務管理方法，該方法包括如下步驟：

線程池創建步驟：創建包含多個線程的線程池；

任務生成步驟：生成用于從多個數據源抽取鐵路運輸統計數據的多個數據抽取任務；

任務執行讀取步驟，在創建的線程池中存在空閑的數據讀取線程的情況下利用空閑的數據讀取線程按順序執行數據抽取任務中的數據讀取過程，來從對應的數據源讀取數據；在線程池中不存在空閑的數據讀取線程的情況下將待執行數據讀取過程的數據抽取任務順序加入待讀取隊列；

任務執行寫入步驟：在創建的線程池中存在空閑的數據寫入線程的情況下利用空閑的數據寫入線程執行數據抽取任務中的數據寫入過程，將從數據源讀取的數據寫入數據庫中；在線程池中不存在空閑的數據寫入線程的情況下將待執行數據寫入過程的數據抽取任務順序加入待寫入隊列。

優選地，所述方法還包括：線程管理步驟：監控線程池中各線程并行執行的數據抽取任務的運行質量狀態，在數據抽取任務的運行質量低于預定條件時中斷該數據抽取任務，改為執行待處理任務隊列中的下一任務。

優選地，創建的線程池包括：第一數量的數據讀取線程和第二數量的數據寫入線程；或者創建的線程池包括：第一線程池和第二線程池，所述第一線程池中包含多個數據讀取線程，第二線程池中包含多個數據寫入線程。

優選地，所述預定條件為預定的數據抽取傳輸速度。