[發(fā)明專利]易擴展海量數據采集系統

有效

• 申請?zhí)枺?/td>: 201210496189.9
• 申請日: 2012-11-28
• 公開（公告）號: CN103853719B
• 公開（公告）日: 2018-05-22
• 發(fā)明（設計）人: 舒剛
• 申請（專利權）人: 勤智數碼科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.易擴展海量數據采集系統：包括有對外入庫信息提交接口和數據庫，其特征在于，該系統還包括有數據存儲控制器、入庫信息緩存、入庫工作終端管理器、入庫任務緩存、入庫終端、入庫信息轉存文件、配置規(guī)則庫、錯誤信息轉存文件；

數據存儲控制器：負責接收、分配待入庫信息，在啟動過程中，掃描并加載入庫信息轉存文件中轉存的入庫信息；數據存儲控制器啟動完畢后，根據入庫信息緩存中的數據條數，按照配置規(guī)則將入庫信息緩存中的入庫信息以最優(yōu)方式轉化封裝成入庫任務，并提交給入庫工作終端管理器；在系統關閉過程中，數據存儲控制器將入庫信息緩存中的未分配入庫信息，也可以包含被拒絕提交的入庫任務，轉存到入庫信息轉存文件中；

入庫工作終端管理器：負責入庫任務的接收、分配，在系統啟動后，入庫工作終端管理器接收到數據存儲控制器提交的入庫任務，隨后檢查所屬的入庫終端是否有空閑終端，如果有空閑終端，則進行入庫任務分發(fā)；如果沒有，則還需根據配置規(guī)則查看任務緩存中的任務數量是否達到了最大的承載數量，當達到了任務最大承載數量的時候，再根據配置規(guī)則中的轉存策略將部分入庫任務轉存入庫信息轉存文件；當該數據存儲控制器的所屬的入庫終端處于低負載狀態(tài)時，該入庫工作終端管理器應該通知數據存儲控制器，掃描入庫信息轉存文件中是否有轉存的未入庫的入庫信息；該系統關閉過程中，該入庫工作終端管理器停止接收新任務和分配任務到入庫終端，保存任務緩存中未分配的入庫任務到入庫信息轉存文件；

入庫終端：入庫終端接收入庫工作終端管理器分配的任務，執(zhí)行入庫操作，在執(zhí)行過程中，如果發(fā)現錯誤的入庫信息，則將該錯誤的入庫信息過濾，并轉存到錯誤信息轉存文件，然后繼續(xù)執(zhí)行未執(zhí)行完畢的入庫信息，如果發(fā)生存儲異常，則回退所有的數據庫操作，并且將入庫終端正在執(zhí)行的入庫任務轉存到入庫信息轉存文件中；

配置規(guī)則庫：存儲配置規(guī)則的配置信息，包括每批最優(yōu)入庫信息數、等待最優(yōu)信息數最長時間、最大可承載任務數、入庫任務失敗重試次數、入庫信息轉存策略、入庫信息轉存文件、錯誤信息轉存文件，為系統運行提供準則。

2.根據權利要求1所述易擴展海量數據采集系統：其特征在于：所述入庫信息緩存為與數據存儲控制器相關聯的數據庫。

3.根據權利要求1所述易擴展海量數據采集系統：其特征在于：所述入庫任務緩存為與入庫工作終端管理器相關聯的數據庫。