[發明專利]一種行集數據的處理方法、裝置及數據處理系統

有效

• 申請號: 200910189019.4
• 申請日: 2009-12-16
• 公開（公告）號: CN101714099A
• 公開（公告）日: 2010-05-26
• 發明（設計）人: 鄭學明
• 申請（專利權）人: 金蝶軟件(中國)有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

技術領域

本發明屬于數據處理技術領域，尤其涉及一種行集數據的處理方法、裝置 及數據處理系統。

背景技術

在現有技術中，為了實現復雜的多步驟的數據處理，一般會有多個任務節 點，每個任務節點都有不同的處理邏輯和算法，數據處理時由第一個任務節點 開始，處理完數據后，將數據輸出到第二個任務節點，以此類推，一直到最后 一個任務節點，如果有異常，會直接輸出到異常任務節點，并結束任務。

上述的數據處理方式中，有且只有一個起始任務節點和一個終止任務節點， 非起點的處理任務有且只有一個前繼任務，非結束點的任務有且只有一個后繼 任務，這樣的處理方法在定義上比較簡單，流程比較清楚，但響應速度較慢， 必須等到所有節點任務執行完畢后才會有數據輸出。另外，為了提高執行速度， 需要分配大塊的連續內存，來裝載每個任務節點處理數據的輸入/輸出。

發明內容

本發明實施例的目的在于提供一種行集數據的處理方法，旨在解決現有技 術中存在的數據處理的響應速度慢、且需占用大塊的連續內存的問題。

本發明是這樣實現的，一種行集數據的處理方法，所述方法包括以下步驟：

將待處理的行集數據傳入起始任務節點的輸入緩沖區；

從所述輸入緩沖區中逐行取出數據進行處理，將處理完的數據傳輸至中繼 任務節點的中轉緩沖區；

當存在下一個中繼任務節點時，從當前中繼任務節點的中轉緩沖區中逐行 取出數據進行處理，將處理完的數據傳輸至下一個中繼任務節點的中轉緩沖區， 以此類推；

當不存在下一個中繼任務節點時，從當前中繼任務節點的中轉緩沖區中逐 行取出數據進行處理，將處理完的數據傳輸至終止任務節點的輸出緩沖區；

將終止任務節點輸出緩沖區的數據輸出。

本發明實施例的另一目的在于提供一種行集數據的處理裝置，所述裝置包 括：

數據傳輸模塊，用于將待處理的行集數據傳入起始任務節點的輸入緩沖區；

用于從所述輸入緩沖區中逐行取出數據進行處理，將處理完的數據傳輸至 中繼任務節點的中轉緩沖區的模塊；

用于當存在下一個中繼任務節點時，從當前中繼任務節點的中轉緩沖區中 逐行取出數據進行處理，將處理完的數據傳輸至下一個中繼任務節點的中轉緩 沖區的模塊；

用于當不存在下一個中繼任務節點時，從當前中繼任務節點的中轉緩沖區 中逐行取出數據進行處理，將處理完的數據傳輸至終止任務節點的輸出緩沖區 的模塊；

數據輸出模塊，用于將終止任務節點輸出緩沖區的數據輸出。

本發明實施例的另一目的在于提供一種包括上面所述的行集數據的處理裝 置的數據處理系統。

在本發明實施例中，采用流水線式處理行集數據，以單數據行作為處理單 位，每一行數據處理完畢，立即輸出到中繼任務節點，不必等待所有數據行處 理完畢，提高了數據處理的響應速度，只需要申請更小的內存塊，對系統內存 的要求更低、使用率更高；提高了數據的處理量，使得處理系統具有更好的伸 縮性，從而通過擴充CPU和其它硬件來加快處理的速度，具有很好的擴展性。

附圖說明

圖1是本發明第一實施例提供的行集數據的處理方法的實現流程示意圖。

圖2是本發明第二實施例提供的行集數據的處理方法的實現流程示意圖。

圖3是本發明第三實施例提供的行集數據的處理方法的實現流程示意圖。

圖4是本發明第四實施例提供的行集數據的處理方法的實現流程示意圖。

圖5是本發明第五實施例提供的行集數據的處理方法的實現流程示意圖。

圖6是本發明第六實施例提供的行集數據的處理裝置的結構示意圖。

圖7是本發明第七實施例提供的行集數據的處理裝置的結構示意圖。

圖8是本發明第八實施例提供的行集數據的處理裝置的結構示意圖。

圖9是本發明第九實施例提供的行集數據的處理裝置的結構示意圖。

具體實施方式

為了使本發明所要解決的技術問題、技術方案及有益效果更加清楚明白， 以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描 述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。