[發(fā)明專利]一種采用二次緩沖技術(shù)的信息系統(tǒng)數(shù)據(jù)同步處理方法

有效

• 申請?zhí)枺?/td>: 201210582263.9
• 申請日: 2012-12-28
• 公開（公告）號: CN103023809A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計）人: 陳文文;楊甦;蔡志明;盧傳富
• 申請（專利權(quán)）人: 中國船舶重工集團公司第七0九研究所
• 主分類號: H04L12/861
• 分類號: H04L12/861;H04L29/08;H04L1/00
• 代理公司: 武漢金堂專利事務(wù)所 42212
• 代理人: 胡清堂

1.一種采用二次緩沖技術(shù)的信息系統(tǒng)數(shù)據(jù)同步處理方法,其特征在于:包括如下方式:

（1）?采用統(tǒng)一的數(shù)據(jù)格式對信息通道內(nèi)的數(shù)據(jù)進行封裝，通過幀頭封裝的信息處理方法實現(xiàn)同步數(shù)據(jù)與其對應(yīng)信息通道的映射;

（2）使用二次緩沖處理機制的多線程數(shù)據(jù)同步方法，該方法實現(xiàn)對高速率、多通道信息的數(shù)據(jù)同步;

（3）進行信息數(shù)據(jù)同步之后數(shù)據(jù)的使用、處理方法。

2.如權(quán)利要求1所述的?一種采用二次緩沖技術(shù)的信息系統(tǒng)數(shù)據(jù)同步處理方法,其特征在于:?所述的自定義同步信息統(tǒng)一封裝數(shù)據(jù)格式與信息系統(tǒng)數(shù)據(jù)通道映射方法,包括如下步驟:

步驟1：從網(wǎng)絡(luò)接收到信息源數(shù)據(jù)報，得到的是原始接收數(shù)據(jù)的頭指針與信息長度數(shù)據(jù);

步驟2：得到原始數(shù)據(jù)信息后，在這個內(nèi)存段數(shù)據(jù)的之前，首先定義和添加自定義的信息單元頭;?

步驟3：處理信息單元的幀頭時，在幀頭定義的結(jié)構(gòu)字段中記錄下信息收到時候的信息通道屬性，屬性的具體內(nèi)容包括：數(shù)據(jù)同步時間、通道鏈路類型、數(shù)據(jù)信息源標(biāo)識、通道標(biāo)識、原始信息長度、保留字段;?

步驟4：在原始數(shù)據(jù)信息前加上已處理好的信息單元幀頭，形成完整的信息封裝幀，該封裝信息幀中所包含的各個字段的信息，分別可映射數(shù)據(jù)的來源通道，以及原始數(shù)據(jù)的長度和內(nèi)容;

步驟5：由于封裝幀不僅記錄了同步數(shù)據(jù)的通道信息，還包含原始數(shù)據(jù)進行同步處理時的記錄時間，因此也很容易通過發(fā)送數(shù)據(jù)的時間間隔控制來還原接收各個通道數(shù)據(jù)原來的時序關(guān)系;

步驟6：完成信息封裝后，數(shù)據(jù)接收處理線程再準(zhǔn)備將封裝數(shù)據(jù)幀壓入第一級緩沖處理隊列，等待后續(xù)處理。

3.如權(quán)利要求1所述的?一種采用二次緩沖技術(shù)的信息系統(tǒng)數(shù)據(jù)同步處理方法,其特征在于:所述的使用二次緩沖處理機制的數(shù)據(jù)同步的方法,,包括:如下步驟:

步驟1：信息封裝格式的數(shù)據(jù)幀頭記錄下原始數(shù)據(jù)報文到達時的時間、網(wǎng)絡(luò)、組播、端口、標(biāo)識等信息，將封裝后的信息進行第一次數(shù)據(jù)緩沖：將接收并封裝好的數(shù)據(jù)報文壓入第一個較大的堆對象緩沖隊列;

步驟2：處理機在對多個信息通道數(shù)據(jù)進行處理時，設(shè)置多個一級緩沖隊列和處理線程，多通道數(shù)據(jù)的處理采用并行方式進行，第一次緩沖的目的是針對網(wǎng)絡(luò)接收的原始數(shù)據(jù)進行同步屬性記錄和緩存，避免在數(shù)據(jù)率過高的條件下，數(shù)據(jù)在網(wǎng)絡(luò)處理這個階段就出現(xiàn)丟失的情況;

步驟3：在數(shù)據(jù)進行第一次緩沖處理的末尾階段，依據(jù)本路信息通道的數(shù)據(jù)率進行累計數(shù)據(jù)分段處理，數(shù)據(jù)分段時，設(shè)置數(shù)據(jù)分段的大小，并對打包數(shù)據(jù)進行累加計數(shù);

步驟4：用戶可根據(jù)系統(tǒng)性能要求，對數(shù)據(jù)分段策略進行判斷，可只判斷分段數(shù)據(jù)大小、也可判斷封裝幀的累加計數(shù)值，或者兩者都判斷;當(dāng)分段條件滿足時，則準(zhǔn)備進行第二次數(shù)據(jù)緩沖，數(shù)據(jù)分段的主要目的是考慮在較高的數(shù)據(jù)速率的條件下，適當(dāng)降低線程調(diào)度頻率，提高數(shù)據(jù)同步效率;

步驟5：完成第一次緩沖后的數(shù)據(jù)段，在壓入第二級緩沖隊列的過程中，操作系統(tǒng)對數(shù)據(jù)接收子線程進行輪詢調(diào)度，將并行的多路數(shù)據(jù)壓入二級緩沖隊列，實現(xiàn)并行數(shù)據(jù)的同步序列化，對數(shù)據(jù)進行第二次緩沖，是為保證信息在同步之后進行輸出時，不會因為同步數(shù)據(jù)的使用端在短時間內(nèi)性能不足，而造成數(shù)據(jù)段堆積溢出，因此，二級緩沖隊列設(shè)置的容量較大，可有效保護數(shù)據(jù)，提升數(shù)據(jù)同步的性能，達到將數(shù)據(jù)平穩(wěn)輸出的目的;

步驟6：在第二次數(shù)據(jù)緩沖處理末尾處，分段數(shù)據(jù)彈出，進行分段數(shù)據(jù)分解處理，經(jīng)過分解處理，可將其還原成多個自定義封裝數(shù)據(jù)幀，該數(shù)據(jù)幀即為之前封裝的原始數(shù)據(jù)。