[發明專利]數據傳輸方法和系統

在審

• 申請號: 201810571369.6
• 申請日: 2018-06-05
• 公開（公告）號: CN110572421A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 羅超;雷利博
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L1/18
• 代理公司: 11021 中科專利商標代理有限責任公司
• 代理人: 呂雁葭

本公開提供了一種數據傳輸方法，包括：生成第一時間段內的m個數據變動消息，所述數據變動消息包括變動數據的標識信息，m≥1；獲取所述第一時間段對應的第一標示位，所述第一標示位具有初始值；利用所述m個變動數據的標識信息更新第一標示位的值，得到第一標示位的一次變更值；將所述第一時間段內的m個數據變動消息發送至接收端，以供接收端利用其接收的n個變動數據的標識信息將所述第一標示位的值由一次變更值更新為二次變更值，n≥1，m與n相同或不相同；獲取所述第一標示位的二次變更值，并根據所述第一標示位的初始值和二次變更值判斷傳輸過程中是否有遺漏消息。

技術領域

本公開涉及互聯網技術領域，更具體地，涉及一種數據傳輸方法和系統。

背景技術

隨著互聯網應用的發展，用戶量的激增，數據存儲數量呈指數遞增，為了提供不同的數據服務，同一種數據經常需要在不同的數據源異構出多份，其中一個數據源的數據發生變動，需要將數據變動消息傳輸至其他數據源，發送策略可以配置為每條同步發送或者異步發送。

在實現本發明公開構思的過程中，發明人發現現有技術中至少存在如下問題：每條同步發送可以保證消息的絕對可靠，不會丟消息，但是會大大影響消息的吞吐量，無法應用與大數據量的場景；異步發送能夠適應大數據量的場景，但是會存在丟失消息的風險。因此，如何使數據傳輸過程同時具備高吞吐量和可靠性成為亟需解決的技術問題。

發明內容

有鑒于此，本公開提供了一種數據傳輸方法，包括：生成第一時間段內的m個數據變動消息，所述數據變動消息包括變動數據的標識信息，m≥1；獲取所述第一時間段對應的第一標示位，所述第一標示位具有初始值；利用所述m個變動數據的標識信息更新第一標示位的值，得到第一標示位的一次變更值；將所述第一時間段內的m個數據變動消息發送至接收端，以供接收端利用其接收的n個變動數據的標識信息將所述第一標示位的值由一次變更值更新為二次變更值，n≥1，m與n相同或不相同；獲取所述第一標示位的二次變更值，并根據所述第一標示位的初始值、一次變更值和二次變更值中的至少兩者判斷傳輸過程中是否有遺漏消息。

根據本公開的實施例，所述利用所述m個變動數據的標識信息更新第一標示位的值包括：從第一標示位的初始值開始，依次利用所述m個變動數據的標識信息與第一標示位的值進行第一運算；所述利用其接收的n個變動數據的標識信息將所述第一標示位的值由一次變更值更新為二次變更值包括：從第一標示位的一次變更值開始，依次利用其接收的n個變動數據的標識信息與第一標示位的值進行第二運算，得到第一標示位的二次變更值。

根據本公開的實施例，所述第一運算和第二運算包括異或運算。

根據本公開的實施例，所述變動數據的標識信息包括變動數據的主鍵和數據產生變動的時間。

根據本公開的實施例，根據所述第一標示位的初始值、一次變更值和二次變更值中的至少兩者判斷傳輸過程中是否有遺漏消息包括：根據所述第一標示位的初始值和二次變更值判斷傳輸過程中是否有遺漏消息；所述根據所述第一標示位的初始值和二次變更值判斷傳輸過程中是否有遺漏消息包括：在所述初始值與二次變更值相同的情況下，判斷為無遺漏消息；在所述初始值與二次變更值不相同的情況下，判斷為有遺漏消息。

根據本公開的實施例，數據傳輸方法還包括：在傳輸過程中有遺漏消息的情況下，補發所述第一時間段內生成的m個數據變動消息至接收端。

根據本公開的實施例，數據傳輸方法還包括：在傳輸過程中有遺漏消息的情況下，利用第一時間段內的m個變動數據逐個與第一標示位的二次變更值進行第二運算，運算結果為初始值的變動數據為遺漏數據；補發所述遺漏數據至接收端。