[發明專利]一種抗并發的數據寫入方法和系統

在審

• 申請號: 201811265135.5
• 申請日: 2018-10-29
• 公開（公告）號: CN109522136A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 劉豐
• 申請（專利權）人: 無錫天脈聚源傳媒科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/2453
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 譚英強

1.一種抗并發的數據寫入方法，其特征在于，包括以下步驟：

在繁忙時段，根據緊急程度對接收到的數據進行分級；所述繁忙時段指負荷達到預設值的時段或預先設定的時段；

根據分級結果，向數據分配優先權；

根據數據分配到的優先權順序以及數據的業務類型，將數據存放到對應的卡夫卡消息隊列；所述卡夫卡消息隊列具有對應的業務類型，所述卡夫卡消息隊列用于接收相同業務類型的數據；

當檢測到不存在相同業務類型的卡夫卡消息隊列而導致數據存放失敗時，拒絕接收未能存放到卡夫卡消息隊列中的數據，并向相應的數據源進行反饋；

在非繁忙時段，將卡夫卡消息隊列中存放的數據讀出并寫入到數據庫中。

2.根據權利要求1所述的一種抗并發的數據寫入方法，其特征在于，所述方法還包括以下步驟：

在非繁忙時段，向被拒絕接收的數據相應的數據源發出重新傳送數據的請求；

將接收到的數據寫入到數據庫中。

3.根據權利要求1或2所述的一種抗并發的數據寫入方法，其特征在于，所述卡夫卡消息隊列的數量為多個，各卡夫卡消息隊列對應不同的優先權，各卡夫卡消息隊列分別被配置為可讀可寫模式、只讀模式或只寫模式。

4.根據權利要求3所述的一種抗并發的數據寫入方法，其特征在于，所述根據分配的優先權順序，將數據存放到卡夫卡消息隊列這一步驟，具體包括：

對各卡夫卡消息隊列進行掃描，從中查找出匹配隊列并檢測匹配隊列的存儲空間；所述匹配隊列由各卡夫卡消息隊列中的一個或多個組成，所述匹配隊列與待存放數據具有相同優先權順序；

當判斷所述匹配隊列的存儲空間足以完全存放待存放數據時，則將待存放數據拷貝到所述匹配隊列中，反之，則將待存放數據分解成第一部分和第二部分，然后將第一部分拷貝到所述匹配隊列中，將第二部分拷貝到優先權順序次于匹配隊列的卡夫卡消息隊列中；其中，所述第一部分的占據空間與匹配隊列的存儲空間相等。

5.根據權利要求4所述的一種抗并發的數據寫入方法，其特征在于，所述將第二部分拷貝到優先權順序次于匹配隊列的卡夫卡消息隊列中這一步驟，具體包括：

對各卡夫卡消息隊列進行掃描，從中查找出次級隊列并檢測次級隊列的存儲空間；所述次級隊列由各卡夫卡消息隊列中的一個或多個組成，所述次級隊列的優先權順序比匹配隊列的優先權順序次一級；

當判斷所述次級隊列的存儲空間足以完全存放所述第二部分時，則將第二部分拷貝到所述次級隊列中，反之，則將第二部分分解成第一單元和第二單元，所述第一單元的占據空間與次級隊列的存儲空間相等，所述第二單元是第二部分除第一單元外的其余部分，然后將第一單元拷貝到所述匹配隊列中，將第二單元拷貝到優先權順序次于次級隊列的卡夫卡消息隊列中。

6.一種抗并發的數據寫入系統，其特征在于，包括：

數據分級模塊，用于在繁忙時段，根據緊急程度對接收到的數據進行分級；所述繁忙時段指負荷達到預設值的時段或預先設定的時段；

優先權分配模塊，用于根據分級結果，向數據分配優先權；

卡夫卡消息隊列模塊，根據數據分配到的優先權順序以及數據的業務類型，將數據存放到對應的卡夫卡消息隊列；所述卡夫卡消息隊列具有對應的業務類型，所述卡夫卡消息隊列用于接收相同業務類型的數據；

數據拒絕模塊，當檢測到不存在相同業務類型的卡夫卡消息隊列而導致數據存放失敗時，拒絕接收未能存放到卡夫卡消息隊列中的數據，并向相應的數據源進行反饋；

數據寫入模塊，用于在非繁忙時段，將卡夫卡消息隊列中存放的數據讀出并寫入到數據庫中。

7.根據權利要求6所述的一種抗并發的數據寫入系統，其特征在于，所述系統還包括重新請求模塊，所述重新請求模塊用于在非繁忙時段，向被拒絕接收的數據相應的數據源發出重新傳送數據的請求；所述數據寫入模塊還用于將接收到的數據寫入到數據庫中。