[發明專利]一種流數據的并發讀寫方法和裝置

有效

• 申請號: 201611264055.9
• 申請日: 2016-12-30
• 公開（公告）號: CN106658050B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 嚴國濤
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04N21/231
• 分類號: H04N21/231;H04N21/433;H04N21/4335
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 劉鐵生;孟阿妮

本發明公開了一種流數據的并發讀寫方法和裝置。所述方法包括：將流數據循環順次寫入由多個數據隊列構建的存儲區；從所述存儲區讀取流數據時，預估當前寫入數據隊列之后的預備寫入數據隊列為待讀取數據隊列；從待讀取數據隊列轉向讀取流數據更新的第一目標數據隊列。上述技術方案降低了流數據并發讀寫時的處理器資源占用，提高了流數據的并發讀寫的效率。

技術領域

本發明涉及流數據存儲技術領域，具體涉及一種流數據的并發讀寫方法以及一種流數據的并發讀寫裝置。

背景技術

流數據為可以采用流式傳輸的方式在網絡上傳輸的數據，大型網站系統經常依賴于內容分發網絡(Content Delivery Network，CDN)對流數據進行傳輸，內容分發網絡是通過在現有的網絡中增加一層新的網絡結構，使用戶可以將數據傳輸到就近的節點上或從就近的節點獲取所需的數據。在內容分發網絡中，部署有傳輸節點，用于緩沖流數據，就近給用戶提供服務。

流數據在經傳輸節點進行分發時，可采用并發讀寫的工作方式，在向共享內存的緩沖隊列中寫入流數據的同時，從共享內存的緩沖隊列讀取流數據。通常對于同一流數據，會同時存在一個寫訪問和多個讀訪問。因此，可能存在對緩沖隊列的相同位置同時發起讀、寫訪問的情況，將會導致緩沖隊列中的數據混亂，數據的一致性會出現問題。

為了避免上述問題，通常采用鎖操作的方式來避免讀和寫的位置不會重疊，鎖操作是一種保證互斥訪問內存的保護措施，具體而言，當同時發起對流數據隊列的讀和/或訪問時，要求訪問操作首先獲取流數據隊列的互斥鎖，才能具有訪問流數據隊列的權限，獲得互斥鎖的訪問操作訪問流數據隊列，并在結束對流數據隊列的訪問時，釋放互斥鎖，之后其他訪問操作可根據獲取的互斥鎖依次訪問流數據隊列。

利用鎖操作的方式雖然避免了對流數據隊列進行同時操作時引起的數據混亂和訪問數據出錯的問題，但是通過鎖操作的方式控制并發讀寫，由于請求鎖、等待鎖和釋放鎖都會增加處理開銷，消耗處理器時間，使得在執行鎖操作的過程中造成CPU資源的浪費。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的流數據的并發讀寫方法和相應的裝置。

依據本發明的一個方面，提供了一種流數據的并發讀寫方法，包括：

將流數據循環順次寫入由多個數據隊列構建的存儲區；

從所述存儲區讀取流數據時，預估當前寫入數據隊列之后的預備寫入數據隊列為待讀取數據隊列；

從待讀取數據隊列轉向讀取流數據更新的第一目標數據隊列。

可選地，所述將流數據循環順次寫入由多個數據隊列構建的存儲區包括：

順次向各個數據隊列寫入設定的數據時長的流數據。

可選地，所述預估當前寫入數據隊列之后的預備寫入數據隊列為待讀取數據隊列包括：

判斷當前時間距離待讀取數據隊列的起始寫入時間是否超出第一時間閾值；

若是，則確定當前寫入數據隊列之后的預備寫入數據隊列可能為待讀取數據隊列，所述第一時間閾值為除去一個數據隊列之外其他隊列的時間長度的總和。

可選地，所述從待讀取數據隊列轉向讀取流數據更新的第一目標數據隊列包括：

查找存儲有最新流數據的第一目標數據隊列；

讀取查找的第一目標數據隊列。

可選地，所述查找存儲有最新流數據的第一目標數據隊列包括：

提取各個數據隊列的起始寫入時間；

查找起始寫入時間距離當前時間最近的數據隊列為第一目標數據隊列。