[發明專利]數據讀取方法和裝置

有效

• 申請號: 201510136331.2
• 申請日: 2015-03-26
• 公開（公告）號: CN104714900B
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 覃安;顏世光;李康;徐佩林;譚待
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

本發明提出一種數據讀取方法和裝置，該數據讀取方法包括：接收發送端以并發方式發送的讀數據請求；掃描所述讀數據請求所請求的數據；將掃描到的數據攜帶在所述讀數據請求對應的讀數據響應中發送給所述發送端，所述讀數據響應中攜帶的數據包包括數據標識，所述數據標識用于標識所述數據包掃描的先后順序，以便所述發送端接收到所述數據包之后，根據所述數據標識對接收到的數據包進行排序。本發明中，發送端以并發方式向接收端發送讀數據請求，從而可以使硬件的功能以最大效能運轉，可以有效解決網絡通信成本所導致的順序訪問吞吐量降低的問題，使整個系統的順序訪問吞吐量不受跨IDC和網絡拓撲的影響，大大提高了系統對資源的利用率。

技術領域

本發明涉及互聯網技術領域，尤其涉及一種數據讀取方法和裝置。

背景技術

順序讀取技術是指在旋轉型存儲介質(rotated device)順應物理讀寫磁頭進行數據訪問的技術。在當今互聯網信息檢索中，為了加快信息存儲和訪問速度，大量的信息數據會順應存儲介質的物理磁頭訪問的特點，順序的記錄到物理存儲介質上。在讀取上述數據時，可以采用傳統的隨機訪問方式或順序訪問方式去讀取。

但是采用隨機訪問方式讀取數據時，由于每次都需要調度物理磁頭重新進行尋道，以至于大量的時間消耗在機械讀寫磁頭重新定位上，導致吞吐率較低。而采用傳統的順序訪問方式讀取數據時，由于能減少磁頭尋道的時間開銷，在首次尋道后只需要順著磁頭的方向進行掃描存儲介質既可將數據讀出，從而可以實現很好的吞吐。但是在數據量比較龐大的情況下，這類掃描操作需要執行多次，且下一次執行前必須知道前一次掃描區間的后邊界才能執行，從而使得介質的輸入輸出(Input Output；以下簡稱：IO)性能未能得到充分的發揮，尤其是在網絡延時比較高的環境下，應用端的吞吐率會急劇下降。

發明內容

本發明的目的旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種數據讀取方法。通過該方法，發送端以并發方式向接收端發送讀數據請求，從而可以使硬件的功能以最大效能運轉，可以有效解決網絡通信成本所導致的順序訪問吞吐量降低的問題，使整個系統的順序訪問吞吐量不受跨互聯網數據中心(Internet Data Center；以下簡稱：IDC)和網絡拓撲的影響，大大提高了系統對資源的利用率。

本發明的第二個目的在于提出一種數據讀取裝置。

為了實現上述目的，本發明第一方面實施例的數據讀取方法，包括：接收發送端以并發方式發送的讀數據請求；掃描所述讀數據請求所請求的數據；將掃描到的數據攜帶在所述讀數據請求對應的讀數據響應中發送給所述發送端，所述讀數據響應中攜帶的數據包包括數據標識，所述數據標識用于標識所述數據包掃描的先后順序，以便所述發送端接收到所述數據包之后，根據所述數據標識對所述數據包進行排序。

本發明實施例的數據讀取方法，接收發送端以并發方式發送的讀數據請求，解決了硬件空閑等待的問題，從而可以使硬件的功能以最大效能運轉，可以有效解決網絡通信成本所導致的順序訪問吞吐量降低的問題，使整個系統的順序訪問吞吐量不受IDC和網絡拓撲的影響，大大提高了系統對資源的利用率。

為了實現上述目的，本發明第二方面實施例的數據讀取方法，包括：以并發方式向接收端發送讀數據請求；接收所述接收端發送的讀數據響應，所述讀數據響應中攜帶所述接收端根據所述讀數據請求掃描獲得的數據包，所述數據包包括數據標識，所述數據標識用于標識所述數據包掃描的先后順序；根據所述數據標識將接收到的數據包存入緩存。

本發明實施例的數據讀取方法，以并發方式向接收端發送讀數據請求，解決了硬件空閑等待的問題，從而可以使硬件的功能以最大效能運轉，可以有效解決網絡通信成本所導致的順序訪問吞吐量降低的問題，使整個系統的順序訪問吞吐量不受IDC和網絡拓撲的影響，大大提高了系統對資源的利用率。