[發明專利]一種數據讀取方法及裝置

有效

• 申請號: 201610499749.4
• 申請日: 2016-06-29
• 公開（公告）號: CN107545011B
• 公開（公告）日: 2020-04-10
• 發明（設計）人: 蔡躍亮
• 申請（專利權）人: 高德信息技術有限公司
• 主分類號: G06F16/907
• 分類號: G06F16/907
• 代理公司: 北京領科知識產權代理事務所(特殊普通合伙) 11690
• 代理人: 張丹

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據讀取方法及裝置。

背景技術

數組，就是相同數據類型的數據(元素)按一定順序排列的集合，是把有限個數據類型相同的變量用一個名字命名，然后用編號區分它們的變量的集合，這個名字稱為數組名，編號稱為下標?，F有技術，讀取數組中的數據時，采用整塊讀取的方式。比如，待讀取的數據的下標為1000和100001，現有整塊讀取的方式是將下標1000到下標100001之間的數據作為一個數據塊整體讀取出來。

由此可見，當待獲取的數據的下標不連續的情況下，按照現有技術中的數據讀取方式，會將不連續的下標之間所有下標對應的數據都讀取出來，而讀取的這些位于待獲取數據之間的所有數據都是無用數據，現有技術中的數據讀取方式會讀取到大量的無用數據，而對這些無用數據的讀取勢必會增加數據的讀取時間，從而導致數據的讀取效率下降。

發明內容

有鑒于此，本發明實施例提供一種高效的數據讀取方法及裝置。

為實現上述目的，本發明實施例提供如下技術方案：

一種數據讀取方法，所述方法包括：

遍歷待讀取數據的下標集合中的下標，所述下標集合中的下標按照由小到大的順序排序；

判斷遍歷過的下標是否滿足預設的整塊讀取條件，若是，則讀取遍歷過的下標對應的整塊數據，若否，則讀取下標對應的數據。

優選的，所述判斷遍歷過的下標是否滿足預設的整塊讀取條件具體包括：

判斷當前遍歷到的下標與已遍歷過的下標中最小的下標的差值是否超過預設的數據長度閾值，若是，則判斷已遍歷過的下標的個數是否大于預設的下標個數閾值，所述已遍歷過的下標中不包括當前遍歷到的下標；

若大于，則所述遍歷過的下標為滿足預設的整塊讀取條件的下標。

優選的，所述方法進一步包括：

從所述下標集合中刪除所述遍歷過的下標，判斷所述下標集合中是否還有未遍歷的下標，若有，則返回遍歷待讀取數據的下標集合中的下標步驟。

優選的，所述讀取遍歷過的下標對應的整塊數據具體包括：

讀取已遍歷過的最小下標到最大下標之間所有下標對應的數據。

優選的，所述遍歷待讀取數據的下標集合中的下標具體包括：

遍歷待讀取數據的下標集合中的下標，將所述下標集合中下標進行分組，得到下標子集合，下標子集合中的最大的下標和最小的下標的差值不超過預設的數據長度閾值，所述下標集合中的下標按照由小到大的順序排序。

優選的，所述判斷遍歷過的下標是否滿足預設的整塊讀取條件具體包括：

判斷下標子集合中的下標個數是否大于預設的下標個數閾值；

若大于，則所述下標子集合中的下標為滿足預設的整塊讀取條件的下標。

優選的，所述讀取遍歷過的下標對應的整塊數據具體包括：

讀取下標子集合中最小下標到最大下標之間所有下標對應的數據。

優選的，所述預設的數據長度閾值的確定過程包括：

確定讀取待讀取數據過程中所占用內存的上限值；

確定所述待讀取數據的數據長度值；

依據所述讀取待讀取數據過程中所占用內存的上限值與所述待讀取數據的數據長度值確定所述預設的數據長度閾值。

一種數據讀取裝置，所述裝置包括：

下標遍歷模塊，用于遍歷待讀取數據的下標集合中的下標，所述下標集合中的下標按照由小到大的順序排序；

整塊讀取條件判斷模塊，用于判斷遍歷過的下標是否滿足預設的整塊讀取條件；

整塊數據讀取模塊，用于在整塊讀取條件判斷模塊判斷出遍歷過的下標滿足預設的整塊讀取條件的情況下，讀取遍歷過的下標對應的整塊數據；

下標數據讀取模塊，用于在整塊讀取條件判斷模塊判斷出遍歷過的下標不滿足預設的整塊讀取條件的情況下，讀取下標對應的數據。

優選的，所述整塊讀取條件判斷模塊包括：

差值判斷模塊，用于判斷當前遍歷到的下標與已遍歷過的下標中最小的下標的差值是否超過預設的數據長度閾值；

第一下標個數判斷模塊，用于在差值判斷模塊判斷出當前遍歷到的下標與已遍歷過的下標中最小的下標的差值超過預設的數據長度閾值的情況下，則判斷已遍歷過的下標的個數是否大于預設的下標個數閾值，所述已遍歷過的下標中不包括當前遍歷到的下標；

第一下標確定模塊，用于在下標個數判斷模塊判斷出已遍歷過的下標的個數大于預設的下標個數閾值的情況下，則確定所述遍歷過的下標為滿足預設的整塊讀取條件的下標。