[發明專利]一種數據讀取方法及裝置

有效

• 申請號: 201610499749.4
• 申請日: 2016-06-29
• 公開（公告）號: CN107545011B
• 公開（公告）日: 2020-04-10
• 發明（設計）人: 蔡躍亮
• 申請（專利權）人: 高德信息技術有限公司
• 主分類號: G06F16/907
• 分類號: G06F16/907
• 代理公司: 北京領科知識產權代理事務所(特殊普通合伙) 11690
• 代理人: 張丹

1.一種數據讀取方法，其特征在于，所述方法包括：

遍歷待讀取數據的下標集合中的下標，所述下標集合中的下標按照由小到大的順序排序；

判斷遍歷過的下標是否滿足預設的整塊讀取條件，若是，則讀取遍歷過的下標對應的整塊數據，若否，則讀取下標對應的數據。

2.如權利要求1所述的方法，其特征在于，所述判斷遍歷過的下標是否滿足預設的整塊讀取條件具體包括：

判斷當前遍歷到的下標與已遍歷過的下標中最小的下標的差值是否超過預設的數據長度閾值，若是，則判斷已遍歷過的下標的個數是否大于預設的下標個數閾值，所述已遍歷過的下標中不包括當前遍歷到的下標；

若大于，則所述遍歷過的下標為滿足預設的整塊讀取條件的下標。

3.如權利要求2所述的方法，其特征在于，所述方法進一步包括：

從所述下標集合中刪除所述遍歷過的下標，判斷所述下標集合中是否還有未遍歷的下標，若有，則返回遍歷待讀取數據的下標集合中的下標步驟。

4.如權利要求1-3中任一項權利要求所述的方法，其特征在于，所述讀取遍歷過的下標對應的整塊數據具體包括：

讀取已遍歷過的最小下標到最大下標之間所有下標對應的數據。

5.如權利要求1所述的方法，其特征在于，所述遍歷待讀取數據的下標集合中的下標具體包括：

遍歷待讀取數據的下標集合中的下標，將所述下標集合中下標進行分組，得到下標子集合，下標子集合中的最大的下標和最小的下標的差值不超過預設的數據長度閾值，所述下標集合中的下標按照由小到大的順序排序。

6.如權利要求5所述的方法，其特征在于，所述判斷遍歷過的下標是否滿足預設的整塊讀取條件具體包括：

判斷下標子集合中的下標個數是否大于預設的下標個數閾值；

若大于，則所述下標子集合中的下標為滿足預設的整塊讀取條件的下標。

7.如權利要求5或6所述的方法，其特征在于，所述讀取遍歷過的下標對應的整塊數據具體包括：

讀取下標子集合中最小下標到最大下標之間所有下標對應的數據。

8.如權利要求2或5或6所述的方法，其特征在于，所述預設的數據長度閾值的確定過程包括：

確定讀取待讀取數據過程中所占用內存的上限值；

確定所述待讀取數據的數據長度值；

依據所述讀取待讀取數據過程中所占用內存的上限值與所述待讀取數據的數據長度值確定所述預設的數據長度閾值。

9.一種數據讀取裝置，其特征在于，所述裝置包括：

下標遍歷模塊，用于遍歷待讀取數據的下標集合中的下標，所述下標集合中的下標按照由小到大的順序排序；

整塊讀取條件判斷模塊，用于判斷遍歷過的下標是否滿足預設的整塊讀取條件；

整塊數據讀取模塊，用于在整塊讀取條件判斷模塊判斷出遍歷過的下標滿足預設的整塊讀取條件的情況下，讀取遍歷過的下標對應的整塊數據；

下標數據讀取模塊，用于在整塊讀取條件判斷模塊判斷出遍歷過的下標不滿足預設的整塊讀取條件的情況下，讀取下標對應的數據。

10.如權利要求9所述的裝置，其特征在于，所述整塊讀取條件判斷模塊包括：

差值判斷模塊，用于判斷當前遍歷到的下標與已遍歷過的下標中最小的下標的差值是否超過預設的數據長度閾值；

第一下標個數判斷模塊，用于在差值判斷模塊判斷出當前遍歷到的下標與已遍歷過的下標中最小的下標的差值超過預設的數據長度閾值的情況下，則判斷已遍歷過的下標的個數是否大于預設的下標個數閾值，所述已遍歷過的下標中不包括當前遍歷到的下標；

第一下標確定模塊，用于在下標個數判斷模塊判斷出已遍歷過的下標的個數大于預設的下標個數閾值的情況下，則確定所述遍歷過的下標為滿足預設的整塊讀取條件的下標。

11.如權利要求9或10所述的裝置，其特征在于，所述整塊數據讀取模塊包括：

第一整塊數據讀取子模塊，用于讀取已遍歷過的最小下標到最大下標之間所有下標對應的數據。