[發明專利]對象列舉方法、設備及計算機存儲介質有效
| 申請號: | 201811146403.1 | 申請日: | 2018-09-28 |
| 公開(公告)號: | CN109408571B | 公開(公告)日: | 2022-03-29 |
| 發明(設計)人: | 劉暢;袁立非;趙梓健 | 申請(專利權)人: | 華為云計算技術有限公司 |
| 主分類號: | G06F16/25 | 分類號: | G06F16/25;G06F16/22 |
| 代理公司: | 廣州三環專利商標代理有限公司 44202 | 代理人: | 郝傳鑫;熊永強 |
| 地址: | 550025 貴州省貴陽市*** | 國省代碼: | 貴州;52 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 對象 列舉 方法 設備 計算機 存儲 介質 | ||
本申請實施例公開了一種對象列舉方法、設備及計算機存儲介質,其中對象列舉方法應用于對象列舉設備,包括:以預定間隔對存儲桶中的對象的鍵進行取樣以獲取區間標記集合,其中所述區間標記集合包括多個區間標記,所述多個區間標記為對所述存儲桶中的對象的鍵進行取樣的取樣結果;同步列舉所述區間標記集合中任意兩兩相鄰的區間標記對應的對象,以獲取多個列舉對象結果;最后,合并所述多個列舉對象結果。其中,區間標記集合中的多個區間標記可以將存儲桶的全部對象劃分至多個區間,通過同步列舉區間標記集合中任意兩兩相鄰的區間標記對應的對象,本申請可以同時對存儲桶中的各區間的對象進行列舉,進而快速列舉出存儲桶中的全部對象。
技術領域
本發明涉及接口調用技術領域,尤其涉及一種對象列舉方法、設備及計算機存儲介質。
背景技術
存儲桶是對象存儲中用于存儲對象的容器,在存儲桶中,對象由鍵(key)進行唯一地標識。對象接口中的列舉對象(list objects)接口可以列舉出存儲桶中的對象。在調用列舉對象接口時,至少需要將標記值(marker)作為列舉對象接口的入參,marker用于指示一次列舉的起始位置。
為了獲取存儲桶中的全部對象,目前的方案是串行循環調用列舉對象接口直到列舉對象接口的返回值為空。具體地,在首次調用列舉對象接口時將marker設置為“空值(null)”,后續每次調用列舉接口時將marker設置為上次調用返回的最后一個對象的鍵,直到列舉對象接口的返回值為空,然后將每次調用返回的對象進行合并,就得到了存儲桶中的全部對象。
由于上述方案在循環調用列舉對象接口時依賴于上次調用的返回值,并且每次調用最多可以返回的對象個數為定值,因此列舉效率非常低。舉例來說,假設每次調用時接口的返回時間為0.5秒,每次調用最多返回1000個對象,那么列舉1000萬個對象需要調用10000次接口,需要耗時10000*0.5=5000秒。
發明內容
本申請提供一種對象列舉方法、設備及計算機存儲介質,可以解決現有技術中列舉出存儲桶中的對象耗時較長的問題。
第一方面,本申請提供了一種對象列舉方法,該對象列舉方法包括:
以預定間隔對存儲桶中的對象的鍵進行取樣以獲取區間標記集合,其中所述區間標記集合包括多個區間標記,所述多個區間標記為對所述存儲桶中的對象的鍵進行取樣的取樣結果;同步列舉所述區間標記集合中任意兩兩相鄰的區間標記對應的對象,以獲取多個列舉對象結果;最后,合并所述多個列舉對象結果。
可見,區間標記集合中的多個區間標記可以將存儲桶的全部對象劃分至若干個區間,通過同步列舉區間標記集合中任意兩兩相鄰的區間標記對應的對象,可以同時存儲桶中的各區間的對象進行列舉,進而快速列舉出存儲桶中的全部對象,縮短列舉存儲桶中全部對象所需要的時間。
結合第一方面,在第一方面的第一種可能的實現方式中,所述同步列舉所述區間標記集合中任意兩兩相鄰的區間標記對應的對象,包括:
將所述多個區間標記分別分配至多個處理單元,其中,一個區間標記對應一個處理單元,以使得所述多個處理單元將與自身對應的區間標記作為列舉對象接口的入參,從所述存儲桶中列舉對象直到列舉出的對象結果中包括所述區間標記集合中與自身對應的區間標記不相同的區間標記所標識的對象,或者直到列舉出的對象結果中包含的對象個數小于所述列舉對象接口的最大返回值。
結合第一方面的第一種可能的實現方式,在第一方面的第二種可能的實現方式中,所述多個區間標記中的第一個區間標記為空值。
結合第一方面的第一種可能的實現方式和第一方面的第二種可能的實現方式,在第一方面的第三種可能的實現方式中,所述合并所述多個列舉對象結果之后,所述方法還包括:對合并后的所述多個列舉對象結果進行去重。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于華為云計算技術有限公司,未經華為云計算技術有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201811146403.1/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:權籍調查建庫平臺
- 下一篇:基于SB框架及布隆過濾器的海量數據處理方法





