[發(fā)明專利]數(shù)據(jù)批量選擇的方法、裝置和計算機存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810425693.7
• 申請日: 2018-05-07
• 公開（公告）號: CN110457649B
• 公開（公告）日: 2021-05-04
• 發(fā)明（設(shè)計）人: 毛坤;張臻;李翀
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F17/18
• 分類號: G06F17/18
• 代理公司: 北京龍雙利達知識產(chǎn)權(quán)代理有限公司 11329
• 代理人: 范華英;毛威

本申請?zhí)峁┝艘环N數(shù)據(jù)批量選擇的方法和裝置，不需要對候選數(shù)據(jù)進行全排序，避免了對候選數(shù)據(jù)多次重復(fù)計算，節(jié)省了內(nèi)存和帶寬，提高系統(tǒng)效率。該方法包括：數(shù)據(jù)分析器統(tǒng)計候選數(shù)據(jù)中的數(shù)據(jù)所屬的數(shù)據(jù)區(qū)間，以獲取統(tǒng)計結(jié)果，該統(tǒng)計結(jié)果包括多個數(shù)據(jù)區(qū)間中的每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)的個數(shù)，該每個數(shù)據(jù)區(qū)間的區(qū)間范圍總和等于該候選數(shù)據(jù)的數(shù)據(jù)分布區(qū)間范圍；區(qū)間統(tǒng)計器根據(jù)該統(tǒng)計結(jié)果，對該每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)分別做累加，以得到累加結(jié)果，該累加結(jié)果為該每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)與該每個數(shù)據(jù)區(qū)間之前的所有數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)之和；批量選取器根據(jù)該累加結(jié)果，確定目標數(shù)據(jù)所在的目標數(shù)據(jù)區(qū)間，并輸出屬于該目標數(shù)據(jù)區(qū)間的候選數(shù)據(jù)。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，并且更具體地，涉及一種數(shù)據(jù)批量選擇的方法、裝置和計算機存儲介質(zhì)。

背景技術(shù)

計算機在對數(shù)據(jù)進行處理前，一般都需要從海量的候選數(shù)據(jù)中確定目標數(shù)據(jù)，進而對該目標數(shù)據(jù)進行進一步的處理，如在“平安城市”大潮中從海量視頻中找到目標人物或者車輛，又如在使用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN作圖片目標檢測時，輸入圖片經(jīng)由一系列卷積層以及全層連接后生成多個候選窗口，在該多個候選窗口中檢測目標。現(xiàn)有技術(shù)中一般均采用對候選數(shù)據(jù)全排序，進而確定目標數(shù)據(jù)。對于超大規(guī)模的數(shù)據(jù)，單靠提供處理器主頻來提升傳統(tǒng)排序或選擇算法的運算速度已經(jīng)越來越難；但是現(xiàn)有分布式并行算法又存在重復(fù)計算、內(nèi)存需求高、擴展性差等問題，導(dǎo)致選擇/排序環(huán)節(jié)成為無法逾越、制約系統(tǒng)性能提升的瓶頸。

如何在海量的數(shù)據(jù)中準確快速的找到目標數(shù)據(jù)，是一項亟待解決的問題。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N數(shù)據(jù)批量選擇的方法和裝置，不需要對候選數(shù)據(jù)進行全排序，避免了對候選數(shù)據(jù)多次重復(fù)計算，節(jié)省了內(nèi)存和帶寬，提高了系統(tǒng)效率。

第一方面，提供了一種數(shù)據(jù)批量選擇的方法，該方法包括：數(shù)據(jù)分析器統(tǒng)計候選數(shù)據(jù)中的數(shù)據(jù)所屬的數(shù)據(jù)區(qū)間，以獲取統(tǒng)計結(jié)果，該統(tǒng)計結(jié)果包括多個數(shù)據(jù)區(qū)間中的每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)的個數(shù)，該每個數(shù)據(jù)區(qū)間的區(qū)間范圍總和等于該候選數(shù)據(jù)的數(shù)據(jù)分布區(qū)間范圍；區(qū)間統(tǒng)計器根據(jù)該統(tǒng)計結(jié)果，對該每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)分別做累加，以得到累加結(jié)果，該累加結(jié)果為該每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)與該每個數(shù)據(jù)區(qū)間之前的所有數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)之和；批量選取器根據(jù)該累加結(jié)果，確定目標數(shù)據(jù)所在的目標數(shù)據(jù)區(qū)間，并輸出屬于該目標數(shù)據(jù)區(qū)間的候選數(shù)據(jù)。

其中，區(qū)間統(tǒng)計器對每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)分別做累加可以采用分別對每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)做前綴和運算，以得到每個數(shù)據(jù)區(qū)間各自的累加結(jié)果。

可選地，該區(qū)間統(tǒng)計器可以采用前綴和prefix sum計算每個數(shù)據(jù)區(qū)間包含的數(shù)據(jù)個數(shù)的累加和。

因此，在本申請實施例中，實現(xiàn)了數(shù)據(jù)區(qū)間有序，但是每個數(shù)據(jù)區(qū)間內(nèi)的數(shù)據(jù)無序，不需要對候選數(shù)據(jù)進行全排序，輸出目標數(shù)據(jù)只需2次全并行掃描和1次并行累加計算就可完成批量選擇，避免了對候選數(shù)據(jù)多次重復(fù)計算，節(jié)省了內(nèi)存和帶寬，提高了系統(tǒng)效率。

結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該數(shù)據(jù)分析器可以是具有多核的處理器，也可以是多個并行處理器，還可以是一個多線程處理器，或者該數(shù)據(jù)分析器是該多核的處理器，該多個并行處理器和該多線程處理器的組合。

結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該區(qū)間配置器可以是具有多核的處理器，也可以是多個并行處理器，還可以是一個多線程處理器，或者該區(qū)間配置器是該多核的處理器，該多個并行處理器和該多線程處理器的組合。

結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該批量選取器可以是具有多核的處理器，也可以是多個并行處理器，還可以是一個多線程處理器，或者該批量選取器是該多核的處理器，該多個并行處理器和該多線程處理器的組合。

結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，每個數(shù)據(jù)區(qū)間對應(yīng)一個計數(shù)器，該計數(shù)器用于記載該數(shù)據(jù)區(qū)間的個數(shù)，當該數(shù)據(jù)分析器確定一個數(shù)據(jù)屬于該數(shù)據(jù)區(qū)間時，在該數(shù)據(jù)區(qū)間對應(yīng)的計數(shù)器中加1。