[發(fā)明專利]篩選信息的方法、裝置和計算機設(shè)備

在審

• 申請?zhí)枺?/td>: 202010621789.8
• 申請日: 2020-06-30
• 公開（公告）號: CN111737263A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 葉波
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455
• 代理公司: 深圳市明日今典知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝

本申請揭示了篩選信息的方法，包括：從源數(shù)據(jù)中篩選滿足大小要求的第一數(shù)據(jù)，按照預(yù)設(shè)排序依次存入預(yù)設(shè)鏈表中形成第一鏈表；從多個第一鏈表中選擇數(shù)據(jù)屬性相同的兩個第一鏈表并進(jìn)行頭部數(shù)據(jù)大小比較，將較大的頭部數(shù)據(jù)存入第二鏈表，并將較大的頭部數(shù)據(jù)從原第一鏈表中刪除，使排序在較大的頭部數(shù)據(jù)后面的數(shù)據(jù)成為新的頭部數(shù)據(jù)，再進(jìn)行頭部數(shù)據(jù)比較，直到將兩個數(shù)據(jù)屬性相同的第一鏈表中滿足要求的數(shù)據(jù)全部提取到第二鏈表，并根據(jù)兩個第一鏈表的數(shù)據(jù)比較和提取過程，將所有數(shù)據(jù)屬性相同的數(shù)據(jù)全部提取至第二鏈表；從第二鏈表中獲取指定任務(wù)對應(yīng)的TOP值；鎖定并展示指定任務(wù)對應(yīng)的TOP值，以及指定任務(wù)對應(yīng)的TOP值對應(yīng)的關(guān)聯(lián)信息，簡化比較，提高效率。

技術(shù)領(lǐng)域

本申請涉及到計算機領(lǐng)域，特別是涉及到篩選信息的方法、裝置和計算機設(shè)備。

背景技術(shù)

Hadoop做數(shù)據(jù)倉庫時，常用hive做離線數(shù)據(jù)處理，hive做離線數(shù)據(jù)處理時，需要用到分組排序獲取第一條數(shù)據(jù)的情況。傳統(tǒng)的方式是使用“row_number”加上“distributeby”指定對應(yīng)的分組字段，然后“sortby”指定需要排序的字段并定義為字段“rn”，最后將計算的數(shù)據(jù)作為子查詢，然后再增加篩選條件“rn＝1”，就能挑選出分組排序的第一條記錄，但是這樣需要將一個分組中的所有數(shù)據(jù)先匯總再全部排序，消耗的資源也很大。而且數(shù)據(jù)架構(gòu)中只保存篩選出的一個結(jié)果數(shù)據(jù)，不利于數(shù)據(jù)應(yīng)用的拓展。

發(fā)明內(nèi)容

本申請的主要目的為提供篩選信息的方法，旨在解決現(xiàn)有數(shù)據(jù)分組排序中耗費的資源大的技術(shù)問題。

本申請?zhí)岢鲆环N篩選信息的方法，包括：

從源數(shù)據(jù)中篩選滿足大小要求的第一數(shù)據(jù)，按照預(yù)設(shè)排序依次存入預(yù)設(shè)鏈表中形成第一鏈表，其中，所述第一數(shù)據(jù)為所述源數(shù)據(jù)中的任一數(shù)據(jù)；

從多個所述第一鏈表中選擇數(shù)據(jù)屬性相同的兩個所述第一鏈表并進(jìn)行頭部數(shù)據(jù)大小比較，將較大的頭部數(shù)據(jù)存入第二鏈表，并將所述較大的頭部數(shù)據(jù)從原第一鏈表中刪除，使排序在所述較大的頭部數(shù)據(jù)后面的數(shù)據(jù)成為新的頭部數(shù)據(jù)，再進(jìn)行頭部數(shù)據(jù)比較，直到將兩個數(shù)據(jù)屬性相同的所述第一鏈表中滿足要求的數(shù)據(jù)全部提取到第二鏈表，并根據(jù)兩個所述第一鏈表的數(shù)據(jù)比較和提取過程，將所有數(shù)據(jù)屬性相同的數(shù)據(jù)全部提取至第二鏈表；

從所述第二鏈表中獲取指定任務(wù)對應(yīng)的TOP值，其中，所述指定任務(wù)屬于任務(wù)列表中的任一任務(wù)，所述指定任務(wù)對應(yīng)的TOP值關(guān)聯(lián)對應(yīng)的關(guān)聯(lián)信息；

鎖定并展示所述指定任務(wù)對應(yīng)的TOP值，以及所述指定任務(wù)對應(yīng)的TOP值對應(yīng)的關(guān)聯(lián)信息。

優(yōu)選地，所述第一鏈表包括鏈表結(jié)構(gòu)和按照預(yù)設(shè)排序填充在鏈表中的元組數(shù)，所述預(yù)設(shè)排序為降序排列，所述從源數(shù)據(jù)中篩選滿足大小要求的第一數(shù)據(jù)，按照預(yù)設(shè)排序依次存入預(yù)設(shè)鏈表中形成第一鏈表的步驟，包括：

獲取位于所述第一鏈表開始表格的第一元組數(shù)；

判斷所述第一數(shù)據(jù)是否大于或等于所述第一元組數(shù)；

若是，則在所述開始表格的降序排序之前添加第一新表格，使所述第一新表格成為開始表格；

將所述第一數(shù)據(jù)填充至所述第一新表格，使所述第一數(shù)據(jù)成為新的第一元組數(shù)，并按照所述第一新表格的添加過程以及所述第一新表格中的數(shù)據(jù)填充過程，完成所述第一鏈表中所有數(shù)據(jù)的錄入。

優(yōu)選地，判斷所述第一數(shù)據(jù)是否大于或等于所述第一元組數(shù)的步驟之后，包括：

若否，則獲取與所述開始表格相鄰且位于所述開始表格排序之后的第二元組數(shù)；

判斷所述第一數(shù)據(jù)是否大于或等于所述第二元組數(shù)；

若是，則在所述第二元組數(shù)之前添加第二新表格；