[發明專利]一種數據存儲結構、數據存儲查詢方法、終端及介質

有效

• 申請號: 201810049359.6
• 申請日: 2018-01-18
• 公開（公告）號: CN108197289B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 謝澤帆;張清元;蔡俊濤;羅偉東
• 申請（專利權）人: 吉浦斯信息咨詢（深圳）有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458;G06Q30/02
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 劉坦

本發明屬于數據存儲技術領域，具體涉及一種數據存儲結構、數據存儲查詢方法、終端及介質，包括硬盤的冷數據集群、內存的熱數據集群和內存的ID收錄集群；所述冷數據集群，用于存儲若干個設備數據，每個設備數據包括設備ID；所述熱數據集群，用于存儲活躍數據，活躍數據為在設置的時間閾值T內被重復查詢的設備數據；所述ID收錄集群，用于存儲設備ID。本發明將廣告人群數據進行冷熱數據區分，將頻繁出現在互聯網上的設備數據存儲在內存的熱數據集群中，一段時間不在互聯網上出現的設備數據存儲在成本較低的硬盤的冷數據集群中，從而充分利用了資源、節約了存儲成本。

技術領域

本發明屬于數據存儲技術領域，具體涉及一種數據存儲結構、數據存儲查詢方法、終端及介質。

背景技術

廣告程序化交易對API請求的實時性要求非常高，大部分ADX(廣告交易平臺)都要求DSP在100ms以內完成請求的響應，請求的頻率非常高，請求的數據量非常大，在API端往往需要在內存中緩存廣告的人群數據，這部分數據量往往非常大，隨著內存成本的水漲船高，這部分的資源消耗也成為廣告程序化交易服務的一大資源開銷。

在程序化廣告交易的競價流量中，程序邏輯一般會通過廣告流量中的設備ID獲取該設備的設備數據，設備數據是一個比較龐大的集群，設備ID的量也非常大，一般在10億規模以上，如此大規模的數據需要非常大的存儲空間。

為了加快API的響應效率，我們一般會把數據存儲在內存中，當然這也造成了非常高的存儲成本。通過觀察發現，因為網民更換手機設備等原因，一部分的設備將不會再出現在互聯網上，還有部分網民上網的頻率比較低，如果我們一直將這部分數據存儲在內存中，將會造成資源的浪費和成本的增加。

發明內容

針對現有技術中的缺陷，本發明提供了一種數據存儲結構、數據存儲查詢方法、終端及介質，將廣告人群數據進行冷熱數據區分，將頻繁出現在互聯網上的設備數據存儲在內存的熱數據集群中，一段時間不在互聯網上出現的設備數據存儲在成本較低的硬盤的冷數據集群中，從而充分利用了資源、節約了存儲成本。

第一方面，本發明提供了一種數據存儲結構，包括硬盤的冷數據集群、內存的熱數據集群和內存的ID收錄集群；

所述冷數據集群，用于存儲若干個設備數據，每個設備數據包括設備ID；

所述熱數據集群，用于存儲活躍數據，活躍數據為在設置的時間閾值T內被重復查詢的設備數據；

所述ID收錄集群，用于存儲設備ID。

第二方面，本發明提供了一種數據存儲查詢方法，基于第一方面所述的數據存儲結構，包括以下步驟：

獲取廣告請求，根據廣告請求得到設備ID；

查詢ID收錄集群；

判斷ID收錄集群是否存儲有設備ID，若是，查詢熱數據集群，若否，將廣告請求反饋給廣告出價單元；

判斷熱數據集群是否存儲有與設備ID相關的設備數據，若是，將設備數據反饋給廣告出價單元，若否，則查詢冷數據集群；

將從冷數據集群中查詢到的設備數據反饋給廣告出價單元，并將設備數據作為活躍數據更新到熱數據集群中；

根據當前設備數據被查詢的時間作為初始時間，判斷在設置的時間閾值T內，設備數據是否被再次查詢，若否，將設備數據從熱數據集群中刪除。

優選地，在獲取廣告請求前，還包括獲取設備數據，將設備數據存入冷數據集群，將設備ID存入ID收錄集群。

優選地，所述冷數據集群，用于存儲若干個設備數據，每個設備數據包括設備ID；

所述熱數據集群，用于存儲活躍數據，活躍數據為在設置的時間閾值T內被重復查詢的設備數據；