[發明專利]一種基于時序重排序的生鮮識別方法

在審

• 申請號: 202211414313.2
• 申請日: 2022-11-11
• 公開（公告）號: CN115690779A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 徐振博;胡海苗;姜宏旭
• 申請（專利權）人: 北京航空航天大學杭州創新研究院
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/40;G06V10/82;G06F18/25;G06F16/2455;G06N3/0464;G06N3/084
• 代理公司: 北京金恒聯合知識產權代理事務所 11324
• 代理人: 李強

1.一種基于時序重排序的生鮮識別方法，其特征在于包括：

A)神經網絡訓練步驟，包括：

A1)對于一個由大量隨機選取的圖像組成的識別序列S，初始化一個空的時間戳緩存區C，假設序列中所有圖像的總類別數為J；

A2)對識別序列S中的每一個圖像，通過特征提取網絡N進行圖像特征的提取，尺寸為(1,J)；

A3)從時間戳緩存區C中查詢所有類別的最近出現時間R以及最近出現頻率E；

A4)將圖像特征與時序特征拼接，得到尺寸為(3,J)的混合特征，將該混合特征輸入到時序重排序網絡O中，得到最終的預測結果Y，尺寸為(1,J)；

A5)根據收銀員基于識別結果Y反饋的正確的生鮮類別F，將當前圖像的類別F與時間戳緩存至C中，

B)模型優化步驟，包括：

B1)對訓練數據進行預加載策略，包括：對每一個識別序列S，按照時間戳的順序，將所有數據遍歷一遍，通過記錄每一個圖片的路徑、對應的時間戳緩存區的狀態、以及圖片對應的真實類別，將三者緩存用于生鮮識別模型的并行訓練；

B2)選擇交叉熵損失函數計算最終的分類損失值，計算特征提取網絡以及時序重排序網絡的參數的梯度，并結合Adam優化器對神經網絡的參數進行優化，

C)模型測試和推理步驟，包括：

類似于神經網絡訓練步驟，對識別序列中的每一張圖像，先進行圖像的特征提取，通過從時間戳緩存區查詢得到時序特征，將圖像特征與時序特征拼接后輸入到時序重排序網絡中，得到每個類別的識別置信度的預測結果，

然后，接收由收銀員判斷預測結果中是否有正確類別和/或通過點擊或查詢生鮮類別信息來確定并反饋的正確類別，使正確的類別被更新至時間戳緩存區中，從而完成當前圖像的識別。

2.根據權利要求1所述的基于時序重排序的生鮮識別方法，其特征在于進一步包括：

通過設置有一定長度的時間戳緩存區，以存儲并更新近期售賣的商品的售賣頻率，并基于識別頻率對識別結果做重新的排序，以解決生鮮識別場景下同一商品不同編碼的難題，提高生鮮識別的精度。

3.根據權利要求1所述的基于時序重排序的生鮮識別方法，其特征在于進一步包括：

通過設置時序特征并拼接圖像特征，增強人工智能模型對時序信息的感知，提高生鮮識別的精度。