[發明專利]云狀識別的方法和裝置

在審

• 申請號: 202010108356.2
• 申請日: 2020-02-21
• 公開（公告）號: CN111340093A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 周康明;方飛虎
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;臧建明

1.一種云狀識別的方法，其特征在于，包括：

將天空圖像輸入云狀分類模型，得到所述天空圖像的各個云狀分類的置信度，所述天空圖像中包括至少一個云狀，所述云狀分類模型用于確定所述天空圖像各個云高分類的概率值和各個云狀分類的概率值，將所述天空圖像各個云高分類的概率值和各個云狀分類的概率值進行加權運算，得到所述天空圖像的各個云狀分類的置信度，所述云狀分類模型是根據訓練云狀圖像的云高和云狀得到；

確定所述天空圖像的各個云狀分類的最大置信度對應的云狀分類為所述天空圖像的云狀分類。

2.根據權利要求1所述的方法，其特征在于，每個云高分類包括至少一種云狀分類；

所述將所述天空圖像各個云高分類的概率值和各個云狀分類的概率值進行加權運算，得到所述天空圖像的各個云狀分類的置信度，包括：

將所述天空圖像的各個所述云狀分類的概率值分別與所述云狀分類對應的云高分類的概率值相乘，得到所述天空圖像各個所述云狀分類的置信度。

3.根據權利要求1所述的方法，其特征在于，所述云狀分類模型用于對標準尺寸的圖像進行識別，所述將天空圖像輸入云狀分類模型，得到所述天空圖像的各個云狀分類的置信度之前，還包括：

將所述天空圖像縮放到所述標準尺寸。

4.根據權利要求2所述的方法，其特征在于，所述云狀分類模型包括：分類主干網絡、云高分類網絡和云狀分類網絡；

所述分類主干網絡分別與所述云高分類網絡和所述云狀分類網絡連接；

所述分類主干網絡，用于提取天空圖像的特征圖；

所述云高分類網絡，用于確定所述天空圖像各個云高分類的概率值；

所述云狀分類網絡，用于確定各個云狀分類的概率值。

5.根據權利要求4所述的方法，其特征在于，所述分類主干網絡，包括依次連接的卷積層、批次歸一化BatchNorm層、尺度變換Scale層、修正線性單元ReLU激活層、像素相加Eltwise層和池化層；

所述云高分類網絡，包括依次連接的全連接層和邏輯回歸Softmax層；

所述云狀分類網絡，包括多個云狀分類分支，每個所述云狀分類分支包括依次連接的卷積層，全連接層和Softmax層。

6.根據權利要求4-5任一項所述的方法，其特征在于，所述云狀分類模型的訓練過程包括：

將多個訓練天空圖像縮放到標準尺寸；

對多個訓練天空圖像標注云高分類標簽和云狀分類標簽，得到訓練數據集，所述訓練數據集包括訓練天空圖像、所述訓練天空圖像對應的所述云高分類標簽和所述訓練天空圖像對應的所述云狀分類標簽；

將所述訓練數據集輸入到分類主干網絡，得到所述訓練天空圖像的特征圖；

將所述訓練天空圖像的特征圖輸入云高分類網絡，得到所述訓練天空圖像的各個云高分類的概率值；將所述訓練天空圖像的特征圖輸入云狀分類網絡，得到所述訓練天空圖像的各個云狀分類的概率值；

對所述訓練天空圖像的各個云高分類的概率值和所述訓練天空圖像的各個云狀分類的概率值進行加權運算，得到所述訓練天空圖像的各個云狀分類的置信度；

根據所述訓練天空圖像的各個云高分類的概率值和所述云高分類標簽，確定云高交叉熵；根據所述訓練天空圖像的各個云狀分類的置信度和所述云狀分類標簽，確定云狀交叉熵；

確定所述云高交叉熵和所述云狀交叉熵的和，為總交叉熵；

當所述多個訓練天空圖像總交叉熵的平均值小于或者等于收斂閾值時，確定云狀分類模型收斂。

7.根據權利要求6所述的方法，其特征在于，所述云高交叉熵CE1可以通過如下公式計算得到：

其中，Pi為云高分類網絡輸出的第i類云高的概率值，n為云高分類總數，t_i為當前的云高分類標簽中的第i類的值；

所述云狀交叉熵CE2可以通過如下公式計算得到：

其中，Si為云狀分類模型輸出的第i類云狀的置信度，m為云狀分類總數，T_i為當前的云狀分類標簽中的第i類的值。