Для разработчиков: обобщающая способность "летней" модели
Версия 4 дасасета LADD разбита на три части: зима, весна, лето - для возможности оценить обобщающие способности моделей, обученных на фотографиях разных сезонов (как показывает практика, они разные). По итогам исследования летней части датасета, можно сказать, что количество эпох , которое имеет смысл тренировать на ней меньшее 15-ти (при дефолтном количестве шагов в эпохе 10 000). Максимальное значение метрики при валидации на лете же достигается на 10-ой эпохе - 0.8977, при валидации на зиме и весне - на 2-ой эпохе, 0.6700 и 0.1999 соответсвенно. Сводная таблица валидации разных снапшотов на трёх под-датасетах выглядит так:
| Снапшот | Зима | Лето | Весна |
|---|---|---|---|
| resnet50_base_best.h5 | 0.0054 | 0.0005 | 0.0000 |
| resnet50_liza_alert_v01.h5 | 0.8236 | 0.2264 | 0.1919 |
| resnet50_liza_alert_v1.h5 | 0.9565 | 0.3242 | 0.2544 |
| laddv4_summer_epoch1.h5 | 0.6262 | 0.7328 | 0.1237 |
| laddv4_summer_epoch2.h5 | 0.6700 | 0.7799 | 0.1999 |
| laddv4_summer_epoch3.h5 | 0.6461 | 0.8038 | 0.1705 |
| laddv4_summer_epoch4. h5 | 0.592 | 0.8420 | 0.1878 |
| laddv4_summer_epoch5.h5 | 0.6403 | 0.8465 | 0.1964 |
| laddv4_summer_epoch6.h5 | 0.6146 | 0.8266 | 0.1657 |
| laddv4_summer_epoch7.h5 | 0.6081 | 0.8758 | 0.1561 |
| laddv4_summer_epoch8.h5 | 0.6156 | 0.8661 | 0.1820 |
| laddv4_summer_epoch9.h5 | 0.5856 | 0.8970 | 0.1607 |
| laddv4_summer_epoch10.h5 | 0.5988 | 0.8977 | 0.1632 |
| laddv4_summer_epoch11.h5 | 0.5763 | 0.8769 | 0.1757 |
| laddv4_summer_epoch12.h5 | 0.5180 | 0.8887 | 0.1729 |
| laddv4_summer_epoch13.h5 | 0.4943 | 0.8589 | 0.1845 |
| laddv4_summer_epoch14.h5 | 0.5238 | 0.8813 | 0.1941 |
| laddv4_summer_epoch15.h5 | 0.5680 | 0.8916 | 0.1725 |
Здесь:
- resnet50_base_best.h5 - Снапшот "голого" backbone, предобученного на Standford Drone Dataset. Снапшот взят из Assets здесь.
- resnet50_liza_alert_v01.h5 - Снапшот модели, обученной на LADD v1. Взят из того же релиза, что и пункт выше.
- resnet50_liza_alert_v1.h5 - Снапшот модели, обученной на LADD v1 с лучшем fine-tuning. Взят здесь.
- laddv4_summer_epoch*.h5 - Снапшоты эпох 1-15 модели, обученной на "летнем" датасете LizaAlertDroneDatasetV4_Summer.
Кривые обучения на графике выглядят так ("нулевая" точка - это resnet50_base_best.h5):
