blogs.md

Deep Metric Learning: a (Long) Survey

In progress: конспектирую ключевые статьи в papers.md

• TL;DR большой подробный обзор методов в Supervised DML, делается акцент на SOTA-подходах, опыт в соревновании.

• Наиболее частые применения:

  • В картинках: распознавание лиц
  • В текстах: поиск по индексу

• В статье рассматривается именно Supervised Metric Learning.

• Triplet Loss — разобран в конспектах, Triplet Loss and Online Triplet Mining in TensorFlow.

• Проблемы триплета:

  • Майнинг (сложности со скейлингом)
  • Не настраивается вариативность внутри классов и между классами: не хотим крайних случаев (2 пересекающихся облака — ужасно, 2 сжатые в точку кучки — по-разному)

• Quadruplet Loss: сам по себе работает не очень, но идейно решает вторую проблему. Разобран в конспектах. В блог-посте либо намеренно используется отличный от статьи таргет, либо ошибка.

• Lifted Structured loss: вместо отдельных пар и триплетов оптимизируется расстояние во всем микробатче. Разобран в конспектах.

Contrastive Representation Learning

In progress: конспектирую ключевые статьи в papers.md

• TL;DR обзор не только методов, но и применений contrastive-подходов