-
opener-searher.ipynb - основной ноутбук с реализацией, обучением, визуализацией и валидацией модели
-
zastavka_model.pt - веса модели
-
utils.py - файл, содержащий все основные функции и классы
-
main.py - главный файл, определяющий интервал застваки для указанного видео и выводящей его в консоль. Для его работы, он должен содержаться в одной директории с utils.py и zastavka_model.pt.
-
video_path - путь до файла видео
-
threshold - необязательный параметр в промежутке (0, 1), определяющий порог вероятности принадлежности к заставке кадров видео. По умолчанию = 0.5, рекомендуется использовать именно такое значение.
Примерное время работы на T4 GPU ~ 2 минуты для серии 30-40 минут
Train и test выборки содержали неправдивые данные (напрмер начало заставки было позже конца заставки), они были либо скорректированы либо не учтены в обучении/валидации
Используется предобученная визуальная трансформер-модель DINOv2 для извлечения признаков из кадра видео (1 кадр/сек). Каждое видео преобразуется в последовательность эмбеддингов размерности 768.
Последовательность признаков подаётся в BiLSTM-классификатор, обучаемый на покадровой разметке (0 — не заставка, 1 — заставка).
Выход модели — покадровая бинарная маска.Из неё извлекается наиболее вероятный интервал заставки с помощью анализа непрерывных сегментов.
-
IoU: 0.799
-
Start MAE: 1.30 sec
-
End MAE: 1.38 sec