1.5.0-beta2

[ilyhalight]

⚠ Это бета версия и она может работать нестабильно. Обо всех проблемах рекомендуется сразу же сообщать в Issues

Список изменений

• Изменена логика получения ссылки на видео для Udemy и Coursera

  Теперь, ссылка на видео ищется не только в формате .mp4, но еще и в .webm.
  Добавлена проверка на то, является ли ссылка на видео блобом (если ссылка получена через плеер)

• Изменена логика получения ссылки на субтитры для Udemy и Coursera

  Теперь, проверка, изначально, идет по языку курса.
  Если субтитры по языку курса не были найдены, то идет проверка по языку на который выполняется перевод.
  Если и после этого субтитры не были найдены, то берутся первые субтитры из массива с субтитрами.

• Для Udemy и Coursera добавлено сообщение в консоль, если ссылка на субтитры или на видео не была найдена

• Для Coursera была добавлена проверка на наличие ссылки на видео

• Метод getSubtitlesFileURL, теперь, имеет одинаковый порядок аргументов в Udemy и Coursera

• Обновлена локализация для части языков. Возможно, локализация стала немного точнее или наоборот хуже из-за использования другого сервиса перевода. (список всех затронутых языков есть в TODO к 1.5.0-beta1)

Full Changelog: 1.5.0-beta1...1.5.0-beta2

---

This discussion was created from the release 1.5.0-beta2.

[SashaXser]

Можно через Whisper делать субтитры для видео на разных языках. Я хочу попробовать создать API для транскрибирования видео на сложных языках для Яндекса, таких как корейский и японский. Это API, помимо Youtube, также можно использовать на других сайтах. Но я еще не придумал, как это сделать.

[ilyhalight]

Можно через Whisper делать субтитры для видео на разных языках. Я хочу попробовать создать API для транскрибирования видео на сложных языках для Яндекса, таких как корейский и японский. Это API, помимо Youtube, также можно использовать на других сайтах. Но я еще не придумал, как это сделать.

Как раз недавно думал о чем-то похожем для генерации субтитров. В целом, можно было бы попытаться что-то сделать, но есть проблема в том, что скорость такого апи будет не из быстрых, как раз из-за работы с whisper, конечно, если не использовать какой-нибудь сервер с мощной видеокартой.

Немного потестил, на своем пк (cpu ryzen 7 3700, во всех тестах использовались 4 потока).
У меня транскрибация 3 минут русского аудио занимает:
~2 (1 к 0.67) минут на обычной модели whisper small (fp32, beam_size=5)
~18 (1 к 0.1) секунд на fast-whisper small (int8, beam_size=1, vad)
~30 (1 к 0.17) секунд на fast-whisper small (int8, beam_size=5, vad)
При этом получая не очень качественные субтиры (понятное дело, что это напрямую зависит от используемой модели, но на fast-whisper они на удивление получились, даже, качественнее, чем на обычной модели).

Смотреть более большие модели, по типу fast-whisper large-v2 (int8, beam_size=5, vad, 4 threads) нет смысла, ибо там время генерации слишком большое:
~4.2 (1 к 1.4) минут

Если использовать какие-то веб-модели, например, использовать whisper или fast-whisper через спейсы на hugging face, то получится еще более долгое ожидание + это не учитывая, что там может быть обслуживание, либо еще более длинные очереди, чем когда я тестировал:
~25.5 (1 к 8.5) минут на HF aadnk/whisper-webui (small)
~2 (1 к 0.67) минут на HF fast-whisper (small)
~3 (1 к 1(?)) минут на HF Xenova/whisper-web (small, но субтитры намного лучше, даже, чем на локальном fast-whisper small, но из минусов - доступен только json и txt, думаю, без проблем можно будет конвертнуть при необходимости)
~15 (1 к 0.08) секунд на HF whisper-jax, но там нету нормальных субтитров, только, сплошной текст

Побыстрому накидал план, как примерно представляю структуру такого апи (конечно, в идеале, хранение файлов и кеша, тоже, нужно, выносить в отдельное место). Но вопрос целесообразности, такого решения, конечно, все равно стоит, будет ли человек условно ждать минут 10-15, чтобы перевести видео такой же длины?

[SashaXser]

Можно через Whisper делать субтитры для видео на разных языках. Я хочу попробовать создать API для транскрибирования видео на сложных языках для Яндекса, таких как корейский и японский. Это API, помимо Youtube, также можно использовать на других сайтах. Но я еще не придумал, как это сделать.

Как раз недавно думал о чем-то похожем для генерации субтитров. В целом, можно было бы попытаться что-то сделать, но есть проблема в том, что скорость такого апи будет не из быстрых, как раз из-за работы с whisper, конечно, если не использовать какой-нибудь сервер с мощной видеокартой.

Немного потестил, на своем пк (cpu ryzen 7 3700, во всех тестах использовались 4 потока). У меня транскрибация 3 минут русского аудио занимает: ~2 (1 к 0.67) минут на обычной модели whisper small (fp32, beam_size=5) ~18 (1 к 0.1) секунд на fast-whisper small (int8, beam_size=1, vad) ~30 (1 к 0.17) секунд на fast-whisper small (int8, beam_size=5, vad) При этом получая не очень качественные субтиры (понятное дело, что это напрямую зависит от используемой модели, но на fast-whisper они на удивление получились, даже, качественнее, чем на обычной модели).

Смотреть более большие модели, по типу fast-whisper large-v2 (int8, beam_size=5, vad, 4 threads) нет смысла, ибо там время генерации слишком большое: ~4.2 (1 к 1.4) минут

Если использовать какие-то веб-модели, например, использовать whisper или fast-whisper через спейсы на hugging face, то получится еще более долгое ожидание + это не учитывая, что там может быть обслуживание, либо еще более длинные очереди, чем когда я тестировал: ~25.5 (1 к 8.5) минут на HF aadnk/whisper-webui (small) ~2 (1 к 0.67) минут на HF fast-whisper (small) ~3 (1 к 1(?)) минут на HF Xenova/whisper-web (small, но субтитры намного лучше, даже, чем на локальном fast-whisper small, но из минусов - доступен только json и txt, думаю, без проблем можно будет конвертнуть при необходимости) ~15 (1 к 0.08) секунд на HF whisper-jax, но там нету нормальных субтитров, только, сплошной текст

Побыстрому накидал план, как примерно представляю структуру такого апи (конечно, в идеале, хранение файлов и кеша, тоже, нужно, выносить в отдельное место). Но вопрос целесообразности, такого решения, конечно, все равно стоит, будет ли человек условно ждать минут 10-15, чтобы перевести видео такой же длины?

Есть Whisper-JAX на HF, он очень быстро транскрибирует текст, но увы в текстовом формате. Но есть идея как-то из текста делать vtt. Возможно можно просто немного переделать это на самом HF и эта проблема пропадает. Это вполне быстрый и рабочий вариант, только пока нет идей как отправить аудио с сайтов по типу Udemy.

[ilyhalight]

Можно через Whisper делать субтитры для видео на разных языках. Я хочу попробовать создать API для транскрибирования видео на сложных языках для Яндекса, таких как корейский и японский. Это API, помимо Youtube, также можно использовать на других сайтах. Но я еще не придумал, как это сделать.

Как раз недавно думал о чем-то похожем для генерации субтитров. В целом, можно было бы попытаться что-то сделать, но есть проблема в том, что скорость такого апи будет не из быстрых, как раз из-за работы с whisper, конечно, если не использовать какой-нибудь сервер с мощной видеокартой.

Немного потестил, на своем пк (cpu ryzen 7 3700, во всех тестах использовались 4 потока). У меня транскрибация 3 минут русского аудио занимает: ~2 (1 к 0.67) минут на обычной модели whisper small (fp32, beam_size=5) ~18 (1 к 0.1) секунд на fast-whisper small (int8, beam_size=1, vad) ~30 (1 к 0.17) секунд на fast-whisper small (int8, beam_size=5, vad) При этом получая не очень качественные субтиры (понятное дело, что это напрямую зависит от используемой модели, но на fast-whisper они на удивление получились, даже, качественнее, чем на обычной модели).

Смотреть более большие модели, по типу fast-whisper large-v2 (int8, beam_size=5, vad, 4 threads) нет смысла, ибо там время генерации слишком большое: ~4.2 (1 к 1.4) минут

Если использовать какие-то веб-модели, например, использовать whisper или fast-whisper через спейсы на hugging face, то получится еще более долгое ожидание + это не учитывая, что там может быть обслуживание, либо еще более длинные очереди, чем когда я тестировал: ~25.5 (1 к 8.5) минут на HF aadnk/whisper-webui (small) ~2 (1 к 0.67) минут на HF fast-whisper (small) ~3 (1 к 1(?)) минут на HF Xenova/whisper-web (small, но субтитры намного лучше, даже, чем на локальном fast-whisper small, но из минусов - доступен только json и txt, думаю, без проблем можно будет конвертнуть при необходимости) ~15 (1 к 0.08) секунд на HF whisper-jax, но там нету нормальных субтитров, только, сплошной текст

Побыстрому накидал план, как примерно представляю структуру такого апи (конечно, в идеале, хранение файлов и кеша, тоже, нужно, выносить в отдельное место). Но вопрос целесообразности, такого решения, конечно, все равно стоит, будет ли человек условно ждать минут 10-15, чтобы перевести видео такой же длины?

Есть Whisper-JAX на HF, он очень быстро транскрибирует текст, но увы в текстовом формате. Но есть идея как-то из текста делать vtt. Возможно можно просто немного переделать это на самом HF и эта проблема пропадает. Это вполне быстрый и рабочий вариант, только пока нет идей как отправить аудио с сайтов по типу Udemy.

Можно сделать по аналогии с Яндексом, т.е добавить возможность передавать прямую ссылку на видео. Если она есть, то на сервере загружается видео и как на картинке выше через ffmpeg можно будет получить аудио.

[SashaXser]

Можно через Whisper делать субтитры для видео на разных языках. Я хочу попробовать создать API для транскрибирования видео на сложных языках для Яндекса, таких как корейский и японский. Это API, помимо Youtube, также можно использовать на других сайтах. Но я еще не придумал, как это сделать.

Как раз недавно думал о чем-то похожем для генерации субтитров. В целом, можно было бы попытаться что-то сделать, но есть проблема в том, что скорость такого апи будет не из быстрых, как раз из-за работы с whisper, конечно, если не использовать какой-нибудь сервер с мощной видеокартой.
Немного потестил, на своем пк (cpu ryzen 7 3700, во всех тестах использовались 4 потока). У меня транскрибация 3 минут русского аудио занимает: ~2 (1 к 0.67) минут на обычной модели whisper small (fp32, beam_size=5) ~18 (1 к 0.1) секунд на fast-whisper small (int8, beam_size=1, vad) ~30 (1 к 0.17) секунд на fast-whisper small (int8, beam_size=5, vad) При этом получая не очень качественные субтиры (понятное дело, что это напрямую зависит от используемой модели, но на fast-whisper они на удивление получились, даже, качественнее, чем на обычной модели).
Смотреть более большие модели, по типу fast-whisper large-v2 (int8, beam_size=5, vad, 4 threads) нет смысла, ибо там время генерации слишком большое: ~4.2 (1 к 1.4) минут
Если использовать какие-то веб-модели, например, использовать whisper или fast-whisper через спейсы на hugging face, то получится еще более долгое ожидание + это не учитывая, что там может быть обслуживание, либо еще более длинные очереди, чем когда я тестировал: ~25.5 (1 к 8.5) минут на HF aadnk/whisper-webui (small) ~2 (1 к 0.67) минут на HF fast-whisper (small) ~3 (1 к 1(?)) минут на HF Xenova/whisper-web (small, но субтитры намного лучше, даже, чем на локальном fast-whisper small, но из минусов - доступен только json и txt, думаю, без проблем можно будет конвертнуть при необходимости) ~15 (1 к 0.08) секунд на HF whisper-jax, но там нету нормальных субтитров, только, сплошной текст
Побыстрому накидал план, как примерно представляю структуру такого апи (конечно, в идеале, хранение файлов и кеша, тоже, нужно, выносить в отдельное место). Но вопрос целесообразности, такого решения, конечно, все равно стоит, будет ли человек условно ждать минут 10-15, чтобы перевести видео такой же длины?

Есть Whisper-JAX на HF, он очень быстро транскрибирует текст, но увы в текстовом формате. Но есть идея как-то из текста делать vtt. Возможно можно просто немного переделать это на самом HF и эта проблема пропадает. Это вполне быстрый и рабочий вариант, только пока нет идей как отправить аудио с сайтов по типу Udemy.

Можно сделать по аналогии с Яндексом, т.е добавить возможность передавать прямую ссылку на видео. Если она есть, то на сервере загружается видео и как на картинке выше через ffmpeg можно будет получить аудио.

Вот как я планировал сделать транскрипцию текста:

[ilyhalight]

Вот как я планировал сделать транскрипцию текста:

Ну, да. можно и так. Суть в целом не сильно поменяется.

Есть Whisper-JAX на HF, он очень быстро транскрибирует текст, но увы в текстовом формате. Но есть идея как-то из текста делать vtt. Возможно можно просто немного переделать это на самом HF и эта проблема пропадает. Это вполне быстрый и рабочий вариант

Проверил еще раз, оказывается не заметил, что у них на hf была галочка "return timestamps", так что, думаю это не будет сильной проблемой (останется просто немного отфарматировать текст и будут готовые vtt субтитры)

[SashaXser]

Яндекс Браузер» начал переводить любые YouTube-трансляции с пяти языков.
Когда они успеют это делать?

[ilyhalight]

Сегодня новость вышла, но такая возможность в апи была уже в мае

[ilyhalight]

В расширение есть уже все запросы, кроме самой реализации стриминга m3u8

[SashaXser]

Я помню об этом, но в скрипте все еще есть ограничение на перевод стримов. Это нужно будет исправить позже, если они уже включили эту функцию для всех стримов.

[ilyhalight]

Надо будет, правда, не знаю с помощью чего можно сделать нормальный стриминг этого формата в браузере, какой-нибудь hlsjs?

[SashaXser]

HLSJS вполне подойдет, если что его можно будет сменить.