Узнаем, как «Яндекс» научил нейросеть переводить видео на лету…
Пользователи могут посмотреть ролики на английском языке, благодаря используемым технологиям. Об этом рассказали в vc.ru.
В июле «Яндекс» представил прототип нейросети с закадровым переводом видео
Тогда нейросеть работала на небольшом списке роликов. Невероятно, но в октябре 2022 года нейросеть «Яндекса» переводит любое видео. Попробуйте сами!
Как это устроено
Как работает нейросеть «Яндекса»? Во-первых, она переводит видео в высоком качестве.
У пользователей есть возможность переводить записанные видео на иностранном языке в один кли
Однако, ограничения распространяются на такой сериал, как Netflix, который сервис не переводит.
Во-вторых, вот подробный алгоритм, как нейросеть может переводить любое видео:
- Превращение речи в текст и разбивка ее на предложения.
- Распознавание речи.
- Алгоритмы определяют пол говорящего.
- Все переводится на русский язык.
- Синтезирует голос.
- После чего происходит совмещение перевода с видеорядом.
Где работает нейросеть «Яндекса»
Нейросеть «Яндекса» переводит видео в «Яндекс.Браузере» для Windows, Linux, Android, macOS, а также в приложении «Яндекс.Браузер» для iOS и Android.
Чтобы перевести видео на русский язык потребуется несколько минут
Для перевода нужно необходимо нажать соответствующую кнопку в плеере, после чего пользователь получит уведомление.
Какие голоса доступны
Доступны мужской и женский голос. Пока нейросеть «Яндекса» переводит видео на английском, но в дальнейшем компания намерена включить еще другие языковые пары.
Одной из важных задач «Яндекса» является удаление любых языковых границ
Разработка нейросети была запущен еще в 2011 году и сейчас она может переводить разные виды контента, а именно текст, видео.
Заключение
В дальнейшем в переводы будут добавляться новые языки и голоса, что поможет пользователям узнавать новинки.