Яндекс представил новую технологию перевода видео с английского языка, не имеющую аналогов в мире. Она объединяет в себе машинный перевод, технологии биометрии, распознавания и синтеза речи. Благодаря ей пользователи Яндекс.Браузера смогут смотреть ролики на иностранном языке с закадровым переводом.
Данный прототип разрабатывало несколько команд, и технология умеет сначала определять пол говорящего, а затем подбирать голос, соответствующий ему. Для большего совпадения закадрового голоса с картинкой алгоритм будет периодически делать паузы, а временами замедлять и ускорять переведенную речь. Это связано с тем, что некоторые англоязычные реплики в переводе на русский не совпадают по длине.
Создатели уже опробовали работу прототипа на видеозаписях из YouTube по различным тематикам, в том числе можно посмотреть переведенные ролики про изменение климата, самоуправляемые автомобили или историю Плутона. На данный момент работает только перевод ограниченного числа видео на английском языке.
Разработка прототипа еще продолжается. Тестирование доступно только пользователям операционных систем Windows и macOS, использующим Яндекс.Браузер. После финального релиза можно будет самостоятельно выбирать ролики для перевода с помощью новой технологии.
Комментарии