Искусственный интеллект начнет синхронно переводить и озвучивать видео голосом оригинала

Papercup, британский стартап в области искусственного интеллекта, разработавший речевую технологию, которая переводит голоса людей на другие языки и уже используется в видео- и телеиндустрии, собрал 8 миллионов фунтов стерлингов финансирования.

ФОТО: ZDNet

Раунд возглавляли LocalGlobe и Sands Capital Ventures, а также Sky, GMG Ventures, Entrepreneur First (EF) и BDMI. Papercup заявляет, что новый капитал будет использован для дальнейших инвестиций в исследования в области машинного обучения и для расширения его функции контроля качества "человек в цикле", которая используется для улучшения и настройки качества видео, переведенных с помощью ИИ.

Первоначально технология нацелена на производителей видео, в том числе уже используется Sky News, Discovery и звездами YouTube Yoga с Адриеном, а также создателями контента DIY. Он позиционируется как гораздо более масштабируемая и, следовательно, более дешевая альтернатива чисто человеческому дубляжу.

Для "студий с глубокими карманами", конечно, есть возможность использовать высококачественный дубляж через профессиональную студию и актеров озвучивания, но это слишком дорого для большинства владельцев контента. И даже богатые студии часто ограничены в том, сколько языков они могут разместить.

В рамках своего проекта Papercup необходимо будет решить четыре задачи. Во-первых, это создание "естественно звучащих" голосов, то есть того, насколько ясно и по-человечески звучат синтетические голоса. Вторая задача — сохранить эмоции и темп, чтобы отразить, как исходный говорящий выразился (задумчив, счастлив, грустен, зол и так далее). В-третьих, уловить уникальность чьего-то голоса (например, Моргана Фримена, но на немецком языке). Наконец, полученный перевод требует правильного выравнивания звука и самого видео.

Как сообщало издание "Комментарии", искусственный интеллект обнаружит Covid-19 у бессимптомных больных.