Текст песни из аудио: как вытащить слова

Вытащить текст из песни хочется по разным причинам. Строчка засела в голове, а поисковик по ней ничего не находит. Песня на английском, и хочется наконец понять, о чём она. Нужны слова для караоке, для кавера, для субтитров к ролику. Или трек редкий, его нет ни на одном сайте с текстами.

Готовый текст ищется за минуту, когда песня известная. Проблемы начинаются с остальными: демо из соцсетей, запись с концерта, локальная группа, трек друга, старая кассета, оцифрованная в mp3. Тут остаётся распознавание: загрузить аудио и получить слова так же, как получают расшифровку речи.

Короткий трек можно вообще не заливать на сайт: перешли файл боту в Телеграме или МАКС, текст придёт ответным сообщением. Боту годится любой аудио или видеофайл, не только голосовое.

Распознавание рассчитано на речь, а пение от речи заметно отличается: гласные тянутся, ударения смещаются под ритм, слова наезжают на бит. Поверх этого лежит музыка. Поэтому результат сильно зависит от того, что именно ты загрузил, и предсказать его заранее нельзя. Ниже скорее ожидания, чем гарантии.

Обычно выходит лучше. Акустика и голос под гитару. Рэп и речитатив, где дикция ближе к разговорной. Бардовская запись, детская песня, гимн, колыбельная. Аудиокнига или подкаст с музыкальной подложкой. Живое исполнение, если микрофон стоял у вокалиста.

Выходит хуже. Плотный микс, где вокал утоплен в инструментале. Много бэков и наложенных голосов. Тяжёлый автотюн. Запись с телефона из зала, где половина дорожки это толпа.

Скорее всего не выйдет. Скриминг и гроулинг. Хор, поющий в унисон. Треки, где голос намеренно обработан до неузнаваемости.

Практический вывод простой: считай результат черновиком, а не готовым текстом. По припеву, который повторяется четыре раза, ошибки видно сразу, потому что распознались строчки по-разному, и правильный вариант вычисляется сравнением. Тайм-коды нужны ровно для этого, чтобы не переслушивать трек целиком ради одной строчки.

Отдельный частый случай: трек на английском, немецком, испанском, корейском, и хочется понять слова. Языков в распознавании больше шестидесяти, определять его вручную не нужно.

Текст придёт на языке оригинала, и это важно понимать заранее: Шöпот распознаёт речь, а не переводит между языками. Английская песня даст английский текст, дальше переводи его чем удобно. Разобраться со смыслом помогает AI-чат по файлу: спроси, о чём песня, попроси объяснить идиому или пересказать куплет. Чат помнит разговор, так что уточнять можно по ходу.

Для изучения языка получается неплохой материал: текст с тайм-кодами рядом с записью. Разбираешь строчку, отматываешь по тайм-коду, слушаешь ещё раз. Только сверяй, что чат отвечает по тексту, а не по своим догадкам о смысле трека.

Если нужны субтитры к клипу или к каверу, бери выгрузку SRT: строчки уже разложены по времени, останется поправить разбивку под комфортное чтение. Подробно про это в статье о том, как сделать субтитры к видео.

Если нужен просто текст для себя, забирай TXT и вычитывай. Сколько уйдёт на вычитку, зависит от того, насколько чисто распозналась запись, но правишь ты отдельные места, а не набираешь всё с нуля.

Если разбираешь чужую запись как материал для работы, посмотри расшифровку подкаста: там про то же самое, но применительно к длинным разговорным записям.

Слова песни это часть произведения, и права на них принадлежат автору. Распознать текст, чтобы разобрать его для себя или на уроке языка, это личное использование материала.

Публикация чужого текста уже другое дело. Выложить полный текст песни на сайт, впечатать в описание видео, собрать из текстов сборник на продажу без разрешения правообладателя, как правило, нельзя, если не действует исключение или свободная лицензия. Субтитры к чужому клипу тоже относятся к использованию произведения. Что допустимо именно в твоём случае, зависит от способа использования и юрисдикции, так что при планах на публикацию разбирайся с правами отдельно.

Почему в тексте песни больше ошибок, чем в расшифровке разговора?
Потому что пение отличается от речи: тянутся гласные, смещаются ударения, слова подгоняются под ритм. Плюс музыка на фоне, которую алгоритм тоже слышит. На акустике и рэпе результат близок к речи, на плотном миксе заметно хуже.

Можно убрать музыку и оставить только голос?
Разделения дорожки на вокал и инструментал в Шöпоте нет, файл обрабатывается как есть. Если у тебя уже есть версия с вытащенным вокалом, загружай её, по ней распознавание отработает заметно чище.

Песня на английском. Текст придёт на русском?
Нет. Это распознавание речи, а не перевод: английская песня вернётся английским текстом. Переводи его отдельно чем удобно, а разобрать смысл строчки можно в AI-чате по файлу.

Можно вытащить текст из клипа по ссылке?
Да, если ролик лежит на YouTube, VK, Rutube или Dzen и открывается без входа в аккаунт. Вставь ссылку, звуковая дорожка заберётся сама. Про этот путь есть отдельный разбор: текст из видео по ссылке.

Сколько песен помещается в бесплатные минуты?
Бесплатный тариф даёт 30 минут в месяц, а дальше считай по длительности треков. Потом либо разовые блоки по 30 минут от 300 ₽, либо подписка от 390 ₽ в месяц при годовой оплате, по ней минута дешевле поштучной оплаты.

Куда попадает загруженный файл?
Обработка идёт на собственных серверах Шöпота, около 99% процессинга не покидает свой контур. Расшифровки и саммари лежат на серверах в РФ без ограничения по сроку, исходные файлы ограниченное время в зависимости от тарифа, на бесплатном 30 дней. Удалить данные можно по запросу, VPN не нужен.

Возьми песню, текст которой давно хотел разобрать, и прогони её через расшифровку. Минуты бесплатные, карта не нужна: app.shopot.ai. По первому же треку станет понятно, насколько чисто движок читает именно твою музыку.