Что такое Whisper и как им расшифровать аудио?

Что важно знать

• Модель обучена на сотнях тысяч часов аудио с текстом из интернета — поэтому хорошо переносит акценты и шум.
• Есть несколько размеров модели: от маленьких и быстрых до больших и точных.
• Код и веса открыты под лицензией MIT — их можно использовать и в коммерческих проектах.
• Модель слушает запись кусками по 30 секунд и склеивает результат, поэтому на длинной тишине иногда повторяет или выдумывает фразы.
• Разделения по спикерам в самой модели нет.

Как запустить из командной строки

Нужны Python и FFmpeg. Установите пакет командой pip install -U openai-whisper, затем выполните whisper запись.mp3 --language Russian --model medium. Рядом с файлом появятся текст и субтитры в нескольких форматах. Если командная строка — не ваше, возьмите графическую программу на Whisper.

Whisper в сервисах

Многие программы, плагины и сервисы транскрибации построены на Whisper или его доработанных версиях. Поэтому качество у них часто похоже, а разница — в удобстве: разделение по спикерам, саммари, хранение, интеграции. Если сервис обещает «уникальную нейросеть», проверьте его на своей записи рядом с обычным Whisper.

Как сделать

1. Установите Python и FFmpeg.
2. Установите Whisper: pip install -U openai-whisper.
3. Запустите whisper файл.mp3 --language Russian --model medium.
4. Откройте полученный TXT или SRT.
5. Проверьте имена, цифры и места с тишиной.

Источники

• OpenAI Whisper на GitHub
• OpenAI: Introducing Whisper