В сети появился бесплатный сервис NotesGPT на основе нейросетей, с помощью которого можно переводить голосовые заметки в текст. Плюсом является поддержка русского языка, доступ к нему можно получить через сайт, причем как с компьютера, так и смартфона.
Веб-приложение написано на TypeScript, в качестве модели машинного обучения –Mixtral, которая развернута на мощностях сервиса Together AI. Распознавание голоса обеспечивает нейросеть Whisper, выпущенная на Replicate. Дополнительно разработчики внедрили Convex и Clerk.
Для авторизации в сервисе можно использовать привязку к учетной записи Google или же электронную почту. После регистрации можно сразу начинать запись и переводить аудио в текст. Мы протестировали сервис: качество расшифровки при отсутствии помех в записи достаточно высокое, однако не все слова сервис успешно распознает. Отметим, что пока разработчики не реализовали возможность загружать существующие голосовые записи и проводить транскрибацию.
С помощью NotesGPT можно записывать аудио, сохранять их, а также переводить в текстовый формат по запросу. Функция Summary позволяет преобразовать речь в краткий связный пересказ, а в блоке Action Items будут отражены пункты действий – можно отметить их выполнение галочками или добавить дополнительные. Вот как выглядит условный тренировочный план:
Создатели планируют использовать более быструю версию Whisper, а также реализовать функцию приостановки записи с дальнейшим ее продолжением по запросу. В планы также включены создание мобильного приложения и интеграция с Notion для сохранения переведенных в текст записей в виде документа.
На Хабре пишут, что код проекта представлен в открытом доступе и опубликован на GitHub, при желании сторонние разработчики могут присоединиться к нему. В репозитории есть инструкция по развертыванию NotesGPT на собственном сервисе.
Изображение на обложке: github.com
Комментарии