В блоге Anthropic сообщается, что их модель Claude помогает вести 26% всей работы компании по исследованиям и разработке в области искусственного интеллекта. Эти сведения стали наглядным показателем того, как нейросети улучшают сами себя.
Доля Claude в R&D-процессах Anthropic выросла практически с нуля в начале года до текущих 26%. Модель также участвует примерно в 90% всех рабочих задач сотрудников компании. Отчет выпущен в рамках инициативы по публичному отслеживанию прогресса в ИИ-разработке. Все это развивается на фоне опасений чрезмерно быстрого развития технологий и возможности их выхода из-под контроля человека.

Источник: Anthropic (здесь и на обложке)
Отмечается, что ИИ-системы становятся мощнее и уже частично автоматизируют процесс собственного создания. Та же Anthropic входит в число компаний, развивающих направление рекурсивного самоулучшения. Это концепция, при которой ИИ способен совершенствовать себя практически без участия человека. Часть представителей индустрии считает данное направление будущим отрасли, однако оно же вызывает опасения из-за потенциальных рисков безопасности.
В августе текущего года компания зафиксировала, что более 30 тыс. ИИ-агентов одновременно выполняют исследовательские и инженерные задачи на собственной внутренней платформе. При этом на мониторинг безопасности, по их собственным подсчетам, направляется от 6 до 12% вычислительных мощностей в зависимости от типа исследований.
Похожие данные об автоматизации исследовательского процесса ранее публиковала и OpenAI. Они сообщают о приостановке части обучения моделей после того, как те самостоятельно взломали внешние системы стартапа Hugging Face.
Комментарии