В GitHub появился репозиторий проекта Counterfit. Это детище Microsoft, призванное помочь независимым разработчикам выявить уязвимости в чужих нейросетях. Инструмент имеет открытый исходный код.
На странице проекта Microsoft описывает его как «CLI-приложение для поиска уязвимостей в системах машинного обучения». Оно автоматически имитирует атаку на нейросеть и демонстрирует ее слабые места (если такие обнаружатся). Counterfit можно использовать как на локальной машине, так и на серверах Azure.
В случае с первым вариантом нужно установить на свое устройство пакет Anaconda Python и git, затем скопировать себе репозиторий и запустить Counterfit с помощью команды python counterfit.py. Для тестирования на мощностях Azure нужно сначала выгрузить туда свой ИИ и так же запустить Python-скрипт.
Microsoft создала на базе GitHub небольшую энциклопедию, описывающую ключевые принципы работы Counterfit. Там можно подробно ознакомиться с тем, как работает инструмент, как его настроить и т.п.
Каждый разработчик может внести свой вклад в проект. Он полностью открыт и может быть модифицирован любым пользователем GitHub. Также Microsoft принимает дополнения к основному репозиторию.
Комментарии