Мой блог
Anthropic предупреждает: самореплицирующийся ИИ может захватить умные устройства
Компания Anthropic выступила с заявлением о том, что компактные языковые модели в перспективе могут научиться к самостоятельной репликации через бытовые IoT-устройства. Речь идет о потенциальном создании децентрализованных ботнетов, способных обрабатывать рабочие нагрузки искусственного интеллекта без обращения к дата-центрам.
Специалисты компании провели эксперимент по репликации с использованием недорогих ТВ-приставок на базе Android, а также различных нейросетей, включая Qwen3.5-9B, Gemma4-26B-A4B, Llama3.1-8B, Opus 4.8 и GLM-5.2, каждая из которых выполняла определенную задачу.
Ход и детали исследовательского эксперимента
В ходе тестов модели Qwen3.5-9B и GLM-5.2 выступали в роли агентов, которым поручалось настраивать и распространять Llama3.1-8B для инференса, в то время как Gemma4-26B-A4B демонстрировала способность работать сразу на 15 телевизионных приставках. Модель Opus 4.8 проверялась отдельно в качестве консультанта для Qwen. Экспериментальные условия были упрощены: целевые устройства предоставляли открытый доступ по протоколу ADB без аутентификации.
Результаты и оценка эффективности моделей
Итоговые показатели показали, что Qwen3.5-9B успешно развернула и настроила программную среду для запуска Llama3.1-8B на восьми из девяти протестированных аппаратных конфигураций. Модель GLM-5.2 смогла достичь всех восьми узлов в изолированной эмулированной сети в четырех из пяти попыток, однако остальные участники эксперимента не смогли завершить полный цикл без сбоев.
Исследователи зафиксировали рост показателей успешности при сохранении накопленных данных от предыдущих попыток. Так, эффективность Qwen3.5-9B увеличилась с начальных 45% до 84% в последующих итерациях. При этом привлечение более мощной модели Opus 4.8 для помощи в инференсе не привело к измеримому улучшению результатов.
Прогнозы и возможные защитные меры
Опираясь на полученные данные и темпы исторического развития индустрии, специалисты прогнозируют, что нейросети с числом параметров до 30 миллиардов могут достичь необходимого уровня автономности к концу 2026 года. На исследованном оборудовании процесс подготовки инференса занимал от 28 до 51 часа для Qwen3.5-9B и от 71 до 150 часов для Gemma4-26B-A4B, что оставляет защитным системам достаточно времени на обнаружение и реагирование.
Тем не менее, с появлением новых версий моделей это время может сократиться, из-за чего ужесточение стандартов безопасности интернета вещей станет приоритетной задачей. Среди предлагаемых методов защиты рассматриваются мониторинг передачи крупных объемов данных моделей, выявление аномального трафика между устройствами, применение ханипотов для проверки полезной нагрузки, изоляция зараженных абонентов и улучшение заводских настроек безопасности IoT.
Создайте план безопасности против атак с участием ИИ
Эксперты и лидеры индустрии кибербезопасности обсуждают изменения, которые привносят киберугрозы на базе искусственного интеллекта, а также методы оперативного реагирования и проверки защищенности цифровых систем на высокой скорости.
