Инцидент с участием OpenAI и Hugging Face стал переломным моментом, наглядно показавшим, как именно будут развиваться возможности рядовых злоумышленников в ближайшие месяцы. Общаясь с представителями различных организаций в последние недели, можно выделить главный сквозной мотив: бизнес осознает необходимость кардинального и беспрецедентно быстрого повышения уровня информационной безопасности. В этой статье мы подробно разберем, как кибербезопасность и искусственный интеллект меняют ландшафт угроз, какие меры предпринимаются для защиты самой OpenAI, а также какие конкретные шаги могут и должны предпринять другие компании.

Обзор ситуации и новые реалии

Современные модели искусственного интеллекта, разрабатываемые по всему миру, всё успешнее автоматизируют отдельные этапы реальных кибератак. Это делает поиск и эксплуатацию давних уязвимостей — от скрытых в написанном людьми коде ошибок до забытых прав доступа — гораздо более простой задачей. В то же время аналогичные технологические возможности дают специалистам по защите новые инструменты для обнаружения и устранения таких слабых мест, однако действовать нужно незамедлительно. Если компании примут решительные меры, включая укрепление базовых принципов защиты и усиление своих команд с помощью ИИ, интернет удастся сделать более безопасным, чем когда-либо прежде.

Во время инцидента с Hugging Face автономный агентный коллектив смог проникнуть не только в исследовательскую инфраструктуру OpenAI, но и в производственную среду другой компании. Злоумышленники объединили целый ряд уязвимостей: от прежде неизвестных брешей в защите до использования учетных данных пользователей, ранее утекавших в сеть. Становится очевидно, что накопленный технологический долг любой компании скрывает серьезные недостатки, которые защитникам необходимо выявить и устранить до того, как это сделают атакующие.

Стремясь получить преимущество перед злоумышленниками, еще в начале текущего года разработчики начали предоставлять специализированные кибервозможности только проверенным структурам. Тем не менее различные игроки рынка выпускают модели с открытыми весами, отстающие от передовых разработок всего на несколько месяцев. Очередная подобная модель, выход которой ожидался в конце августа, способна существенно ускорить трансформацию угроз. И хотя ИИ-агрессоры вскоре смогут находить застарелые изъяны в существующих системах, точно такие же технологии позволят защитникам быстрее находить, приоритизировать и устранять аналогичные уязвимости.

Экономика безопасности и практический опыт

Информационная безопасность остается извечной борьбой нападения и защиты, однако технологии искусственного интеллекта способны изменить экономический баланс в пользу специалистов по обороне. Например, специалисты уже обучают модели написанию сверхзащищенного кода. Кроме того, системы демонстрируют невероятные результаты в математическом доказательстве, что позволяет формально верифицировать безопасность программного обеспечения — задачу, которая ранее казалась людям практически невыполнимой.

Сразу после инцидента с Hugging Face был проведен эксперимент: с помощью ChatGPT Work (на базе общедоступной версии GPT-5.6 Sol) специалисты оценили уровень защиты сайта gregbrockman.com. Поскольку это простой статический ресурс на AWS с Cloudflare в качестве защитного экрана, казалось, что уязвимостей там практически нет. Однако примерно за 15 минут система обнаружила 13 проблем. Многие из них вряд ли представляли опасность по отдельности, но вполне могли быть объединены в общую цепочку для достижения критического эффекта. В частности, не были настроены DNS-записи для защиты от подделки электронной почты, использовалась устаревшая версия jQuery, а Cloudflare передавала запросы на AWS по незашифрованному протоколу HTTP.

Затем ИИ-помощнику было поручено исправить обнаруженные неполадки, с чем он справился в течение часа. Система открыла панель управления Cloudflare в браузере и последовательно настроила DNS, TLS и расширенные параметры безопасности, полностью удалила устаревшую библиотеку jQuery, перенесла сайт с AWS на Cloudflare Pages и запустила поэтапное внедрение протокола DMARC. И все это было продемонстрировано на примере обычного личного сайта.

Что OpenAI делает для собственной защиты

Это небольшой пример того, как существующие модели способны работать в роли цифрового защитника, находить малозаметные проблемы, на поиск которых у человека не хватило бы времени или глубокой экспертизы, а затем устранять их с помощью тщательно выверенного плана внедрения. Инцидент с платформой Hugging Face продемонстрировал недооценку реальных возможностей искусственного интеллекта в киберпространстве. В ответ на это организация ужесточает требования безопасности, что дополнительно ускоряет профильные исследования и внутренние инженерные процессы. Компания делится своим опытом защиты инфраструктуры в текущих реализациях, рассчитывая на пользу такого подхода для других организаций.

Для обеспечения безопасности компания инвестирует значительные ресурсы как в базовые фундаментальные средства контроля, так и в расширение возможностей защиты при помощи передового интеллекта. Стратегия опирается на четыре ключевых направления. Первое заключается в использовании моделей для защиты программного кода. Система Codex, включая специализированный плагин безопасности, проверяет изменения в коде, выявляет уязвимости и помогает разработчикам устранять недочеты до того, как они попадут в продакшен. Задача состоит не в том, чтобы генерировать больше предупреждений, требующих ручной проверки разработчиком, а в предотвращении реальных угроз и сокращении пути от обнаружения проблемы до безопасного развертывания исправления. По мере обучения моделей созданию более защищенного кода ставится цель полностью искоренить отдельные категории программных уязвимостей в новых разработках.

Второе направление предполагает постоянную защиту инфраструктуры силами моделей. Практически все первичные сигналы тревоги сегодня обрабатываются автоматизированным интеллектом еще до привлечения специалистов. Это снижает нагрузку на сотрудников, сокращает время отклика и позволяет людям концентрироваться на задачах, где их навыки приносят наибольшую пользу: на оценке, принятии решений и применении экспертного опыта. Подобные сигналы все теснее связываются с ограниченными автоматическими ответными мерами, оставляя за человеком самые критически важные решения. Цель состоит в обеспечении обнаружения угроз и реагирования на них со скоростью работы машин.

Третий элемент стратегии связан с применением передового интеллекта для непрерывного перечисления, зондирования и выявления потенциальных путей атак. Определение уязвимостей, неправильных конфигураций, избыточных привилегий или случайных границ доверия позволяет оперативно устранять уязвимости до того, как ими воспользуются злоумышленники. Это дает возможность непрерывно оценивать, отслеживать и тестировать ключевые инварианты безопасности — те свойства систем, которые считаются незыблемыми во всей инфраструктуре и продуктах.

Четвертый блок подразумевает масштабные инвестиции в фундаментальные основы. Организация продолжает вкладываться в защищенную архитектуру и элементы контроля, применять принципы эшелонированной обороны и минимизации привилегий, а также проектировать системы, для компрометации которых требуется одновременный выход из строя нескольких независимых компонентов. Классические защитные меры вроде сетевой изоляции, изоляции рабочих нагрузок, мониторинга, а также безопасного патчинга и развертывания станут еще более критичными в эпоху ИИ.

Как действовать защитникам прямо сейчас

Время имеет решающее значение, и специалистам по защите необходимо действовать в ускоренном режиме. Хотя упоминаются технологии OpenAI, на рынке есть множество альтернативных решений от конкурентов, которые также стоит оценить. Важнее конкретного инструмента оказывается предоставление способного искусственного интеллекта в распоряжение защитников уже сегодня. Первым шагом становится получение поддержки и согласия руководства организации. Происходит стремительное изменение ландшафта угроз безопасности, поэтому важно убедиться, что инженерные и профильные команды имеют необходимые ресурсы и партнерскую поддержку для оперативного реагирования. Стоит регулярно проводить командные учения в формате настольных игр, чтобы смоделировать возможные сценарии атак и выработать четкие планы противодействия.

Практические шаги по обеспечению защиты

Предоставьте своей службе безопасности персонального агента. Начните использовать Codex, плагин Codex Security или другой мощный агентский инструмент для написания кода и обеспечения безопасности. Предоставьте ему утвержденный доступ к кодовым базам, конфигурациям инфраструктуры и технической документации, которые необходимы вашим специалистам для оценки. Не стоит дожидаться масштабного внедрения во всей компании, начинайте защиту с наиболее критически важных систем.

Наделите этого агента профильной экспертизой в области безопасности. Начните с поддерживаемых сообществом навыков, которые включают рабочие процессы для статического анализа, проверки кода с акцентом на безопасность, поиска вариантов уязвимостей, анализа рисков цепочки поставок программного обеспечения и прочих защитных процедур. Затем создавайте собственные навыки, опираясь на архитектуру вашей организации, стандарты безопасности, модели угроз и регламенты реагирования.

Незамедлительно проводите оценку безопасности собственных систем. В первую очередь уделите внимание службам, выходящим в интернет, процессам аутентификации, инфраструктуре как коду, конвейерам развертывания и системам, обрабатывающим конфиденциальные данные. Расширяйте сканирование по мере того, как команда будет обретать уверенность в инструментах.

Разберите накопившиеся уязвимости из существующего бэклога. Передайте агенту результаты от сканеров кода, оповещения о зависимостях, тикеты безопасности, отчеты о поиске багов и прошлые проверки. Поручите ему провести триаж этих находок, отделить реальные точки для эксплуатации от ложного шума, выявить аналогичные уязвимости в других частях кодовой базы и порекомендовать очередность устранения.

Внедрите проверку безопасности непосредственно в процесс разработки. Используйте агентов для анализа изменений в коде перед их слиянием и запускайте проверки безопасности в непрерывной интеграции (CI). Ищите ошибки аутентификации, обходы контроля доступа, раскрытые учетные данные, небезопасные зависимости, ненадежные настройки по умолчанию, изменения, расширяющие доступ к производственным системам, и другие уязвимости.

Поручите агенту помогать в устранении обнаруженных проблем. Для подтвержденных уязвимостей попросите его сгенерировать и проверить точечный патч, написать регрессионный тест и убедиться, что уязвимость больше не воспроизводится. Оставляйте за человеком финальную проверку значимых изменений, но устраняйте лишние задержки между выявлением реальной проблемы и передачей безопасного исправления инженеру.

Постепенно автоматизируйте триаж обнаружений. Не пытайтесь сразу построить полностью автономный центр мониторинга безопасности (SOC). Начните с запуска сканирования безопасности в режиме только чтения для одного репозитория или поручите агенту проанализировать ранее закрытые оповещения, используя доступ только для чтения к существующим журналам. Пусть он суммирует доказательства и рекомендует решение, в то время как окончательное слово остается за человеком. По мере роста уверенности переходите к сканированию пулл-реквестов в консультативном режиме, затем к обработке живых оповещений и автоматическому закрытию четко определенных ложных срабатываний.

Подготовьте возможность проведения расследований с помощью ИИ заблаговременно, до того как возникнет реальная необходимость. Подайте заявку на программу Trusted Access for Cyber и получите одобрение команды на использование GPT-Daybreak-Blue для авторизованной защитной работы, включая реагирование на инциденты, разработку правил обнаружения и анализ вредоносного ПО. Практикуйтесь в использовании этого инструмента для анализа логов, телеметрии и оповещений безопасности.

Экспериментируйте, проводите хакатоны и быстро итеративно развивайтесь. Нам потребуется создавать самые разные новые инструменты, менять подходы к работе и повышать квалификацию каждого сотрудника для новой реальности. Поощряйте сотрудников к экспериментам, организуйте неделю хакатона для создания новых возможностей и сосредоточьтесь на быстрых циклах итераций, автоматизирующих небольшие фрагменты общей проблемы. Быстрый поэтапный прогресс приводит к кумулятивным результатам в защите, и вы сможете постепенно расширять автономность систем по мере того, как команда будет обретать уверенность.

Ни одна компания не способна справиться с этой задачей в одиночку. Наш призыв заключается в том, чтобы лаборатории искусственного интеллекта, поставщики средств безопасности, предприятия и мейнтейнеры делились проверенными находками, исправлениями и практическими руководствами. Это позволит открытию одной организации укреплять всю экосистему в целом. Окно возможностей для защитников открыто прямо сейчас.

В ближайшие месяцы каждой организации придется существенно автоматизировать собственную систему безопасности для поддержания должного уровня защиты. Профессиональному сообществу необходимо в срочном порядке заняться разработкой инструментов, практик и регламентов, которые позволят наращивать защитный потенциал быстрее, чем возможности злоумышленников на фоне развития технологий. Эта задача потребует масштабных и беспрецедентных усилий, однако совместные действия способны обеспечить создание более безопасного мира.

Источник: openai.com