Как я поручил ИИ-агенту аудит NAS: нейросеть нашла 2 ТБ дубликатов

Подробности изложены в материале первоисточника. Автоматические резервные копии избавляют от рутины, но со временем в хранилищах накапливается масса лишних данных. Я решил подключить ИИ-агента к своему сетевому хранилищу, чтобы проверить его на наличие дубликатов, и в итоге обнаружил два терабайта файлов, за повторный бэкап которых я переплачивал.

Когда вы настраиваете регулярное создание копий на NAS, то выбираете защищаемые каталоги и забываете о них. Спустя месяцы там появляются старые экспорты, ненужные проекты или копии файлов, которые уже давно хранятся в другом месте.

Автоматические бэкапы требуют внимания

Главная проблема заключается в том, что вы редко знаете точное содержимое защищаемых папок. Процесс продолжает работать по расписанию, а проверка успешности завершения задачи не показывает, действительно ли все эти гигабайты данных нужны в актуальном архиве. Более того, вы можете случайно сохранять одни и те же объекты через разные каталоги. Например, если скопировать фотографии из резервной копии ноутбука в отдельную медиатеку, а затем включить оба этих направления в план бэкапа, система начнет бережно сохранять обе идентичные версии.

Пересекающиеся задачи бэкапа создают похожие трудности, когда одна общая задача захватывает подпапку, для которой уже настроен отдельный процесс. Мне требовалось, чтобы аудит проверил файлы и конфигурацию в комплексе, поскольку расположение дубликата имеет критическое значение. Рабочий файл и его бэкап должны совпадать, но две избыточные копии в папках, которые обе отправляются в хранилище, требуют обязательной ревизии. Если вы платите за облачное или дополнительное пространство, такие лишние объекты напрямую увеличивают ваши расходы, хотя технологии сжатия и дедупликации до определенной степени сглаживают нагрузку на диски.

Предоставление доступа к NAS через SSH

Чтобы запустить проверку, я использовал свой сетевой накопитель UGREEN DH4300 Plus, где предварительно активировал службу SSH. Этот протокол позволяет удаленно подключаться к устройству с другого компьютера и выполнять команды. Интерфейс настройки у разных производителей отличается, но суть везде сводится к одному переключателю. Вам также понадобятся IP-адрес хранилища и учетная запись с правами на чтение нужных каталогов.

Я запустил кодинг-агент на своем Mac и предоставил ему доступ через созданное соединение. Проверить работоспособность SSH можно прямо в терминале с помощью команды вида ssh username@NAS_IP, заменив параметры на свои данные и введя пароль. Когда соединение заработало, ИИ смог использовать его для инспекции директорий и запуска сканера. В данном эксперименте я задействовал модель GPT 6.1 Sol, которая отлично справилась с задачей, уложившись в лимиты использования. Можно применять и более простые версии, избегая слишком дорогих флагманских моделей для рутинной работы.

Инструкции для агента

Главное — четко поставить задачу ИИ: указать, какие папки проверять, попросить сравнить содержимое файлов и изучить доступную конфигурацию бэкапов. Агент должен выдать отчет о том, где именно данные дублируются. Если настройки резервного копирования недоступны через SSH, экспортируйте конфигурацию в текстовый вид или подробно опишите источники и назначения каждой задачи, чтобы нейросеть понимала разницу между осознанными бэкапами и случайным мусором.

На первом этапе я строго запретил агенту удалять, перемещать или как-либо модифицировать файлы, запросив исключительно аналитический отчет. В него вошли полные пути к объектам, размеры групп дубликатов и пояснения к каждой категории. Поскольку сканирование нескольких терабайт создает серьезную дисковую активность, я также ограничил уровень параллельных процессов и попросил фиксировать файлы, к которым нет доступа или которые менялись прямо во время проверки.

Результаты аудита: обнаружено 2 ТБ дубликатов

В ходе проверки выяснилось, что я дважды храню и бэкаплю огромные массивы данных. Больше всего места занимали тяжелые файлы проектов Photoshop и видеоролики, поэтому результаты оказались крайне ценными. Если вы регулярно работаете в Photoshop, то наверняка знаете, как быстро скапливаются копии: исходник в рабочей папке, версия внутри завершенного архивного проекта и еще один файл, подготовленный для отправки клиенту. Если все три папки стоят в расписании бэкапов, вы многократно сохраняете одно и то же.

Кроме того, нашлись два видеофайла с абсолютно разными названиями, но полностью идентичным содержимым. Вы не найдете такое дублирование простым сравнением имен. Переименование видео для удобства сортировки не меняет его байты, а оригинал, оставшийся в исходной директории, образует вторую полноценную копию. С массивными видеофайлами даже пара таких просчетов съедает массу свободного места.

Анализ расположения папок

Изучение путей помогло понять, как именно возникают эти зеркальные копии. Например, можно заархивировать завершенный проект на NAS и одновременно оставить те же самые рабочие материалы на ноутбуке, который синхронизируется по собственному расписанию. В итоге и архив, и бэкап ноутбука содержат одинаковые данные. Иногда это делается намеренно для подстраховки, но чаще оказывается следствием обычной забывчивости.

Как правильно очищать хранилище

Получив отчет, я начал ревизию с самых крупных групп дубликатов. Сначала я определил, какие исходные копии необходимо оставить, и убедился, что они по-прежнему защищены актуальными резервными копиями. Перед тем как удалять что-либо, обязательно проверьте процедуру восстановления файлов. Только после этого я скорректировал настройки пересекающихся задач бэкапа, чтобы система прекратила сохранять ненужные копии на регулярной основе.