Корпуса персональных данных и проверка шлюзов маскирования для ИИ-агентов

маскирование персональных данных — Вопрос тестирования шлюзов маскирования данных для LLM-агентов требует применения специализированных наборов данных. Если детектор успешно скрыл телефон в текстовом сообщении, остается открытым вопрос о том, какой именно номер попадет в CRM при вызове функции и сможет ли система найти нужного клиента.

Шлюз обратимого маскирования Pseudex разрабатывался с учетом необходимости одновременной проверки защиты конфиденциальности и корректности работы агентов. Понимание особенностей различных бенчмарков помогает объективно оценивать качество фильтрации.

Различные категории проверок и их специфика

Понятие «бенчмарк для ИИ» объединяет совершенно разные типы наборов. NER-корпуса содержат текст и разметку границ сущностей вроде имен людей, названий организаций или географических объектов. Наборы для маскирования фокусируются на телефонах, документах и конфиденциальных атрибутах. Бенчмарки вызовов инструментов включают описание функций, пользовательские вопросы и ожидаемые сценарии активации. Подробнее по теме: Обзор и особенности бюджетного панорамного корпуса Hyte Y50 RGB.

Использование сторонних корпусов позволяет проверять отдельные свойства систем. В авторском проекте AgentMask-RU процессы маскирования были напрямую связаны с восстановлением исходных значений в аргументах инструментов. Ошибки возникают тогда, когда результаты на одном типе наборов ошибочно трактуются как доказательство совершенно иных свойств системы.

Особенности новостного корпуса NEREL

Корпус NEREL включает около 56 тысяч сущностей, 39 тысяч отношений и 29 различных типов разметки на основе новостных текстов. В материалах присутствуют вложенные сущности, например, имена людей внутри названий организаций. Анализ локальной копии подтверждает масштаб разметки, состоящей из сотен файлов.

Новостные тексты отличаются от реальной переписки в поддержке. В новостях соблюдаются правила пунктуации и регистр, упоминаются публичные лица и географические объекты. В клиентских чатах преобладают опечатки, неполные имена и адреса без стандартных маркеров. Временные выражения вроде «в 2009 году» в разметке NEREL обозначаются тем же типом DATE, что и потенциальные даты рождения. Контекст определений различается, поэтому прямое сравнение шлюза с новостной разметкой требует учетных оговорок.

Специфика коротких реплик в корпусе MASSIVE

Русскоязычная часть корпуса MASSIVE насчитывает более 16 тысяч реплик, предназначенных для распознавания намерений и заполнения слотов. Слот person позволяет отслеживать пропущенные упоминания людей в разговорной речи, хотя отсутствие такого слота не доказывает отсутствие персональных данных. Подробнее по теме: Google представила Pixel 11 Pro Fold: характеристики камер и обновления корпуса.

Подобные наборы эффективны для анализа коротких обращений без полного имени, заглавных букв и строгой пунктуации. Имена здесь нередко встречаются в нижнем регистре или без уточняющих маркеров вроде «клиент». Простое ослабление фильтров приводит к срабатываниям на обычные слова, из-за чего приходится контролировать не только пропуски, но и избыточные подстановки.

Оценка текстов с размеченными ПДн в PII-Bench

Корпус PII-Bench содержит около 1800 примеров, разделенных на 13 типов данных и 9 доменов. Он ближе всего к задачам проверки шлюзов маскирования, так как в нем размечены конкретные персональные сведения. Итоговые показатели зависят от применяемых правил валидации.

На ранних этапах проверок выявлялись расхождения, связанные с проверкой контрольных сумм номеров карт или обработкой идентификаторов организаций вроде КПП и ОГРН. Наличие таких реквизитов само по себе не превращает текст в персональные данные физического лица, однако корпоративные политики могут требовать их скрытия.

Результаты контрольных прогонов

Сохраненные отчеты рабочих версий движка демонстрируют различные показатели обнаружения. Для коротких реплик MASSIVE доля распознавания слотов person превышает 90%. На тестах PII-Bench показатели обнаружения для имен, телефонов, ИНН и СНИЛС достигают высоких значений, в то время как паспорта и адреса требуют дополнительной настройки с учетом специфики названий городов.

Метрики обнаружения и полного покрытия различаются в зависимости от методологии измерителей. В одних случаях фиксируется нахождение хотя бы одного слова из имени, в других требуется точное попадание в границы всего слота.

Влияние внешних бенчмарков ai4privacy и инструментов

Наборы данных вроде ai4privacy часто рассматриваются в контексте маскирования, однако версии на 300k и 400k записей в исследованных составах не содержали русского языка. Тесты вроде BFCL, τ-bench и MERA с набором GorillaHard оценивают выбор функций, аргументов и взаимодействие агентов со сценариями, но сами по себе не заменяют проверку шлюза персональных данных без интеграции скрытых значений. Подробнее по теме: Обзор объектива Sirui VP-1 Vista Prime 15mm T1.6: тесты и впечатления.

Применение специализированного корпуса AgentMask-RU

Для одновременной проверки маскирования и возврата значений в вызовы инструментов был создан специализированный корпус AgentMask-RU. Тестовый сценарий отслеживает отправку данных модели, подстановку в аргументы поиска и обратное восстановление реальных номеров до выполнения инструмента.

Внешние корпуса вроде NEREL, MASSIVE и PII-Bench дополняют систему, проверяя детектор на независимых текстах, которые не охвачены собственными примерами. При этом сторонние наборы не проверяют реальное поведение агентов после маскирования. Комплексный подход предполагает сочетание обоих методов тестирования.

Запуск моделей на локальных видеокартах с ограниченным объемом VRAM

Проект ExVRAM Lab исследует возможности запуска крупных локальных языковых моделей на обычных видеокартах с небольшим объемом памяти за счет ультранизкобитного квантования и полного размещения весов на графическом процессоре.

Концепция Exchange Compute for VRAM предполагает перераспределение вычислительной мощности GPU для работы с компактными весами вместо обращения к системной памяти через шину PCIe. Эксперименты с моделью Qwen3.8–27Б на видеокарте NVIDIA GeForce RTX 5060 с 8 ГБ памяти показали, что удержание части весов в оперативной памяти существенно снижает скорость генерации и производительность всей системы.