Как мы автоматизировали тестирование в ELMA365 с помощью ИИ: три итерации и гибридный подход

Привет! Меня зовут Сергей Багров. В этом материале я разбираю реальный опыт автоматизации тестирования на low-code платформе ELMA365 с использованием искусственного интеллекта. Рутинные проверки часто отнимают много времени у команды, поэтому попытка привлечь нейросети выглядит логичным шагом. Посмотреть исходную статью можно в материале на Хабре.

Полноценного автономного решения «из коробки» получить не удалось, однако после трех последовательных итераций и выстраивания связки «ИИ плюс человек» нам удалось снизить нагрузку на аналитиков примерно на 30%.

Почему для тестирования понадобился ИИ

Наша команда занимается внедрением и кастомизацией платформ для автоматизации бизнес-процессов. В таких проектах нет выделенных тестировщиков, поэтому проверку функционала выполняют разработчики и аналитики. Первые проверяют работоспособность написанного кода, а вторые следят за корректностью кастомизации и проводят регрессионное тестирование перед релизами.

Этот процесс требует постоянного создания тест-кейсов, их прогона и ручной обработки результатов для каждого нового обновления. Учитывая нагрузку на аналитиков, связанную с проектированием архитектуры, подготовкой ТЗ и общением с заказчиками, рутинные проверки отнимают ценное время. Желание переложить эту задачу на нейросети стало закономерным ответом на запросы бизнеса об ускорении процессов.

Итерация первая: ИИ проводит тесты по выгрузке конфига

На старте я поставил задачу помощнику на базе Claude предельно просто: загрузить выгрузку конфигурации, сгенерировать тест-кейсы, прогнать их и выдать отчет с ошибками. Самостоятельная разработка первой версии заняла пару недель.

Первые тесты отрапортовали об успешном прохождении, но детальный разбор показал проблему. ИИ проверял лишь базовую функциональность интерфейса — например, срабатывание валидации обязательных полей, — но совсем не затрагивал сквозную бизнес-логику и реальные сценарии пользователей.

Итерация вторая: подключаем тестирование по API

Чтобы исправить ограничения первого этапа, я настроил взаимодействие через API. Предполагалось, что нейросеть будет формировать сценарии на основе выгрузки и напрямую создавать записи в бэке системы.

Результат снова оказался обманчивым: тесты завершались успешно, но полностью игнорировали пользовательский опыт и логику форм. ИИ просто заполнял данные в базе данных, не проверяя, как интерфейс реагирует на действия реального пользователя и отрабатывают ли сложные условные ветвления.

Итерация третья: делаем playwright

Совместно с разработчиком мы решили подключить инструмент Playwright, чтобы эмулировать действия пользователя через браузер под конкретной учетной записью.

Этот подход позволил проходить сценарии визуально, однако инструмент часто останавливался на середине длинных процессов. Например, при оформлении договора система застревала на этапе согласования, так как ИИ не понимал финальный целевой статус процесса и не мог управлять переключением между разными ролями пользователей.

Готовое решение: ИИ + человек

Отказ от идеи всемогущего автономного ИИ привел к созданию полуавтоматического гибридного инструмента, где роли четко распределены между нейросетью и специалистом.

Искусственный интеллект взял на себя анализ конфигурации, генерацию сценариев проверок, создание тестовых записей, выполнение шагов в браузере и последующую очистку мусора из системы. Для обучения модели потребовалось загрузить как официальную базу знаний вендора по ELMA365, так и проектную документацию: технические задания и протоколы испытаний.

Как все работает

Рабочий процесс построен следующим образом. Сначала в систему загружается конфигурация и сопутствующая проектная документация. Затем инструмент выполняет предварительный разбор данных.

Интерфейс решения разделен на четыре основных блока:

• Сценарии: список проверок, сгенерированных на основе документации и конфига.
• Вопросы: уточнения от ИИ в случаях, когда ожидаемый результат неочевиден.
• Процессы: параметры, где аналитик фиксирует целевой финальный статус для успешного прохождения теста.
• Роли: перечень учетных записей, под которыми необходимо выполнить проверку (аналитик авторизуется в системе под нужной ролью по ссылке).

После подтверждения всех параметров запускается автоматический прогон. По его итогам система формирует подробный отчет об ошибках, на основе которого специалист вносит необходимые корректировки.

Итоги и выводы эксперимента

Внедрение гибридного подхода позволило сократить затраты времени аналитиков на тестирование примерно на 30%. Главный вывод заключается в том, что даже без глубоких профильных знаний в разработке можно создать эффективный рабочий инструмент, если подходить к задаче итерационно.

Важнейшим условием успеха является плотная работа с экспертами предметной области с самого начала проекта. Нейросети отлично помогают в быстрой сборке прототипов, но максимальную ценность они приносят только в руках людей, глубоко понимающих специфику корпоративной системы.