Разработчики и компании, внедряющие технологии искусственного интеллекта, все чаще сталкиваются с проблемой высокой стоимости развертывания систем. В условиях нарастающей необходимости оптимизации бюджетов интерес к опенсорс-решениям растет, однако выбор оптимальной модели для конкретных бизнес-задач остается непростой задачей. Чтобы решить эту проблему для своих клиентов, компания Writer, специализирующаяся на создании ИИ-инструментов и агентов для маркетинга, представила новую флагманскую модель Palmyra X6.

Новый подход к эффективности ИИ

Модель Palmyra X6 создана как вариация после обучения на базе открытой архитектуры GLM-5.2 от Z.ai. По заявлениям разработчиков, новая система предлагает возможности, готовые к промышленному внедрению, при значительно более низкой стоимости эксплуатации. В совокупности с изменениями в инфраструктуре «обвязки» (harness), которая управляет взаимодействием агентов, компания планирует сократить расходы своих клиентов на выполнение базовых задач до 50%.

Генеральный директор Writer Мэй Хабиб отмечает, что бизнес сегодня устал от бесконечной погони за результатами бенчмарков. По ее словам, компании ищут предсказуемости и снижения издержек, чего текущие игроки рынка зачастую не могут предложить. Обновленная стратегия Writer делает упор на выполнение сложных многоэтапных задач, которые система теперь способна обрабатывать быстрее и с меньшим расходом токенов.

Значение инфраструктурной оптимизации

Ключевым фактором повышения экономичности компания считает оптимизацию самой «обвязки». Исследование, проведенное специалистами Writer, подтверждает этот тезис: тесты показали, что изменение эффективности инфраструктуры часто оказывается более надежным способом экономии, чем простая замена модели. В ходе экспериментов с различными конфигурациями среднее снижение затрат составило порядка 40%. Авторы работы подчеркивают, что эффективность инфраструктуры — это компонент, преимущество которого масштабируется на все модели, используемые организацией, как текущие, так и будущие.

Для пользователей Writer подход остается гибким и не привязанным к конкретной модели. Palmyra X6 может функционировать как в связке с другими собственными разработками компании, так и с внешними моделями, подключенными через облачные сервисы, такие как Azure или Amazon Bedrock. Мэй Хабиб считает, что стремление к экономии провоцирует растущее недоверие бизнеса к крупным ИИ-лабораториям, которые, по ее мнению, имеют прямую финансовую заинтересованность в увеличении потребления токенов. Хабиб указывает на беспрецедентный рост затрат для клиентов и отмечает, что технические директора все чаще разочаровываются в подходах ведущих ИИ-лабораторий, которые зачастую не в полной мере понимают специфические потребности бизнеса в реальной эффективности.

Источник: techcrunch.com