Тэг
Инференс
Модель LFM2.5-24B-A2B для локальных ИИ-агентов
Обзор архитектуры, результатов тестирования и особенностей применения компактной модели LFM2.5-24B-A2B для локальных ИИ-агентов.
Читать далее
Сравнение локальных моделей на RTX 5070 Ti и российских облачных сервисов
Детальный разбор тестирования локальных языковых моделей на RTX 5070 Ti и сравнение их производительности с российскими облачными провайдерами.
Читать далее
ИИ в отечественной микроэлектронике: итоги опроса 74 компаний на форуме «Микроэлектроника 2026»
Итоги масштабного опроса 74 компаний на форуме «Микроэлектроника 2026»: как отечественная микроэлектронная отрасль внедряет искусственный интеллект, облака и локальный инференс.
Читать далее
Как запустить Gemma на сервере: сравнение производительности Ollama и llama.cpp
Сравниваем производительность запуска большой языковой модели Gemma 4 на облачном сервере через Ollama и напрямую через llama.cpp.
Читать далее
Как Z.ai запустила инференс GLM-5.3-Flash на 100 000 китайских ускорителях
Подробный разбор инженерного отчета Z.ai о развертывании мультимодальной модели GLM-5.3-Flash на кластере из 100 000 китайских чипов с помощью ИИ-агента инфраструктуры.
Читать далее
Как устроена инфраструктура эмбеддингов Perplexity: разбор архитектуры Ivy, Tulip и ROSE
Разбор GPU-стека Perplexity для генерации эмбеддингов: архитектура сервисов Ivy, Tulip и ROSE, оптимизация CUDA-графов и асинхронный паттерн LazyTensor.
Читать далее
LLM зацикливается в продакшене: как локализовать петлю повтора без слепой смены параметров
Полный разбор причин зацикливания LLM в продакшене: почему слепое увеличение repetition_penalty вредит системе, как работать с vLLM, анализировать logprobs и оптимизировать промпты.
Читать далее
Тестируем DFlash от Nvidia: почему вместо обещанных 15x мы получаем 2,3x и когда технология бесполезна
Провел детальное тестирование технологии DFlash от Nvidia на видеокарте RTX 6000 PRO. Разбираем, почему вместо обещанного 15-кратного ускорения LLM получается 2,3x при одиночном запросе и просадка при батчинге.
Читать далее
Первые результаты чипа Jalapeño от OpenAI показали высокую скорость ИИ-инференса
OpenAI опубликовала результаты тестирования своего первого специализированного чипа для инференса Jalapeño, продемонстрировавшего высокую скорость работы и энергоэффективность.
Читать далее
Стратегия OpenAI: чипы Jalapeño и комплексная оптимизация ИИ-систем
OpenAI представила результаты первого фирменного чипа Jalapeño для инференса и рассказала о комплексной стратегии развития инфраструктуры.
Читать далее
