Тэг
Mixture of Experts
01.
Архитектура Kimi K3: как открытая модель с миллионным контекстом конкурирует с лидерами рынка
Разбор архитектуры открытой модели Kimi K3: матрица состояния вместо KV-кэша, 896 экспертов с латентным сжатием, контекст на миллион токенов и микроВМ Firecracker.
Читать далее
02.
Mistral Large 4: триллион параметров и открытые веса Le Chonk
Mistral AI выложила в открытый доступ модель Mistral Large 4 с 1 трлн параметров. Публикуем данные об архитектуре, результатах бенчмарков и ценах API.
Читать далее
01.
