Kaiju Small — самая компактная и быстрая ИИ-модель в семействе Kaiju, оптимизированная для работы с минимальными задержками. Несмотря на малый размер, она использует кросс-слойное кэширование и sliding-window attention для создания качественного и безопасного контента.
Kaiju is Character.ai’s in-house family of LLMs built specifically to be fast, engaging, and with an eye towards safety. Available in three sizes, Kaiju combines a dense transformer architecture with aggressive efficiency optimizations, including int8 quantization, multi-query attention, sliding-window attention, and cross-layer cache sharing. Previous blog posts mention some of these (and more): Optimizing AI Inference at Character.ai and Optimizing AI Inference at Character.ai Part 2.