Продвинутая мультимодальная ИИ-модель от NVIDIA и MIT, способная анализировать сразу несколько изображений и видео в одном контексте. Благодаря оптимизации VILA1.5-40B эффективно работает даже на локальных устройствах, сохраняя глубокое понимание визуального контента.
VILA is a visual language model (VLM) pretrained with interleaved image-text data at scale, enabling multi-image VLM. VILA is deployable on the edge, including Jetson Orin and laptop by AWQ 4bit quantization through TinyChat framework. We find: (1) image-text pairs are not enough, interleaved image-text is essential; (2) unfreezing LLM during interleaved image-text pre-training enables in-context learning; (3)re-blending text-only instruction data is crucial to boost both VLM and text-only performance. VILA unveils appealing capabilities, including: multi-image reasoning, in-context learning, visual chain-of-thought, and better world knowledge.