Мощная языковая модель на базе Llama2-13B, прошедшая тонкую настройку на 400 тысячах инструкций на китайском языке. Разработчики из Beike оптимизировали алгоритмы SFT и RLHF, чтобы добиться идеального понимания контекста и естественной генерации текста. Это одно из лучших решений для создания чат-ботов, ориентированных на китайскоязычный рынок.
This model is obtained by fine-tuning the complete parameters using 0.4M Chinese instruction data on the original Llama2-13B-chat. We firmly believe that the original Llama2-chat exhibits commendable performance post Supervised Fine-Tuning (SFT) and Reinforcement Learning with Human Feedback (RLHF). Our pursuit continues to be the further enhancement of this model using Chinese instructional data for fine-tuning, with an aspiration to facilitate stable and high-quality Chinese language outputs.