TigerBot-70B — это продвинутая опенсорсная модель, которая берет всё лучшее от Llama-2 и выводит производительность на новый уровень. ИИ заточен под коммерческое использование и показывает превосходные результаты в генерации контента и ответах на сложные вопросы.
(translated from https://github.com/TigerResearch/TigerBot/wiki/TigerBot%E2%80%9070B%E5%8F%91%E5%B8%83%EF%BC%81) We are pleased to release Tigerbot-70b, which continues to be open source and free for commercial use, including: Tigerbot-70b-base: Continuing pre-training on the basis of Llama-2-70b, the model's comprehensive capabilities are better than Llama-2-70b in 10 mainstream benchmark tests such as mmlu, reaching SOTA in the industry. a. Using high-quality multi-lingual data of 300 billion tokens, b. The algorithm uses GQA, flash-attn, RoPE, holistic-training and other technologies, c. The training uses tensor/pipeline-partition technology, and the computing efficiency reaches the SOTA reported in the Llama-2 paper.