Cerebras представила самый быстрый в мире движок для выводов ИИ
2024-09-02 12:45:14
Cerebras Systems выпустила Cerebras Inference, «самый быстрый движок для выводов ИИ». Способное обрабатывать 1800 токенов в секунду для модели Llama3.1* 8B и 450 токенов в секунду для модели Llama3*.1 70B, Cerebras Inference в 20 раз превосходит решения на базе GPU от NVIDIA.
Подробнее https://www.ferra.ru/news/apps/cerebras-predstavila-sam...