Мы рады поделиться результатами нашего сотрудничества с SGLang. 🎉
Вместе мы оптимизировали вывод DeepSeek R1 для развертывания на GB200 NVL72 — что обеспечило увеличение производительности на 2x и 3x на GPU по сравнению с кластерами H100 почти в два раза большими.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
9 Лайков
Награда
9
7
Поделиться
комментарий
0/400
ProbablyNothing
· 8ч назад
Увеличение производительности Я лизнул, я лизнул
Посмотреть ОригиналОтветить0
WhaleWatcher
· 08-01 23:52
Производительность снова удвоилась, впечатляет!
Посмотреть ОригиналОтветить0
Rugpull幸存者
· 08-01 23:52
Опять прокручивается производительность, да?
Посмотреть ОригиналОтветить0
OnChainDetective
· 08-01 23:52
хм, я проследил за этими метриками GPU... что-то здесь не сходится
Мы рады поделиться результатами нашего сотрудничества с SGLang. 🎉
Вместе мы оптимизировали вывод DeepSeek R1 для развертывания на GB200 NVL72 — что обеспечило увеличение производительности на 2x и 3x на GPU по сравнению с кластерами H100 почти в два раза большими.
Вот как выглядит фронтовое MoE инференс.