DeepSeek: в ответ на новости о бане в США, опенсорснули свой фреймворк DeepInfer, который они используют внутри компании для инференса.
Фичи:
* Высокопроизводительные ядра
* Оптимизированный движок инференса
* Распределённая генерация
* Структурированный вывод
* Speculative decoding
* и не только
Перед этим они выпустили deepseek-recipe, компонент для кодирования/декодирования токенов.
В релиз не включены: система для KV кэша, балансировка нагрузки, и разделение этапов VE / Prefill / Decode. Но думается их навайбкодят новым дипсиком или Клодом.
Пока поддерживается только модель DeepSeek-V4.1-Flash и на линукс. Но новые модели и оптимизации уже в пути.
Твит
Гитхаб
