ggml-org / HuggingFace: выпустили на Windows чат для языковых моделей Llama на основе llama.cpp. Это порт Llama для Mac с фокусом на Win 11, но на Win 10 тоже пашет.
Есть поиск моделей с хаггинга, MCP, статистика индивидуальных агентских сессий, и другие фичи, которые в наличии у других интерфейсов для ллм вроде LM Studio или Ollama.
Пока основное в том, что он сидит в трее и запускается на alt + space в оверлее (причём, если у вас два экрана он запустится там, где сейчас курсор).
Сегодня вышло обновление v0.13 и завезли:
* Speculative Decoding для ускорения генерации
* Диплинки для быстрого вызова чат и запуска моделей
* Возможность отправлять изображения и текст на сервер llama
* Поиск локальных моделей в папках
По скорости как-то не равномерно. Первый прогон Qwen 3.8-27B на 4090 + 128 ГБ RAM был 20 ток/с, второй 40 ток/c, а третий и дальше 10-15 ток/c. По качеству тоже: на первом ответе Qwen давал кругаля, хотя я выключил рассуждения, а на втором ответил кратко. Но более весомая проблема в том, что я выбираю другую модель, конкретно Gemma 3, выгружаю Qwen из GPU... но при инференсе Qwen продолжает загружаться обратно в VRAM и генерить этой моделью. Но это фиксят, я думаю, в ближайшее время.
Llama можно установить через Microsoft Store, но у меня его там не видно, а с гитхаба нормально ставится.
Llama (Win)
Llama (Mac)
