Psy Eyes
Telegram ·
Пока 5090 и похоже 5080 исчезают с полок навсегда, а 60-серия даже не маячит слухами на горизонте, сообщество не спит и заставило Qwen запуститься... внутри весов Qwen.
qwenGPU: умельцы встроили полноценную SIMT видеокарту прямо в веса языковой модели Qwen3.5-2B.
Это не плагин, не сторонний инструмент и не эмулятор. Архитектура GPU скомпилирована в виде 45 дополнительных трансформерных слоев, которые развернуты перед родными 24 слоями Qwen. Нейронка выполняет реальный CUDA-код, скомпилированный в NVIDIA PTX, и сама пошагово генерирует каждый этап вычислений через токены. В отличие от своего предшественника Qwenputer (который компилировал в веса процессор RISC-V), этот проект эмулирует параллельную архитектуру полноценного GPU. Роль регистров и глобальной памяти здесь выполняют состояния слоев линейного внимания (Gated DeltaNet) самой Qwen. При этом текстовые возможности модели никак не пострадали: распределение токенов изменилось минимально, так как слои «видеокарты» глушатся, когда генерируется обычный текст. Фичи: * Виртуальный GPU имеет 4 ядра (SIMT-лейна), 15 регистров на ядро, 4-стадийный конвейер и 126 ячеек глобальной памяти. * Поддерживаются базовые математические операции, циклы, ветвления, атомарное сложение atomicAdd, барьерная синхронизация __syncthreads() и варп-шатлы. * Доступно два режима работы: normal (Qwen просто пишет выражение, а хост запускает готовые CUDA-ядра) и advanced (Qwen сама пишет CUDA-код «на лету» по шпаргалке из системного промта). * Визуальный интерактивный TUI-монитор прямо в терминале, где в реальном времени подсвечивается работа планировщика, конвейера, регистров и памяти при генерации токенов. * Стопроцентная точность вычислений в bf16 на тестовых бенчмарках. Запуск ядра занимает от десятков до нескольких сотен токенов вывода. На чипах Apple Silicon (через MPS в bf16) скорость эмуляции составляет около 10–15 токенов в секунду. Advanced-режим для 2B-модели пока выдает ошибки в сложных матричных задачах, поэтому для гарантированного результата разработчики рекомендуют использовать normal-режим. Выжимка от GeminiПока что это калькулятор, который потребляет немало VRAM, но посмотрим куда это выльется. Твит Гитхаб
