Psy Eyes
Telegram ·
Corridor Crew: выпустили CorridorKey 2, обновлённую версию своего инструмента для удаления зеленого/синего экрана. Сработает даже там, где хромакея нет.
CorridorKey 2 принимает на вход видео и прогнозирует маску (matte) + чистый передний план для каждого кадра, с возможностью использования подсказок (белое — остаётся, черное — вырезается), указывающих, какой именно объект нужно изолировать.
Есть три варианта подсказок:
* No Hint: модель под капотом сама решает, что вырезать, а что оставить.
* First-Frame Hint: когда есть подсказка в виде первого кадра.
* Full Hint Video: когда есть подсказка в виде полного видео для каждого кадра
Инструмент поддерживает HDR и может экспортировать последовательности кадров в формате OpenEXR с линейным цветовым пространством сцены (scene-linear).
В отличие от первой версии, CorridorKey 2 научился работать в исходном разрешении видео и получил мощную временную стабилизацию за счет наложения окон Ханна, что убирает неприятное мерцание по краям маски.
Инструмент больше не полагается на одну модель. Он комбинирует предсказания сразу трех базовых нейросетей: C-RADIOv4 от NVIDIA, MoGe-2 от Microsoft и RVM от Google DeepMind.
Как итог, повысилась точность обработки фрагментов в сложных сценах, где есть окклюзии, волосы и шерсть, полу-прозрачные вещи, расфокус и блюр, или объект и фон сливаются.
Для работы нужна видюха rtx 30-й серии или новее с 4 ГБ VRAM для 2к футажа и 6 ГБ VRAM для 4к. Можно запустить на Windows и Linux. Код на гитхабе, веса на хаггинге.
Есть плагины для Davinci, Nuke, AE + PP, и Blender на Windows и Mac (бета). Linux в планах. Также в наличии отдельное приложение.
Можно свободно использовать для коммерческих проектов.
YouTube
Сайт
Гитхаб
Хаггинг
