Автономна відеофабрика: як n8n будить RTX 3090 по Wake-on-LAN і рендерить в ComfyUI
У останні роки я, Ілля Дубовик, займаюсь автоматизацією процесів у LancerLab. Однією з найцікавіших задач було створення автономної відеофабрики, яка б ефективно використовувала потужну RTX 3090 для рендерінгу відео за допомогою ComfyUI. У цій статті я детально розповім про те, як ми вирішили проблему простою дорогих графічних карт і дорогого хмарного рендера.
Чому це потрібно
RTX 3090 — це найпотужніша графіка для рендерінгу відео. Однак, коли вона не використовується, вона просто лежить в простій, що є неефективним використанням ресурсів. Крім того, хмарні рішення для рендера можуть бути дуже дорогими і повільними при високій навантаженні. Ми вирішили створити систему, яка буде автоматично будити сервер з RTX 3090 по Wake-on-LAN і запускати рендеринг відео через ComfyUI.
Архітектура пайплайну
Наша система складається з кількох ключових компонентів, які працюють разом для досягнення кінцевої мети. Ось схема архітектури:
Telegram-бот -> n8n (Docker на Ubuntu) ->
Gemini/LLM (з каскадним фолбеком) ->
Keenetic RCI API (Wake-on-LAN) ->
SSH/Task Scheduler (StartComfyUI на 192.168.1.63:8188) ->
FFmpeg
Розберемо кожен з цих компонентів детальніше:
- Telegram-бот: Користувачі надсилають команди через Telegram-бота, який передає їх в n8n.
- n8n (Docker на Ubuntu): Це основний оркестратор, який обробляє запити і керує роботою всієї системи.
- Gemini/LLM: Використовується для обробки команд і генерації описів сцен. Ми використовуємо каскадний фолбек, щоб забезпечити надійність.
- Keenetic RCI API (Wake-on-LAN): Надсилає Wake-on-LAN пакети для будильника сервера з RTX 3090.
- SSH/Task Scheduler: Запускає ComfyUI на сервері і керує процесом рендерінгу.
- FFmpeg: Використовується для постобробки відео, включаючи склейку сцен і вилучення кадрів.
Підводні каміння та як їх вирішували
У процесі розробки ми зіткнулися з кількома проблемами. Ось як ми їх вирішили:
Проблема 1: Машина з RTX 3090 спить або в гібернації
Коли машина знаходиться в режимі сна або гібернації, вона не може одразу відповісти на Wake-on-LAN пакет. Для вирішення цієї проблеми ми додали аутентифікацію в Keenetic API і цикл очікування готовності порту 8188.
# Приклад коду для надсилання WoL-пакета і перевірки готовності порту
import socket
import time
def send_wol_packet(mac_address):
# Надсилання Wake-on-LAN пакета
pass
def check_port_availability(ip, port):
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
return s.connect_ex((ip, port)) == 0
mac_address = 'XX:XX:XX:XX:XX:XX'
ip = '192.168.1.63'
send_wol_packet(mac_address)
while not check_port_availability(ip, 8188):
time.sleep(5) # Чекаємо 5 секунд перед наступною перевіркою
Проблема 2: Розриви сцен при генерації довгого відео
При генерації довгого відео можуть виникати розриви між сценами. Для вирішення цієї проблеми ми використали Frame-to-Frame Continuity, де FFmpeg вилучає останній кадр попередньої сцени як стартовий для наступної.
# Приклад команди FFmpeg для вилучення останнього кадру
ffmpeg -i input.mp4 -vf "select=last_frame" output.png
# Приклад команди FFmpeg для склейки кадрів
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4
Проблема 3: 429 Rate Limits і відвали облачних LLM
Хмарні моделі можуть стикатися з обмеженнями по швидкості запитів (Rate Limits) або просто відваливатися. Для вирішення цієї проблеми ми внедрили каскадний фолбек моделей і окремий бот телеметрії/логів.
# Приклад коду для обробки помилок і фолбека
def process_request(model):
try:
response = model.process(request)
except Exception as e:
if isinstance(e, RateLimitExceededError):
fallback_model = get_fallback_model()
response = fallback_model.process(request)
else:
log_error(e)
return response
# Приклад коду для телеметрії
def log_telemetry(data):
telemetry_bot.send_message(data)
Конкретний приклад: фрагмент команди FFmpeg для вилучення останнього кадру і склейки, а також схема JSON/шагів
Ось приклад команди FFmpeg для вилучення останнього кадру і склейки сцен:
# Вилучення останнього кадру
ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png
# Склейка кадрів
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4
Схема JSON/шагів для рендерінгу відео може виглядати наступним чином:
{
"steps": [
{
"step_name": "Extract Last Frame",
"command": "ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png"
},
{
"step_name": "Concatenate Scenes",
"command": "ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4"
}
]
}
Підсумки та плани
У цій статті я детально розповів про створення автономної відеофабрики, яка використовує n8n для будильника RTX 3090 по Wake-on-LAN і рендерінгу відео в ComfyUI. Ми вирішили кілька ключових проблем, таких як простою графічної карти, розриви сцен при генерації відео та обмеження хмарних моделей.
У майбутньому ми плануємо додати підтримку додаткових форматів відео і покращити обробку помилок. Також розглядаємо можливість інтеграції з іншими інструментами для автоматизації процесів рендерінгу. Слідкуйте за нашими оновленнями!
“Автоматизація — ключ до ефективного використання ресурсів.” — Ілля Дубовик
Добавить комментарий