Автономна відеофабрика: як n8n будяє RTX 3090 за допомогою Wake-on-LAN та рендерить у ComfyUI

⏱️ ~4 хв читання

Автономна відеофабрика: як n8n будить RTX 3090 по Wake-on-LAN і рендерить в ComfyUI

У останні роки я, Ілля Дубовик, займаюсь автоматизацією процесів у LancerLab. Однією з найцікавіших задач було створення автономної відеофабрики, яка б ефективно використовувала потужну RTX 3090 для рендерінгу відео за допомогою ComfyUI. У цій статті я детально розповім про те, як ми вирішили проблему простою дорогих графічних карт і дорогого хмарного рендера.

Чому це потрібно

RTX 3090 — це найпотужніша графіка для рендерінгу відео. Однак, коли вона не використовується, вона просто лежить в простій, що є неефективним використанням ресурсів. Крім того, хмарні рішення для рендера можуть бути дуже дорогими і повільними при високій навантаженні. Ми вирішили створити систему, яка буде автоматично будити сервер з RTX 3090 по Wake-on-LAN і запускати рендеринг відео через ComfyUI.

Архітектура пайплайну

Наша система складається з кількох ключових компонентів, які працюють разом для досягнення кінцевої мети. Ось схема архітектури:


Telegram-бот -> n8n (Docker на Ubuntu) ->
Gemini/LLM (з каскадним фолбеком) ->
Keenetic RCI API (Wake-on-LAN) ->
SSH/Task Scheduler (StartComfyUI на 192.168.1.63:8188) ->
FFmpeg

Розберемо кожен з цих компонентів детальніше:

  • Telegram-бот: Користувачі надсилають команди через Telegram-бота, який передає їх в n8n.
  • n8n (Docker на Ubuntu): Це основний оркестратор, який обробляє запити і керує роботою всієї системи.
  • Gemini/LLM: Використовується для обробки команд і генерації описів сцен. Ми використовуємо каскадний фолбек, щоб забезпечити надійність.
  • Keenetic RCI API (Wake-on-LAN): Надсилає Wake-on-LAN пакети для будильника сервера з RTX 3090.
  • SSH/Task Scheduler: Запускає ComfyUI на сервері і керує процесом рендерінгу.
  • FFmpeg: Використовується для постобробки відео, включаючи склейку сцен і вилучення кадрів.

Підводні каміння та як їх вирішували

У процесі розробки ми зіткнулися з кількома проблемами. Ось як ми їх вирішили:

Проблема 1: Машина з RTX 3090 спить або в гібернації

Коли машина знаходиться в режимі сна або гібернації, вона не може одразу відповісти на Wake-on-LAN пакет. Для вирішення цієї проблеми ми додали аутентифікацію в Keenetic API і цикл очікування готовності порту 8188.


# Приклад коду для надсилання WoL-пакета і перевірки готовності порту
import socket
import time

def send_wol_packet(mac_address):
    # Надсилання Wake-on-LAN пакета
    pass

def check_port_availability(ip, port):
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
        return s.connect_ex((ip, port)) == 0

mac_address = 'XX:XX:XX:XX:XX:XX'
ip = '192.168.1.63'

send_wol_packet(mac_address)
while not check_port_availability(ip, 8188):
    time.sleep(5)  # Чекаємо 5 секунд перед наступною перевіркою

Проблема 2: Розриви сцен при генерації довгого відео

При генерації довгого відео можуть виникати розриви між сценами. Для вирішення цієї проблеми ми використали Frame-to-Frame Continuity, де FFmpeg вилучає останній кадр попередньої сцени як стартовий для наступної.


# Приклад команди FFmpeg для вилучення останнього кадру
ffmpeg -i input.mp4 -vf "select=last_frame" output.png

# Приклад команди FFmpeg для склейки кадрів
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4

Проблема 3: 429 Rate Limits і відвали облачних LLM

Хмарні моделі можуть стикатися з обмеженнями по швидкості запитів (Rate Limits) або просто відваливатися. Для вирішення цієї проблеми ми внедрили каскадний фолбек моделей і окремий бот телеметрії/логів.


# Приклад коду для обробки помилок і фолбека
def process_request(model):
    try:
        response = model.process(request)
    except Exception as e:
        if isinstance(e, RateLimitExceededError):
            fallback_model = get_fallback_model()
            response = fallback_model.process(request)
        else:
            log_error(e)

    return response

# Приклад коду для телеметрії
def log_telemetry(data):
    telemetry_bot.send_message(data)

Конкретний приклад: фрагмент команди FFmpeg для вилучення останнього кадру і склейки, а також схема JSON/шагів

Ось приклад команди FFmpeg для вилучення останнього кадру і склейки сцен:


# Вилучення останнього кадру
ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png

# Склейка кадрів
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4

Схема JSON/шагів для рендерінгу відео може виглядати наступним чином:


{
  "steps": [
    {
      "step_name": "Extract Last Frame",
      "command": "ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png"
    },
    {
      "step_name": "Concatenate Scenes",
      "command": "ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4"
    }
  ]
}

Підсумки та плани

У цій статті я детально розповів про створення автономної відеофабрики, яка використовує n8n для будильника RTX 3090 по Wake-on-LAN і рендерінгу відео в ComfyUI. Ми вирішили кілька ключових проблем, таких як простою графічної карти, розриви сцен при генерації відео та обмеження хмарних моделей.

У майбутньому ми плануємо додати підтримку додаткових форматів відео і покращити обробку помилок. Також розглядаємо можливість інтеграції з іншими інструментами для автоматизації процесів рендерінгу. Слідкуйте за нашими оновленнями!

“Автоматизація — ключ до ефективного використання ресурсів.” — Ілля Дубовик

Читати далі в Лабораторії
← Оптимізація WordPress у реальному проекті: як ми стиснули перший екран на 82,3%Локальний AI-стек на RTX 3090: LM Studio, ComfyUI та гібридний фолбек →

Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *