Автономная видеофабрика: как n8n будит RTX 3090 по Wake-on-LAN и рендерит в ComfyUI

⏱️ ~4 мин чтения

Автономная видеофабрика: как n8n будит RTX 3090 по Wake-on-LAN и рендерит в ComfyUI

В последние годы я, Илья Дубовик, занимаюсь автоматизацией процессов в LancerLab. Одной из самых интересных задач было создание автономной видеофабрики, которая бы эффективно использовала мощную RTX 3090 для рендеринга видео с помощью ComfyUI. В этой статье я подробно расскажу о том, как мы решили проблему простоя дорогих графических карт и дорогого облачного рендера.

Зачем это нужно

RTX 3090 — это мощнейшая графика для рендеринга видео. Однако, когда она не используется, она просто лежит в простой, что является неэффективным использованием ресурсов. Кроме того, облачные решения для рендера могут быть очень дорогими и медленными при высокой нагрузке. Мы решили создать систему, которая будет автоматически будить сервер с RTX 3090 по Wake-on-LAN и запускать рендеринг видео через ComfyUI.

Архитектура пайплайна

Наша система состоит из нескольких ключевых компонентов, которые работают вместе для достижения конечной цели. Вот схема архитектуры:


Telegram-бот -> n8n (Docker на Ubuntu) ->
Gemini/LLM (с каскадным фолбеком) ->
Keenetic RCI API (Wake-on-LAN) ->
SSH/Task Scheduler (StartComfyUI на 192.168.1.63:8188) ->
FFmpeg

Давайте разберем каждый из этих компонентов подробнее:

  • Telegram-бот: Пользователи отправляют команды через Telegram-бота, который передает их в n8n.
  • n8n (Docker на Ubuntu): Это основной оркестратор, который обрабатывает запросы и управляет работой всей системы.
  • Gemini/LLM: Используется для обработки команд и генерации описаний сцен. Мы используем каскадный фолбек, чтобы обеспечить надежность.
  • Keenetic RCI API (Wake-on-LAN): Отправляет Wake-on-LAN пакеты для будильника сервера с RTX 3090.
  • SSH/Task Scheduler: Запускает ComfyUI на сервере и управляет процессом рендеринга.
  • FFmpeg: Используется для постобработки видео, включая склейку сцен и извлечение кадров.

Подводные камни и как их решали

В процессе разработки мы столкнулись с несколькими проблемами. Вот как мы их решили:

Проблема 1: Машина с RTX 3090 спит или в гибернации

Когда машина находится в режиме сна или гибернации, она не может сразу ответить на Wake-on-LAN пакет. Для решения этой проблемы мы добавили аутентификацию в Keenetic API и цикл ожидания готовности порта 8188.


# Пример кода для отправки WoL-пакета и проверки готовности порта
import socket
import time

def send_wol_packet(mac_address):
    # Отправка Wake-on-LAN пакета
    pass

def check_port_availability(ip, port):
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
        return s.connect_ex((ip, port)) == 0

mac_address = 'XX:XX:XX:XX:XX:XX'
ip = '192.168.1.63'

send_wol_packet(mac_address)
while not check_port_availability(ip, 8188):
    time.sleep(5)  # Ждем 5 секунд перед следующей проверкой

Проблема 2: Разрыв сцен при генерации длинного видео

При генерации длинного видео могут возникать разрывы между сценами. Для решения этой проблемы мы использовали Frame-to-Frame Continuity, где FFmpeg извлекает последний кадр предыдущей сцены как стартовый для следующей.


# Пример команды FFmpeg для извлечения последнего кадра
ffmpeg -i input.mp4 -vf "select=last_frame" output.png

# Пример команды FFmpeg для склейки кадров
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4

Проблема 3: 429 Rate Limits и отвалы облачных LLM

Облачные модели могут сталкиваться с ограничениями по скорости запросов (Rate Limits) или просто отваливаться. Для решения этой проблемы мы внедрили каскадный фолбек моделей и отдельный бот телеметрии/логов.


# Пример кода для обработки ошибок и фолбека
def process_request(model):
    try:
        response = model.process(request)
    except Exception as e:
        if isinstance(e, RateLimitExceededError):
            fallback_model = get_fallback_model()
            response = fallback_model.process(request)
        else:
            log_error(e)

    return response

# Пример кода для телеметрии
def log_telemetry(data):
    telemetry_bot.send_message(data)

Конкретный пример: фрагмент команды FFmpeg для извлечения последнего кадра и склейки, а также схема JSON/шагов

Вот пример команды FFmpeg для извлечения последнего кадра и склейки сцен:


# Извлечение последнего кадра
ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png

# Склейка кадров
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4

Схема JSON/шагов для рендеринга видео может выглядеть следующим образом:


{
  "steps": [
    {
      "step_name": "Extract Last Frame",
      "command": "ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png"
    },
    {
      "step_name": "Concatenate Scenes",
      "command": "ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4"
    }
  ]
}

Итоги и планы

В этой статье я подробно рассказал о создании автономной видеофабрики, которая использует n8n для будильника RTX 3090 по Wake-on-LAN и рендеринга видео в ComfyUI. Мы решили несколько ключевых проблем, таких как простой графической карты, разрывы сцен при генерации видео и ограничения облачных моделей.

В будущем мы планируем добавить поддержку дополнительных форматов видео и улучшить обработку ошибок. Также рассматриваем возможность интеграции с другими инструментами для автоматизации процессов рендеринга. Следите за нашими обновлениями!

“Автоматизация — ключ к эффективному использованию ресурсов.” — Илья Дубовик

Читать далее в Лаборатории
← Оптимизация WordPress на реальном проекте: как мы сжали первый экран на 82.3%Локальный AI-стек на RTX 3090: LM Studio, ComfyUI и гибридный фолбек →

Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *