Автономная видеофабрика: как n8n будит RTX 3090 по Wake-on-LAN и рендерит в ComfyUI
В последние годы я, Илья Дубовик, занимаюсь автоматизацией процессов в LancerLab. Одной из самых интересных задач было создание автономной видеофабрики, которая бы эффективно использовала мощную RTX 3090 для рендеринга видео с помощью ComfyUI. В этой статье я подробно расскажу о том, как мы решили проблему простоя дорогих графических карт и дорогого облачного рендера.
Зачем это нужно
RTX 3090 — это мощнейшая графика для рендеринга видео. Однако, когда она не используется, она просто лежит в простой, что является неэффективным использованием ресурсов. Кроме того, облачные решения для рендера могут быть очень дорогими и медленными при высокой нагрузке. Мы решили создать систему, которая будет автоматически будить сервер с RTX 3090 по Wake-on-LAN и запускать рендеринг видео через ComfyUI.
Архитектура пайплайна
Наша система состоит из нескольких ключевых компонентов, которые работают вместе для достижения конечной цели. Вот схема архитектуры:
Telegram-бот -> n8n (Docker на Ubuntu) ->
Gemini/LLM (с каскадным фолбеком) ->
Keenetic RCI API (Wake-on-LAN) ->
SSH/Task Scheduler (StartComfyUI на 192.168.1.63:8188) ->
FFmpeg
Давайте разберем каждый из этих компонентов подробнее:
- Telegram-бот: Пользователи отправляют команды через Telegram-бота, который передает их в n8n.
- n8n (Docker на Ubuntu): Это основной оркестратор, который обрабатывает запросы и управляет работой всей системы.
- Gemini/LLM: Используется для обработки команд и генерации описаний сцен. Мы используем каскадный фолбек, чтобы обеспечить надежность.
- Keenetic RCI API (Wake-on-LAN): Отправляет Wake-on-LAN пакеты для будильника сервера с RTX 3090.
- SSH/Task Scheduler: Запускает ComfyUI на сервере и управляет процессом рендеринга.
- FFmpeg: Используется для постобработки видео, включая склейку сцен и извлечение кадров.
Подводные камни и как их решали
В процессе разработки мы столкнулись с несколькими проблемами. Вот как мы их решили:
Проблема 1: Машина с RTX 3090 спит или в гибернации
Когда машина находится в режиме сна или гибернации, она не может сразу ответить на Wake-on-LAN пакет. Для решения этой проблемы мы добавили аутентификацию в Keenetic API и цикл ожидания готовности порта 8188.
# Пример кода для отправки WoL-пакета и проверки готовности порта
import socket
import time
def send_wol_packet(mac_address):
# Отправка Wake-on-LAN пакета
pass
def check_port_availability(ip, port):
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
return s.connect_ex((ip, port)) == 0
mac_address = 'XX:XX:XX:XX:XX:XX'
ip = '192.168.1.63'
send_wol_packet(mac_address)
while not check_port_availability(ip, 8188):
time.sleep(5) # Ждем 5 секунд перед следующей проверкой
Проблема 2: Разрыв сцен при генерации длинного видео
При генерации длинного видео могут возникать разрывы между сценами. Для решения этой проблемы мы использовали Frame-to-Frame Continuity, где FFmpeg извлекает последний кадр предыдущей сцены как стартовый для следующей.
# Пример команды FFmpeg для извлечения последнего кадра
ffmpeg -i input.mp4 -vf "select=last_frame" output.png
# Пример команды FFmpeg для склейки кадров
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4
Проблема 3: 429 Rate Limits и отвалы облачных LLM
Облачные модели могут сталкиваться с ограничениями по скорости запросов (Rate Limits) или просто отваливаться. Для решения этой проблемы мы внедрили каскадный фолбек моделей и отдельный бот телеметрии/логов.
# Пример кода для обработки ошибок и фолбека
def process_request(model):
try:
response = model.process(request)
except Exception as e:
if isinstance(e, RateLimitExceededError):
fallback_model = get_fallback_model()
response = fallback_model.process(request)
else:
log_error(e)
return response
# Пример кода для телеметрии
def log_telemetry(data):
telemetry_bot.send_message(data)
Конкретный пример: фрагмент команды FFmpeg для извлечения последнего кадра и склейки, а также схема JSON/шагов
Вот пример команды FFmpeg для извлечения последнего кадра и склейки сцен:
# Извлечение последнего кадра
ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png
# Склейка кадров
ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4
Схема JSON/шагов для рендеринга видео может выглядеть следующим образом:
{
"steps": [
{
"step_name": "Extract Last Frame",
"command": "ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png"
},
{
"step_name": "Concatenate Scenes",
"command": "ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4"
}
]
}
Итоги и планы
В этой статье я подробно рассказал о создании автономной видеофабрики, которая использует n8n для будильника RTX 3090 по Wake-on-LAN и рендеринга видео в ComfyUI. Мы решили несколько ключевых проблем, таких как простой графической карты, разрывы сцен при генерации видео и ограничения облачных моделей.
В будущем мы планируем добавить поддержку дополнительных форматов видео и улучшить обработку ошибок. Также рассматриваем возможность интеграции с другими инструментами для автоматизации процессов рендеринга. Следите за нашими обновлениями!
“Автоматизация — ключ к эффективному использованию ресурсов.” — Илья Дубовик
Добавить комментарий