Проблема: потужний ПК з RTX 3090 споживає сотні ват і не може працювати сутками від ІБП при відключеннях світла
Потужні графічні карти, такі як NVIDIA RTX 3090, вимагають значної кількості енергії для роботи. В умовах домашнього використання, де електропостачання може бути ненадійним, це стає серйозною проблемою. Використання ІБП (джерела безперебійного живлення) дозволяє підтримувати роботу системи протягом короткого часу після відключення основного живлення, але для тривалої роботи від акумулятора потрібен потужний і дорогий ІБП.
У даній статті розглядається архітектура домашнього AI-сервера, який включає в себе автоматичне управління завданнями та переключення на хмарні ресурси за необхідності. Це дозволяє забезпечити безперервну роботу автоматизації (n8n, боти, вебхуки, сайт) 24/7, навіть при тривалих відключеннях електроенергії.
Автоматизація та критично важливі завдання
Автоматизація процесів з використанням інструментів n8n, ботів і вебхуків вимагає постійного доступу до ресурсів. У разі відключення електроенергії такі системи повинні бути здатними перейти на резервні джерела живлення або хмарні сервіси без втрати продуктивності.
Для вирішення цієї проблеми була розроблена архітектура, що включає Control Plane і Worker Plane.
Архітектура Control Plane vs Worker Plane
+---------------------+
| Control Plane |
| +-----------------+|
| | Ubuntu Mini ||
| | Server (wplanc)||-------> Docker, n8n, Nginx, MariaDB, WordPress, черги завдань
| +-----------------+|
| DC-UPS 12В |
+---------------------+
|
v
+---------------------+
| Router Keenetic |
+---------------------+
+---------------------+
| Worker Plane |
| +-----------------+|
| | Xeon LGA2011-v3 ||-------> LM Studio (порт 1234), ComfyUI (порт 8188)
| | RTX 3090 24GB ||
| +-----------------+|
+---------------------+
Control Plane: маломощний Ubuntu міні-сервер на DC-UPS 12В
Control Plane включає в себе маломощний Ubuntu міні-сервер, що працює від DC-UPS 12В. Цей сервер відповідає за управління завданнями та забезпечення їх безперервної роботи. На ньому встановлені Docker, n8n, Nginx, MariaDB, WordPress і черги завдань.
Використання Docker дозволяє легко розгортати та масштабувати застосунки, забезпечуючи ізоляцію та зручність управління. n8n використовується для автоматизації процесів, а Nginx і MariaDB — для обслуговування веб-сайтів і баз даних.
Worker Plane: стаціонар на Xeon LGA2011-v3 з RTX 3090
Worker Plane включає в себе потужний стаціонарний комп’ютер на основі процесора Xeon LGA2011-v3 (материнська плата X99, 32 ГБ оперативної пам’яті quad-channel) і графічної карти RTX 3090 з 24 ГБ відеопам’яті. Цей вузол відповідає за виконання важких обчислювальних завдань.
На Worker Plane встановлені LM Studio (порт 1234) і ComfyUI (порт 8188), які використовуються для роботи з AI-моделями та графічними завданнями. Ці застосунки вимагають значної кількості обчислювальних ресурсів, що робить їх залежними від стабільного електропостачання.
Механізм автопідйому і стійкості до збоїв
Для забезпечення безперервної роботи системи при відключенні електроенергії була реалізована механіка автопідйому та стійкості до збоїв. Вона включає в себе налаштування BIOS, використання Wake-on-LAN через маршрутизатор Keenetic і логіку управління завданнями в n8n.
Налаштування BIOS (Restore on AC Power Loss) + Wake-on-LAN
У BIOS Worker Plane була включена функція «Restore on AC Power Loss». Це дозволяє системі автоматично перезавантажуватися при відновленні живлення після відключення. Для додаткової безпеки та зручності управління використовується функція Wake-on-LAN через маршрутизатор Keenetic.
Логіка в n8n: health-check до локального GPU
В n8n була реалізована логіка для моніторингу стану системи. Вона включає в себе регулярний health-check до локального GPU (RTX 3090). Якщо живлення відновлено і вузол живий, завдання виконуються на RTX 3090. У разі відключення електроенергії важкі завдання ставляться в локальну чергу SQLite/Redis або перемикаються на хмарний Gemini API.
Досвід експлуатації та думки про апгрейд
У процесі експлуатації даної архітектури були виявлені кілька ключових моментів, які варто враховувати при подальшому розвитку системи.
128 ГБ ECC RAM під 70B моделі vs друга RTX 3090
Одним із можливих апгрейдів є збільшення об’єму оперативної пам’яті до 128 ГБ з підтримкою ECC (Error-Correcting Code). Це дозволить використовувати більші AI-моделі, такі як 70B, які вимагають значної кількості оперативної пам’яті для ефективної роботи.
Альтернативним варіантом є встановлення другої RTX 3090. Це дозволить збільшити обчислювальну потужність системи та паралелізувати завдання між двома графічними картами, що може значно покращити продуктивність в деяких сценаріях.
У заключенні, дана архітектура домашнього AI-сервера з розділенням на Control Plane і Worker Plane дозволяє забезпечити безперервну роботу автоматизації та критично важливих завдань навіть при тривалих відключеннях електроенергії. Використання маломощного Ubuntu міні-сервера та потужного стаціонарного комп’ютера, а також реалізація механізму автопідйому та стійкості до збоїв роблять систему надійною та масштабованою.
Добавить комментарий