Engineering Lab

  • EcoFlow API and Reverse Engineering Inverters: Telemetry, Protobuf and Logic Analyzer

    EcoFlow API и реверс-инжиниринг инверторов: телеметрия, Protobuf и логический анализатор

    Задача

    В условиях частых отключений электроснабжения (блэкаутов) важно не только отслеживать состояние зарядной станции в реальном времени, но и собирать телеметрию для анализа и управления нагрузкой программно. Это позволяет автоматизировать процессы подзарядки и распределения энергии, что особенно актуально для критических инфраструктур и бытовых потребителей.

    Два пути к EcoFlow

    Для интеграции с зарядными станциями EcoFlow существуют два основных подхода: использование официального облачного API и локальный доступ через бинарную телеметрию Protobuf. Рассмотрим каждый из них.

    Официальный Cloud API (REST + MQTT)

    EcoFlow предоставляет официальный Cloud API, который позволяет взаимодействовать с устройствами через REST и MQTT протоколы. Для обеспечения безопасности запросы подписываются с помощью HMAC-SHA256.

    
    GET /api/v1/devices HTTP/1.1
    Host: api.ecoflow.com
    Authorization: Bearer YOUR_ACCESS_TOKEN
    Date: Tue, 03 Oct 2023 12:34:56 GMT
    x-ecoflow-signature: YOUR_SIGNATURE
    

    Пример структуры подписи:

    
    import hmac
    import hashlib
    
    def generate_signature(secret_key, date):
        message = f"{date}"
        signature = hmac.new(secret_key.encode(), message.encode(), hashlib.sha256).hexdigest()
        return signature
    

    Этот метод позволяет получать телеметрию и управлять устройствами удаленно, что особенно полезно для мониторинга нескольких устройств одновременно.

    Локальный уровень без интернета: бинарная телеметрия Protobuf по UDP (порт 8554) / TCP

    Для локального доступа к телеметрии EcoFlow использует бинарный протокол Protobuf, который передается по UDP или TCP на порту 8554. Этот метод позволяет интегрировать устройства в локальные системы автоматизации, такие как Home Assistant.

    
    # Пример конфигурации для hassio-ecoflow-cloud
    [ecoflow]
    host = "192.168.1.10"
    port = 8554
    

    Интеграция с Home Assistant позволяет использовать телеметрию EcoFlow для автоматизации домашних процессов, таких как управление освещением и отоплением в зависимости от уровня заряда станции.

    «Использование Protobuf для передачи данных позволяет значительно снизить нагрузку на сеть по сравнению с текстовыми протоколами.»

    Реверс-инжиниринг плат гибридных инверторов (HMI ↔ BMS ↔ силовая плата на EG8010 / STM32 / TI C2000)

    Гибридные инверторы, такие как EcoFlow, используют сложную архитектуру, включающую HMI (Human-Machine Interface), BMS (Battery Management System) и силовую плату. Реверс-инжиниринг этих плат позволяет глубже понять их работу и оптимизировать производительность.

    Проблема: циклическое отключение инвертора при подаче 220В от сети

    Одной из распространенных проблем является циклическое отключение инвертора при подаче 220В от сети. Это может быть вызвано несколькими факторами, включая некорректную работу детектора AC и просадки питания логической части.

    Методика отладки с логическим анализатором (Saleae / PulseView)

    Для диагностики проблем используется логический анализатор, такой как Saleae, в сочетании с программным обеспечением PulseView. Этот подход позволяет детально изучить сигналы на различных линиях и выявить причины неисправностей.

    • Проверка резисторных делителей детектора AC: Убедитесь, что резисторные делители правильно настроены и не вызывают ложных срабатываний детектирующих цепей.
    • Проверка просадок шины питания логики (brownout): Мониторинг напряжения питания логической части может выявить просадки, которые приводят к некорректной работе устройства.
    • Анализ линий аварийного сигнала от BMS: Проверка сигналов аварии от BMS позволяет понять, почему инвертор отключается. Это может быть связано с превышением допустимых температурных или токовых значений.
    
    # Пример команды для PulseView
    saleae --device=192.168.1.2 capture --protocol=pulseview --output-file=capture.saleae
    

    Этот подход позволяет не только выявить причины проблемы, но и оптимизировать работу устройства в целом.

    Выводы и рекомендации по безопасности при работе с силовой электроникой

    Работа с силовой электроникой требует особого внимания к вопросам безопасности. Вот несколько ключевых рекомендаций:

    • Используйте защитные очки и перчатки при работе с высоковольтными компонентами.
    • Обеспечьте правильное заземление всех устройств и рабочих мест.
    • Перед началом работы убедитесь, что все источники питания отключены.
    • Используйте изолированные инструменты для минимизации риска поражения электрическим током.

    «Безопасность при работе с электроникой — это не роскошь, а необходимость. Некоторые ошибки могут стоить жизни.»

    Следуя этим рекомендациям, вы сможете избежать потенциально опасных ситуаций и обеспечить безопасную работу с силовой электроникой.

  • Control Plane on DC-UPS + RTX 3090: Home AI Server Architecture for Blackouts

    Проблема: мощный ПК с RTX 3090 потребляет сотни ватт и не может сутками работать от ИБП при отключениях света

    Мощные графические карты, такие как NVIDIA RTX 3090, требуют значительного количества энергии для работы. В условиях домашнего использования, где электроснабжение может быть ненадежным, это становится серьезной проблемой. Использование ИБП (источника бесперебойного питания) позволяет поддерживать работу системы в течение короткого времени после отключения основного питания, но для длительной работы от аккумулятора требуется мощный и дорогой ИБП.

    В данной статье рассматривается архитектура домашнего AI-сервера, который включает в себя автоматическое управление задачами и переключение на облачные ресурсы при необходимости. Это позволяет обеспечить непрерывную работу автоматизации (n8n, боты, вебхуки, сайт) 24/7, даже при длительных отключениях электроэнергии.

    Автоматизация и критически важные задачи

    Автоматизация процессов с использованием инструментов n8n, ботов и вебхуков требует постоянного доступа к ресурсам. В случае отключения электроэнергии такие системы должны быть способны перейти на резервные источники питания или облачные сервисы без потери производительности.

    Для решения этой проблемы была разработана архитектура, включающая Control Plane и Worker Plane.

    Архитектура Control Plane vs Worker Plane

    
    +---------------------+
    |   Control Plane    |
    | +-----------------+|
    | |  Ubuntu Mini    ||
    | |  Server (wplanc)||-------> Docker, n8n, Nginx, MariaDB, WordPress, очереди задач
    | +-----------------+|
    |      DC-UPS 12В   |
    +---------------------+
               |
               v
    +---------------------+
    |    Router Keenetic  |
    +---------------------+
    
    +---------------------+
    |   Worker Plane     |
    | +-----------------+|
    | |  Xeon LGA2011-v3 ||-------> LM Studio (порт 1234), ComfyUI (порт 8188)
    | |  RTX 3090 24GB   ||
    | +-----------------+|
    +---------------------+
    

    Control Plane: маломощный Ubuntu мини-сервер на DC-UPS 12В

    Control Plane включает в себя маломощный Ubuntu мини-сервер, работающий от DC-UPS 12В. Этот сервер отвечает за управление задачами и обеспечение их непрерывной работы. На нем установлены Docker, n8n, Nginx, MariaDB, WordPress и очереди задач.

    Использование Docker позволяет легко разворачивать и масштабировать приложения, обеспечивая изоляцию и удобство управления. n8n используется для автоматизации процессов, а Nginx и MariaDB — для обслуживания веб-сайтов и баз данных.

    Worker Plane: стационар на Xeon LGA2011-v3 с RTX 3090

    Worker Plane включает в себя мощный стационарный компьютер на базе процессора Xeon LGA2011-v3 (материнская плата X99, 32 ГБ оперативной памяти quad-channel) и графической карты RTX 3090 с 24 ГБ видеопамяти. Этот узел отвечает за выполнение тяжелых вычислительных задач.

    На Worker Plane установлены LM Studio (порт 1234) и ComfyUI (порт 8188), которые используются для работы с AI-моделями и графическими задачами. Эти приложения требуют значительного количества вычислительных ресурсов, что делает их зависимыми от стабильного электроснабжения.

    Механика автоподъёма и отказоустойчивости

    Для обеспечения непрерывной работы системы при отключении электроэнергии была реализована механика автоподъема и отказоустойчивости. Она включает в себя настройку BIOS, использование Wake-on-LAN через роутер Keenetic и логику управления задачами в n8n.

    Настройка BIOS (Restore on AC Power Loss) + Wake-on-LAN

    В BIOS Worker Plane была включена функция «Restore on AC Power Loss». Это позволяет системе автоматически перезагружаться при восстановлении питания после отключения. Для дополнительной безопасности и удобства управления используется функция Wake-on-LAN через роутер Keenetic.

    Логика в n8n: health-check к локальному GPU

    В n8n была реализована логика для мониторинга состояния системы. Она включает в себя регулярный health-check к локальному GPU (RTX 3090). Если питание восстановлено и узел жив, задачи выполняются на RTX 3090. В случае отключения электроэнергии тяжелые задачи ставятся в локальную очередь SQLite/Redis или переключаются на облачный Gemini API.

    Опыт эксплуатации и мысли про апгрейд

    В процессе эксплуатации данной архитектуры были выявлены несколько ключевых моментов, которые стоит учитывать при дальнейшем развитии системы.

    128 ГБ ECC RAM под 70B модели vs вторая RTX 3090

    Одним из возможных апгрейдов является увеличение объема оперативной памяти до 128 ГБ с поддержкой ECC (Error-Correcting Code). Это позволит использовать более крупные AI-модели, такие как 70B, которые требуют значительного количества оперативной памяти для эффективной работы.

    Альтернативным вариантом является установка второй RTX 3090. Это позволит увеличить вычислительную мощность системы и распараллеливать задачи между двумя графическими картами, что может значительно улучшить производительность в некоторых сценариях.

    В заключение, данная архитектура домашнего AI-сервера с разделением на Control Plane и Worker Plane позволяет обеспечить непрерывную работу автоматизации и критически важных задач даже при длительных отключениях электроэнергии. Использование маломощного Ubuntu мини-сервера и мощного стационарного компьютера, а также реализация механики автоподъема и отказоустойчивости делают систему надежной и масштабируемой.

  • Optimizing WordPress on a Real Project: How We Compressed the First Screen by 82.3%

    Оптимизация WordPress на реальном проекте: как мы сжали первый экран на 82.3%

    В LancerLab мы часто сталкиваемся с задачами по оптимизации производительности веб-сайтов. В этой статье расскажем о нашем опыте работы над порталом Библиотеки КНУБА (library.knuba.edu.ua). Мы сократили размер первого экрана с 3.95 МБ до 700 КБ, что составило 82.3% улучшения. Рассмотрим пошагово, как это было сделано.

    Исходная проблема

    Портал библиотеки КНУБА страдал от нескольких проблем:

    • Тяжёлые медиа-блоки на первом экране;
    • 17 JS-скриптов на каждой странице;
    • Дублирующиеся шрифты, что замедляло загрузку;
    • Медленная загрузка первого экрана.

    Начальный размер первого экрана составлял 3.95 МБ, что значительно превышало оптимальные показатели.

    Пошаговая оптимизация

    Медиа первого экрана: аудит, пересжатие и ленивая загрузка

    Первым шагом было проведение аудита медиа-файлов. Мы использовали инструменты, такие как Google PageSpeed Insights, чтобы выявить наиболее тяжелые изображения и видео.

    После аудита мы пересжали все медиа-файлы с помощью инструментов, таких как TinyJPG и TinyPNG. Это позволило значительно уменьшить их размер без потери качества.

    Также мы внедрили ленивую загрузку изображений. Для этого использовался плагин Lazy Load by WP Rocket, который позволяет загружать изображения только при прокрутке страницы.

    // Пример PHP-кода для ленивой загрузки изображений
    function lazy_load_images() {
        return 'loading="lazy"';
    }
    add_filter('wp_get_attachment_image_attributes', 'lazy_load_images');
    

    Эти меры позволили снизить размер первого экрана с 3.95 МБ до 700 КБ, что составило 82.3% улучшения.

    Условное отключение скриптов WooCommerce

    На портале использовался WooCommerce для электронных изданий, но не на всех страницах сайта. Это означало, что многие скрипты и стили WooCommerce загружались ненужно.

    Мы внедрили условное отключение этих скриптов на страницах вне каталога электронных изданий с помощью PHP-хуков wp_dequeue_script и wp_dequeue_style. Пример кода:

    
    // Отключение скриптов WooCommerce
    function dequeue_woocommerce_scripts() {
        if (!is_product_category()) {
            wp_dequeue_script('wc-add-to-cart');
            wp_dequeue_script('wc-cart-fragments');
            wp_dequeue_style('wc-block-style'); // и т.д.
        }
    }
    add_action('wp_enqueue_scripts', 'dequeue_woocommerce_scripts');
    

    Это позволило снизить количество загружаемых JS-файлов с 17 до 11, что значительно улучшило производительность.

    Очистка базы данных и настройка Open Graph / SEO

    Мы также провели очистку базы данных от лишних шрифтовых семейств. Всего было удалено 11 шрифтовых семейств, что освободило значительное количество места.

    Кроме того, мы настроили Open Graph и SEO мета-теги для улучшения видимости сайта в поисковых системах. Это включало использование плагинов, таких как Yoast SEO, для автоматического создания оптимизированных мета-тегов.

    Автоматизация через WordPress MCP и REST API

    Для автоматизации процессов мы использовали Maintenance Plugin (MCP) и REST API. AI-агент был настроен на воспроизведение блочных макетов дизайнера, созданных с помощью Gutenberg и Getwid.

    AI-агент также выполнял проверку вёрстки в браузере, что позволило выявить и исправить ошибки до их появления на сайте.

    Итоговые цифры до/после

    Показатель До оптимизации После оптимизации
    Размер первого экрана 3.95 МБ 700 КБ (-82.3%)
    Количество JS-файлов на странице 17 11
    Количество шрифтовых семейств 11 0
    Время загрузки первого экрана 5.2 сек 1.8 сек (-65.4%)

    Эти изменения значительно улучшили производительность сайта и пользовательский опыт.

    Чек-лист для других WordPress-сайтов

    • Проведите аудит медиа-файлов и пересжатие изображений;
    • Внедрите ленивую загрузку изображений;
    • Условно отключите ненужные скрипты и стили;
    • Очистите базу данных от лишних шрифтовых семейств;
    • Настройте Open Graph и SEO мета-теги;
    • Используйте инструменты автоматизации, такие как REST API.

    Следуя этим шагам, вы сможете значительно улучшить производительность вашего WordPress-сайта. Если у вас возникнут вопросы или потребуется помощь, обращайтесь к нам в LancerLab!

  • LancerLab Launch: How This Site is Set Up on a Home Mini-Server

    Запуск LancerLab: как устроен этот сайт на домашнем мини-сервере

    В этом посте мы расскажем о том, как был запущен и настроен сайт LancerLab на домашнем мини-сервере с Ubuntu (wplanc) рядом с Docker-контейнером n8n. Мы рассмотрим используемый стек технологий, проблемы, с которыми столкнулись при настройке, и как их удалось решить.

    Идея: личный сайт-визитка и лаборатория

    Основная идея проекта LancerLab заключалась в создании личного сайта-визитки, который бы одновременно являлся лабораторией для тестирования различных технологий и инструментов. Мы решили разместить его на собственном мини-сервере с Ubuntu, что позволило нам иметь полный контроль над всеми аспектами работы системы.

    Кроме того, мы хотели интегрировать Docker-контейнер n8n для автоматизации различных задач и процессов. Это позволило нам создать гибкую и масштабируемую инфраструктуру, которая легко адаптируется под наши нужды.

    Стек технологий

    Для реализации проекта мы выбрали следующий стек технологий:

    • Nginx: Веб-сервер для обработки HTTP-запросов и балансировки нагрузки.
    • PHP 8.5 FPM: Процессор PHP с поддержкой FastCGI, обеспечивающий высокую производительность.
    • MariaDB: Реляционная система управления базами данных, совместимая с MySQL.
    • WordPress 7.1: Система управления контентом (CMS) для создания и управления сайтом.

    Для WordPress мы выбрали легкую блочную тему Twenty Twenty-Five, которая обеспечивает хорошую производительность и гибкость в настройке. Также были созданы кастомные му-плагины lancerlab-styles.php и lancerlab-i18n.php для добавления уникальных стилей и поддержки мультиязычности.

    Реальные проблемы при настройке

    В процессе настройки сайта мы столкнулись с рядом проблем, которые пришлось решить. Рассмотрим их подробнее:

    Потерянный конфиг Nginx после переустановки пакета под n8n и восстановление порта 8081

    Во время установки Docker-контейнера n8n мы случайно удалили конфигурационные файлы Nginx. Это привело к тому, что наш сайт перестал работать. Для восстановления работы сайта пришлось:

    • Восстановить резервную копию конфигурационных файлов Nginx.
    • Перезапустить сервис Nginx с помощью команды:
      sudo systemctl restart nginx
    • Проверять лог-файлы для выявления возможных ошибок и их устранения.

    Также пришлось изменить конфигурацию порта, чтобы избежать конфликтов с n8n. Мы перенаправили трафик на порт 8081:

    server {
        listen 8081;
        server_name wplanc.lancerlab.com;
    
        location / {
            proxy_pass http://localhost:8080;
            ...
        }
    }

    Проблема с IPv6-прокси KeenDNS (403 от 2a01:4f8:271:5a5c:: при попытке выпустить Let’s Encrypt через Certbot)

    При попытке получить SSL-сертификат через Certbot мы столкнулись с ошибкой 403, связанной с IPv6-прокси KeenDNS. Для решения этой проблемы:

    • Проверили настройки DNS и убедились, что они корректны.
    • Обновили конфигурацию Certbot для использования IPv4:sudo certbot --nginx -d wplanc.lancerlab.com
    • Проверяем лог-файлы Certbot для выявления возможных ошибок и их устранения.

    Внедрение WP-CLI, мультиязычности (UA/RU/EN с автоопределением Украины) и связки с GitHub (lancerlab-wp)

    Для упрощения управления сайтом мы внедрили инструмент WP-CLI. Это позволяет выполнять различные операции с WordPress через командную строку, что значительно ускоряет процессы разработки и администрирования.

    Также мы добавили поддержку мультиязычности для украинского (UA), русского (RU) и английского (EN) языков. Для этого использовали плагин WPML с настройкой автоопределения языка в зависимости от местоположения пользователя.

    Для интеграции с GitHub мы создали репозиторий lancerlab-wp, который содержит все файлы сайта и позволяет легко отслеживать изменения и сотрудничать с другими разработчиками.

    Пример команды WP-CLI для публикации заметки

    Для публикации новой заметки через WP-CLI можно использовать следующую команду:

    wp post create --post_title="Новая заметка" --post_content="Содержимое заметки" --post_status=publish

    Планы по переезду на собственный домен с HTTPS

    В ближайшем будущем планируем перенести сайт на собственный домен и обеспечить его защиту с помощью протокола HTTPS. Это позволит нам улучшить безопасность и надежность сайта, а также повысить доверие пользователей.

    Переезд на собственный домен и переключение на HTTPS — это важные шаги в развитии LancerLab. Мы уверены, что эти изменения помогут нам создать более стабильную и безопасную платформу для наших пользователей.

    Надеемся, что этот пост был полезен и дал вам представление о том, как устроен сайт LancerLab и какие проблемы мы пришлось решать в процессе его создания. Если у вас есть вопросы или предложения, не стесняйтесь оставлять их в комментариях!