Лаборатория

  • AI Telegram Twin: как отделить стилометрию общения от базы знаний

    AI Telegram Twin: как отделить стилометрию общения от базы знаний

    В современном мире, где искусственный интеллект (ИИ) становится все более интегрированным в повседневную жизнь, создание ботов для мессенджеров, таких как Telegram, стало популярной задачей. Однако стандартные ChatGPT-боты часто выдают себя, используя шаблонные фразы и не всегда соответствующие контексту ответы. Это вызывает раздражение у клиентов и снижает эффективность взаимодействия.

    Почему обычные ChatGPT-боты сразу выдают себя

    Основная причина, по которой обычные ChatGPT-боты сразу выдают себя, заключается в их шаблонных ответах. Фразы типа «Я рад помочь вам! Вот 5 пунктов…» и стандартные структуры ответов делают общение с ботом неестественным и механическим. Клиенты ожидают более персонализированного и естественного взаимодействия, особенно в контексте личных сообщений.

    Другой важный аспект — это отсутствие учета стилометрических особенностей конкретного пользователя или бренда. Стандартные боты не могут адаптироваться к индивидуальному стилю общения, что делает их ответы менее убедительными и более предсказуемыми.

    Кроме того, отсутствие динамической паузы в ответах делает взаимодействие с ботом менее реалистичным. Пользователи привыкли к тому, что люди могут задумываться перед ответом или писать сообщения с задержкой.

    Архитектура Separation of Concerns

    Для решения этих проблем мы разработали архитектуру Separation of Concerns (SoC), которая разделяет стилометрию общения и базу знаний. Это позволяет создать более естественное и реалистичное взаимодействие с ботом.

    Ядро стилометрии (Style Mimic Core)

    Ядро стилометрии отвечает за создание реалистичного стиля общения. Оно включает несколько ключевых компонентов:

    • Парсинг реальных экспортов: Используются файлы result.json и Telethon для анализа реальных сообщений пользователей.
    • Расчёт средней длины реплики: Определение оптимальной длины ответов на основе анализа исторических данных.
    • Дробление одной мысли на 2-4 коротких сообщения: Разделение длинных ответов на несколько более коротких, что создает эффект «пулемётной очереди» и делает общение более динамичным.
    • Специфика пунктуации и сленга: Учет индивидуальных особенностей пунктуации и использование сленга, характерного для конкретного пользователя или бренда.
    
    # Пример кода для парсинга result.json
    import json
    
    with open('result.json', 'r') as file:
        data = json.load(file)
    
    for message in data['messages']:
        print(message['text'])
    

    База знаний и прайс

    База знаний и прайс-листы хранятся строго отдельно от ядра стилометрии. Это позволяет избежать ситуаций, когда модель может «выдумывать» цены или информацию ради красивой фразы.

    Анти-детект и Human-in-the-Loop

    Для повышения реалистичности взаимодействия мы внедрили несколько дополнительных механизмов:

    Smart Typing

    Этот механизм вводит паузу и статус «typing…» пропорционально длине ответа. Это делает общение более естественным, так как пользователи привыкли к задержкам при наборе текста.

    
    # Пример кода для Smart Typing
    import time
    
    def smart_typing(message):
        typing_status = True
        for char in message:
            print(char, end='', flush=True)
            time.sleep(0.1)  # Задержка для имитации набора текста
        print()  # Переход на новую строку после завершения печати
    
    smart_typing("Пример сообщения с задержкой")
    

    Smart Pause

    Если владелец сам написал в чат, бот мгновенно замолкает на N часов. Это позволяет избежать конфликтов и дать владельцу возможность лично ответить на важные сообщения.

    Lead Radar и триггеры эскалации

    Lead Radar — это система отслеживания ключевых фраз, таких как «готов платить» или «куда скинуть предоплату». Эти триггеры позволяют мгновенно передавать управление человеку, что повышает эффективность обработки важных запросов.

    Проблемы на практике

    Разработка и эксплуатация AI Telegram Twin не обходятся без проблем. Рассмотрим некоторые из них:

    • Риск флуд-лимитов Telegram MTProto: Telegram имеет ограничения на количество сообщений, которые можно отправить за определенный период времени. Это может привести к блокировке аккаунта или снижению скорости отправки сообщений.
    • Переключение Local RTX 3090 Cloud API: При отключениях света необходимо быстро переключаться между локальным и облачным API, чтобы избежать провалов в работе бота. Это требует тщательной настройки и мониторинга.

    Для решения этих проблем можно использовать следующие подходы:

    • Оптимизация скорости отправки сообщений: Равномерное распределение отправки сообщений по времени для избежания флуд-лимитов.
    • Автоматизированное переключение между локальным и облачным API: Использование мониторинговых систем и скриптов для автоматического переключения в случае отключений света.

    Заключение

    Разделение стилометрии общения и базы знаний позволяет создать более реалистичный и естественный AI Telegram Twin. Использование архитектуры Separation of Concerns, механизмов Smart Typing и Smart Pause, а также Lead Radar делает взаимодействие с ботом более приятным и эффективным.

    Однако разработка таких систем сопряжена с рядом проблем, таких как флуд-лимиты Telegram MTProto и необходимость переключения между локальным и облачным API. Решение этих проблем требует тщательной настройки и мониторинга.

    Полный код проекта доступен по ссылке: https://github.com/Lancer0076-prog/ai-telegram-twin

  • Локальный AI-стек на RTX 3090: LM Studio, ComfyUI и гибридный фолбек

    Локальный AI-стек на RTX 3090: LM Studio, ComfyUI и гибридный фолбек

    В современном мире искусственного интеллекта (ИИ) многие пользователи стремятся к максимальной автономии и безопасности своих данных. Одним из эффективных решений для достижения этих целей является использование локального AI-стэка на мощной графической карте, такой как RTX 3090 с 24 ГБ VRAM. В этой статье мы рассмотрим, почему стоит держать свой GPU-узел дома, как настроить локальный стек и какие проблемы могут возникнуть при его использовании, а также предложим решение этих проблем.

    Зачем держать свой GPU-узел дома

    Использование локального GPU-узла имеет несколько ключевых преимуществ:

    • Приватность: Все данные обрабатываются на вашем собственном оборудовании, что исключает риск утечки информации через облачные сервисы.
    • Нулевая цена токенов: Вы не платите за использование API-токенов, так как все вычисления происходят локально.
    • Независимость от лимитов: Вы не ограничены количеством запросов или объемом данных, которые можно обработать, в отличие от облачных сервисов.

    Эти преимущества делают локальный GPU-узел идеальным решением для пользователей, которым важна конфиденциальность и гибкость.

    Стек на стационаре

    Для создания мощного локального AI-стэка мы используем следующие компоненты:

    • Процессор: Xeon LGA2011-v3
    • Материнская плата: X99
    • Оперативная память: 32GB quad-channel
    • Графическая карта: RTX 3090 с 24 ГБ VRAM

    На этом оборудовании мы развертываем два ключевых компонента: LM Studio и ComfyUI.

    LM Studio на порту 1234

    LM Studio предоставляет OpenAI-совместимый API, что позволяет легко интегрировать его с различными приложениями. Мы используем модель mistral-small-24b-instruct-2501 для обработки текстовых данных и nomic-embed-text для встраивания текста.

    Пример конфигурации LM Studio:

    
    {
      "model": "mistral-small-24b-instruct-2501",
      "embedding_model": "nomic-embed-text",
      "port": 1234
    }
    

    Этот конфигурационный файл указывает, что LM Studio будет работать на порту 1234 и использовать указанные модели для обработки данных.

    ComfyUI на порту 8188

    ComfyUI — это мощный инструмент для создания пользовательских интерфейсов и взаимодействия с моделями ИИ. Он работает на порту 8188 и позволяет легко интегрировать различные модели и алгоритмы.

    Практическая проблема: гибридный фолбек

    Одна из потенциальных проблем при использовании локального GPU-узла — это возможность его отключения или перевода в режим гибернации при отключении света. Чтобы избежать этой проблемы, мы предлагаем использовать гибридный LLM-адаптер.

    Решение: health-check на 192.168.1.63:1234

    Гибридный адаптер сначала проверяет доступность локального сервера LM Studio по адресу 192.168.1.63:1234. Если сервер недоступен, запрос перенаправляется на облачный сервис, такой как Gemini или DeepSeek.

    Пример health-check:

    
    curl -X GET http://192.168.1.63:1234/health
    

    Если ответ не получен в течение определенного времени, запрос перенаправляется на облачный сервис.

    Пример curl/JSON-запроса к локальному API LM Studio

    Для отправки запроса к локальному API LM Studio можно использовать команду curl. Пример запроса:

    
    curl -X POST http://192.168.1.63:1234/v1/chat/completions 
    -H "Content-Type: application/json" 
    -d '{
      "model": "mistral-small-24b-instruct-2501",
      "messages": [{"role": "user", "content": "Привет, мир!"}]
    }'
    

    Этот запрос отправляет текстовое сообщение на обработку модели mistral-small-24b-instruct-2501 и возвращает ответ.

    Как локальная модель наполняет блог и переводит его на 3 языка

    Локальная модель может использоваться не только для обработки текстовых данных, но и для генерации контента. Например, этот блог наполняется с помощью локальной модели LM Studio.

    Процесс генерации контента включает несколько этапов:

    • Сбор данных: Локальная модель анализирует существующий контент и генерирует новые идеи для статей.
    • Генерация текста: На основе собранных данных модель создает полноценные статьи.
    • Перевод: Сгенерированный текст переводится на три языка с помощью модели nomic-embed-text.

    Таким образом, локальная модель позволяет не только обрабатывать данные, но и создавать новый контент, что делает её незаменимым инструментом для блоггеров и контент-мейкеров.

    Заключение

    Использование локального GPU-узла на базе RTX 3090 с 24 ГБ VRAM предоставляет множество преимуществ, включая приватность, нулевую стоимость токенов и независимость от лимитов. Стек, состоящий из LM Studio и ComfyUI, позволяет легко интегрировать различные модели ИИ и создавать мощные приложения. Гибридный фолбек обеспечивает надежность системы даже в условиях временного отключения локального сервера.

    Этот подход открывает новые возможности для использования ИИ в различных областях, делая его доступным и гибким инструментом для всех пользователей.

    «Искусственный интеллект — это не просто технология будущего, это технология настоящего, которая меняет наш мир уже сегодня.»

  • Автономная видеофабрика: как n8n будит RTX 3090 по Wake-on-LAN и рендерит в ComfyUI

    Автономная видеофабрика: как n8n будит RTX 3090 по Wake-on-LAN и рендерит в ComfyUI

    В последние годы я, Илья Дубовик, занимаюсь автоматизацией процессов в LancerLab. Одной из самых интересных задач было создание автономной видеофабрики, которая бы эффективно использовала мощную RTX 3090 для рендеринга видео с помощью ComfyUI. В этой статье я подробно расскажу о том, как мы решили проблему простоя дорогих графических карт и дорогого облачного рендера.

    Зачем это нужно

    RTX 3090 — это мощнейшая графика для рендеринга видео. Однако, когда она не используется, она просто лежит в простой, что является неэффективным использованием ресурсов. Кроме того, облачные решения для рендера могут быть очень дорогими и медленными при высокой нагрузке. Мы решили создать систему, которая будет автоматически будить сервер с RTX 3090 по Wake-on-LAN и запускать рендеринг видео через ComfyUI.

    Архитектура пайплайна

    Наша система состоит из нескольких ключевых компонентов, которые работают вместе для достижения конечной цели. Вот схема архитектуры:

    
    Telegram-бот -> n8n (Docker на Ubuntu) ->
    Gemini/LLM (с каскадным фолбеком) ->
    Keenetic RCI API (Wake-on-LAN) ->
    SSH/Task Scheduler (StartComfyUI на 192.168.1.63:8188) ->
    FFmpeg
    

    Давайте разберем каждый из этих компонентов подробнее:

    • Telegram-бот: Пользователи отправляют команды через Telegram-бота, который передает их в n8n.
    • n8n (Docker на Ubuntu): Это основной оркестратор, который обрабатывает запросы и управляет работой всей системы.
    • Gemini/LLM: Используется для обработки команд и генерации описаний сцен. Мы используем каскадный фолбек, чтобы обеспечить надежность.
    • Keenetic RCI API (Wake-on-LAN): Отправляет Wake-on-LAN пакеты для будильника сервера с RTX 3090.
    • SSH/Task Scheduler: Запускает ComfyUI на сервере и управляет процессом рендеринга.
    • FFmpeg: Используется для постобработки видео, включая склейку сцен и извлечение кадров.

    Подводные камни и как их решали

    В процессе разработки мы столкнулись с несколькими проблемами. Вот как мы их решили:

    Проблема 1: Машина с RTX 3090 спит или в гибернации

    Когда машина находится в режиме сна или гибернации, она не может сразу ответить на Wake-on-LAN пакет. Для решения этой проблемы мы добавили аутентификацию в Keenetic API и цикл ожидания готовности порта 8188.

    
    # Пример кода для отправки WoL-пакета и проверки готовности порта
    import socket
    import time
    
    def send_wol_packet(mac_address):
        # Отправка Wake-on-LAN пакета
        pass
    
    def check_port_availability(ip, port):
        with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
            return s.connect_ex((ip, port)) == 0
    
    mac_address = 'XX:XX:XX:XX:XX:XX'
    ip = '192.168.1.63'
    
    send_wol_packet(mac_address)
    while not check_port_availability(ip, 8188):
        time.sleep(5)  # Ждем 5 секунд перед следующей проверкой
    

    Проблема 2: Разрыв сцен при генерации длинного видео

    При генерации длинного видео могут возникать разрывы между сценами. Для решения этой проблемы мы использовали Frame-to-Frame Continuity, где FFmpeg извлекает последний кадр предыдущей сцены как стартовый для следующей.

    
    # Пример команды FFmpeg для извлечения последнего кадра
    ffmpeg -i input.mp4 -vf "select=last_frame" output.png
    
    # Пример команды FFmpeg для склейки кадров
    ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4
    

    Проблема 3: 429 Rate Limits и отвалы облачных LLM

    Облачные модели могут сталкиваться с ограничениями по скорости запросов (Rate Limits) или просто отваливаться. Для решения этой проблемы мы внедрили каскадный фолбек моделей и отдельный бот телеметрии/логов.

    
    # Пример кода для обработки ошибок и фолбека
    def process_request(model):
        try:
            response = model.process(request)
        except Exception as e:
            if isinstance(e, RateLimitExceededError):
                fallback_model = get_fallback_model()
                response = fallback_model.process(request)
            else:
                log_error(e)
    
        return response
    
    # Пример кода для телеметрии
    def log_telemetry(data):
        telemetry_bot.send_message(data)
    

    Конкретный пример: фрагмент команды FFmpeg для извлечения последнего кадра и склейки, а также схема JSON/шагов

    Вот пример команды FFmpeg для извлечения последнего кадра и склейки сцен:

    
    # Извлечение последнего кадра
    ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png
    
    # Склейка кадров
    ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4
    

    Схема JSON/шагов для рендеринга видео может выглядеть следующим образом:

    
    {
      "steps": [
        {
          "step_name": "Extract Last Frame",
          "command": "ffmpeg -i input.mp4 -vf "select=last_frame" last_frame.png"
        },
        {
          "step_name": "Concatenate Scenes",
          "command": "ffmpeg -i scene1.mp4 -i scene2.mp4 -filter_complex "[0:v][1:v]concat=n=2:v=1:a=0[out]" -map "[out]" final_video.mp4"
        }
      ]
    }
    

    Итоги и планы

    В этой статье я подробно рассказал о создании автономной видеофабрики, которая использует n8n для будильника RTX 3090 по Wake-on-LAN и рендеринга видео в ComfyUI. Мы решили несколько ключевых проблем, таких как простой графической карты, разрывы сцен при генерации видео и ограничения облачных моделей.

    В будущем мы планируем добавить поддержку дополнительных форматов видео и улучшить обработку ошибок. Также рассматриваем возможность интеграции с другими инструментами для автоматизации процессов рендеринга. Следите за нашими обновлениями!

    “Автоматизация — ключ к эффективному использованию ресурсов.” — Илья Дубовик