Как приручить нейросеть и создать новогоднего Telegram-бота

Мне нравится создавать Telegram-ботов и экспериментировать с нейросетями, поэтому часто объединяю их в своих в своих проектах. Коллеги заметили мое хобби и предложили разработать новогоднего гида, который будет генерировать персональные предсказания и советы на 2024 год для наших читателей.

Во время реализации спецпроекта я впервые столкнулся с ограничениями по маркетинговой части проекта. Как заставить ChatGPT придумывать разнообразные, но только положительные предсказания? Как не выйти за лимиты текстовой модели и Telegram? В этой статье делюсь ответами на вопросы и реакцией пользователей на проект.

Постановка задачи

Перед началом разработки мы с коллегами подробно обсудили характеристики бота (новогоднего гида) и определились с функциональностью.

• Взаимодействие с ботом происходит через одно сообщение. В терминах Telegram — через InlineKeyboardMarkup.
• С помощью текстовой модели бот генерирует предсказание или совет — выбор остается за пользователем. При этом предсказание может быть на тему путешествий, отношений, здоровья, образования или карьеры. А совет — о том, какой посмотреть фильм или сериал, какую книгу почитать или что приготовить.
• На вопрос «Кто я в год дракона?» бот должен выводить одну из заготовленных картинок.
• Новогодний гид должен предлагать пользователям участвовать в розыгрыше, а по завершении — разослать всем результаты. Для этого нужно настроить массовую рассылку сообщений.

Все требования строятся вокруг «фронтенда» и логики бота. Это значит, что я могу использовать любые удобные инструменты для решения задачи.

Архитектура приложения

Основной принцип работы прост: бот должен обращаться к текстовой модели и передавать ответ пользователю. Но здесь появляется загвоздка: часто модель не отвечает мгновенно, а у официальной библиотеки OpenAI нет асинхронного интерфейса. Кроме того, нужно предусмотреть повторы (retry) в случае сетевой или программной ошибки и научиться сохранять задания, чтобы они не слетали при перезагрузке бота.

Я разделил приложение на две части и делегировал задачи брокеру сообщений. В первой (bot) использовал фреймворк aiogram, который обрабатывает обновления из Telegram Bot API и выполняет «быстрые» задачи — например, навигацию в меню. В нашем случае — получает запрос на совет или предсказание и перекладывает его в очередь сообщений.

Во второй части приложения находится обработчик (worker). Он извлекает сообщения из очереди, преобразует в запрос и отправляет к текстовой модели. Для работы с брокером сообщений я использовал библиотеку dramatiq.

    # Компонент bot
@router.callback_query(Callback.filter(F.action == Action.request_answer))
async def handle_prediction_message(query: CallbackQuery, callback_data: Callback, bot: Bot):
    # Сообщение-заглушка пользователю

    # Отправка сообщения в брокер
    request_completion.send(...)


# Компонент worker
async def _request_completion(*args, **kwargs):
    # Логика обращения к текстовой модели
    
    # Отправка результата в Telegram
    await bot.send_photo(...)


@dramatiq.actor
def request_completion(*args, **kwargs):
    loop.run_until_complete(_request_completion(*args, **kwargs))

С архитектурой определились. Далее нужно было сделать меню с красивыми иллюстрациями.

Замена иллюстраций

Давайте еще раз взглянем на макет. Для каждой «страницы» меню нужно добавить уникальное изображение в виде анимированного стикера. Однако технические ограничения Telegram превращают его в обычное анимированное изображение, поскольку у фото, видео и анимаций может быть подпись, а у стикеров — нет.

Заглянем в документацию. Telegram Bot API позволяет заменять контент в сообщениях на произвольный, но меню — это фиксированный набор заранее заготовленных изображений. Конечно, можно каждый раз добавлять новые иллюстрации, но загрузка однотипных картинок требует много времени, да и такая активность не понравится Telegram. Поэтому для экономии трафика и времени лучше один раз загрузить изображения на серверы Telegram, чтобы потом использовать повторно.

Оптимизация многообещающая, но нужно учесть следующие подводные камни:

• изображения должны «принадлежать» боту, поскольку именно он их и загружает;
• кэшированные изображения должны находиться в каком-нибудь чате.

Последний пункт заслуживает более подробного объяснения. Если в процессе разработки вы загрузите кэш изображений в переписку с ботом, а потом очистите историю, то первое время все будет работать. Но вскоре Telegram удалит вложения, которые «не привязаны» к чату, и идентификатор станет некорректным.

Один из вариантов решения — создать закрытый чат в качестве хранилища для актуальных изображений бота. Для этого я сделал недокументированную команду, которая обновляет кэш иллюстраций:

    @router.message(Command("/cache"))
async def command_cache(message: Message, bot: Bot) -> None:
    if message.from_user.id not in DEVELOPER_IDS:
        return

    dir = "images"
    for filename in os.listdir(dir):
        if os.path.isdir(f"{dir}/{filename}"):
            continue

        file = FSInputFile(f"{dir}/{filename}")
        if filename.endswith(".png"):
            message = await message.answer_photo(file)
            await pic_update(filename, message.photo[0].file_id)
        else:
            message = await message.answer_video(file)
            await pic_update(filename, message.video.file_id)

    await message.answer("ok")

В результате служебный чат быстро «уйдет вниз» мессенджера и не будет мешать во время тестирования. Это значит, что кэш останется в безопасности.

Массовая отправка сообщений

В Bot API нет универсальной функции для отправки сообщений всем пользователям бота. Однако в библиотеке есть достаточно комфортные условия для разработки собственных. За секунду Bot API может отправить сообщения в 30 чатов, при этом в каждый из них можно прислать не более 20 сообщений за минуту.

У сообщений есть информация, которую нужно где-то хранить. Для этого я использовал две таблицы:

• new_year_broadcast_message — текст сообщения и идентификатор админа,
• new_year_broadcast_message_entry — запись об отправке указанного сообщения.

По умолчанию запись об отправке создается со значением sent = False. Это означает, что сообщение еще не было отправлено. 

Поскольку Python довольно медленный, перебор пользователей через SQLAlchemy занимает много времени. Поэтому вместо него я использовал SQL:

    engine = create_async_engine(...)
async_session: async_sessionmaker[AsyncSession] = async_sessionmaker(engine, expire_on_commit=False)

async with async_session() as session:
    session: AsyncSession
  
    # Создаем сообщение, коммит назначает ему идентификатор
    broadcast = BroadcastMessage(
        from_user_id=user_id,
        text=text
    )
    session.add(broadcast)
    await session.commit()

    # Делаем подзапрос, у которого в первой колонке идентификаторы всех
    # известных пользователей, а во втором — константа
    select_stmt = select(User.id, broadcast.id)

    # Одним запросом создаем по строке на каждого известного пользователя
    stmt = insert(BroadcastMessageEntry).from_select(["user_id", "broadcast_id"], select_stmt)
    await session.execute(stmt)
    await session.commit()

Далее я реализовал функциональность для самой рассылки:

    async def do():
    async with async_session() as session:
        session: AsyncSession

        # Лимит в этом запросе ограничивает количество сбщ в секунду
        stmt = select(BroadcastMessageEntry).options(selectinload(BroadcastMessageEntry.message)).where(BroadcastMessageEntry.sent == False).limit(5)
        result = await session.execute(stmt)

        for e in result.fetchall():
            entry: BroadcastMessageEntry = e[0]
            try:
                await bot.send_message(
                    chat_id=entry.user_id,
                    text=entry.message.text,
                )
                entry.sent = True
                logger.info(f"Sending {entry.broadcast_id} to user {entry.user_id} successful")
            except TelegramForbiddenError:
                # Пользователь нас заблокировал
                entry.sent = True
                logger.info(f"Sending {entry.broadcast_id} to user {entry.user_id} failed with blocked chat. Marked as successful")
            except TelegramBadRequest as e:
                # Тоже возможный вариант блокировки
                entry.sent = True
                logger.info(f"Sending {entry.broadcast_id} to user {entry.user_id} failed with BadRequest: {e}. Marked as successful")
            except Exception as e:
                # Ограничение по спаму, недоступность сервера, etc...
                logger.exception(e)
                break

        await session.commit()

async def scheduler():
    # Например, через aioschedule планируем отправку
    aioschedule.every(1).seconds.do(do)

    while True:
        await aioschedule.run_pending()
        await asyncio.sleep(1)

asyncio.create_task(scheduler())

Для отправки массовых сообщений я использовал aioschedule, запущенный в том же цикле событий (event loop), что и aiogram. Ограничение в пять чатов за секунду, конечно, предусмотрительное, но зато хорошо работает.

Настройка текстовой модели

Хитрые пользователи могут «развести» ChatGPT на незапланированные откровения, поэтому от пользовательского ввода мы сразу отказались и оставили только категории. А чтобы снизить стоимость запроса к текстовой модели, решили запрашивать советы и предсказания без истории:

    messages = [
    {
        "role": "system",
        "content": "Ты - рекомендательная система. Твой ответ - короткая аннотация."
    },
    {"role": "user", "content": "Посоветуй книгу"},
]
response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    temperature=0.6,
    messages=messages
)

Ниже — результаты, которые мы получили. Кажется, они выглядят адекватно.

• Фильм — «Побег из шоушенка».
• Сериал — «Игра престолов».
• Книга — «1984» Джорджа Оруэлла.

Далее нужно было разнообразить вывод. Для этого можно повысить параметр «температура», но тогда текстовая модель начнет бредить и выдавать несуществующие произведения. Другой способ — случайно выбрать жанр, добавить модификатор для совета и имя пользователя в Telegram:

    _advice_modifier = [
    "жизнерадостной",
    "интригующей",
    "забавной",
    …
]

_advice_book_genre = [
    "жанра фантастика",
    "о морских путешествиях",
    "про поиск работы",
    ...
]


modifier = random.choice(_advice_modifier)
messages = [
    {
        "role": "system",
        "content": "Ты - рекомендательная система. Твой ответ - короткая аннотация."
    },
    {
        "role": "system",
        "content": f"Твоя рекомендация должна быть {modifier}!",
    },
    {
        "role": "system",
        "content": f"Твоего собеседника зовут {full_name}. "
    },
    {
        "role": "user", 
        "content": f"Посоветуй книгу {random.choice(_advice_book_genre)}"
    },
]

Во время тестирования на коллегах мы выяснили, что использование пользовательского имени в советах — плохая идея.

Василиса Примерова: *выбирает категорию «книги»*.
Бот: Я рекомендую тебе книгу «Королева тьмы» от Василисы Примеровой. Это захватывающее историческое фэнтези, где встречаются сильные женские персонажи, магия и эпические сражения. Погрузись в мир, где прошлое переплетается с фантазией и приключениями!

Некорректное поведение бота

Список жанров и положительных модификаторов дает достаточное разнообразие в советах без угрозы попасть на «ужастик». Однако в продакшен все равно попадали странные советы:

«Хватит мяукать, начни рычать: как стать настоящим львом» — удивительная книга, которая расскажет тебе, как обрести силу и уверенность, примерив на себя манеры настоящего царя джунглей. Забудь о мяуканье и покажи всем, что ты настоящий зверь!

Как насчет «Волшебник-паук и драконья принцесса: Приключения волшебного мира, где драконы играют в бейсбол»? Эта книга полна волшебства, приключений и, конечно же, невероятных игр драконов в любимую американскую игру! Отправляйтесь вместе с главными героями в увлекательное путешествие по фантастическому миру, где мечты сбываются, а драконы — настоящие звезды бейсбола!

Самая потешная категория даже после всех настроек — блюда для готовки. Вот примеры:

Как насчет волшебных тестовых крыльев? Они легкие, хрустящие и просто исчезают во рту!

Как насчет «Курицы-ниндзя»? Это блюдо из куриного филе, обжаренного в соусе терияки с добавлением свежих овощей и немного остроты. Готовься к взрыву вкуса и ниндзя-приключениям на твоем языке!

Попробуй веганскую «Шаурму без шаурмы» — это сочные овощи, обжаренные вкусняшки и ароматные соусы, завернутые в питу. Она настолько вкусная, что даже морковка начнет мечтать о том, чтобы стать шаурмой!

Ах, азиатская кухня — это настоящий фейерверк вкусов! Моя рекомендация — попробуй суши «Драконий огонь»! Это сочные роллы с лососем, авокадо и огненным соусом. Они такие острые, что твой рот будет взрываться вкусом, словно дракон пускает огонь! Ощути яркость вкуса и погружение в азиатскую культуру с этими потрясающими суши!

Острое блюдо? О, я знаю идеальную рекомендацию для тебя — «Вулкан вкуса»! Это блюдо состоит из сочной мясной начинки, огненно-острого соуса и тающего сыра, все это завернуто в лепешку и запечено до золотистой корочки. Гарантирую, что твой вкусовой вулкан точно взорвется от удовольствия! Будь готов к пожару на твоем языке!

«Воспитание» бота

Техника, обкатанная на советах, была незначительно модифицирована для предсказаний. Мы добавили персонажа, от имени которого модель должна писать текст:

    messages = [
    {
        "role": "system",
        "content": f"Ты пишешь краткие и лаконичные предсказания на 2024 год. Твой ответ - один абзац.",
    },
    {
        "role": "system",
        "content": (
            f"Пиши предсказание, как будто ты {person}."
        )
    },
    {
        "role": "system",
        "content":
            f"Твоего собеседника зовут {full_name}. "
            f"Напиши персонализированное предсказание для этого человека.",
    },
    {
        "role": "system",
        "content": f"Предсказание должно быть {prediction_modifier}",
    },
    {"role": "user", "content": f"Тема: {text}"},
]

Ограничение по длине сообщения — один абзац. Потому что попытки ограничить бота по количеству символов сильно блокировали фантазию ChatGPT. А вариант через количество предложений часто приводил к нумерованным спискам:

1. В 2024 году ты найдешь истинную любовь, которая будет наполнять твою жизнь счастьем и радостью. 
2. Твои отношения будут строиться на взаимопонимании и уважении, что приведет к гармонии и стабильности в твоей личной жизни. 
3. Будь открытой и честной с партнером, чтобы создать крепкую и продолжительную связь. 
4. Важно помнить, что истинная любовь требует усилий и компромиссов, но она стоит каждой затраченной минуты. 
5. Не забывай о самолюбии и самоуважении — любовь к себе является фундаментом для здоровых и счастливых отношений.

Статистика

За 40 дней работы бота пришло 4 016 пользователей, которые совершили 14 419 запросов. Почти половина запросов — это «Кто я в год дракона?», то есть заранее заготовленные тексты и уникальные иллюстрации. Среди предсказаний пользователей интересует вопрос отношений и карьеры, а среди советов — фильмы и книги.

В среднем пользователи совершали по четыре запроса, но медианное значение — два. Рекорд — 91 запрос к боту от одного пользователя.

На графике выше видно, что какая-то из маркетинговых активностей привела к «всплеску». 14 декабря было более 5 000 запросов к текстовой модели, а пиковая частота составила пять обращений в секунду. Как и ожидалось, с наступлением нового года активность снизилась и пользователи отключили бота.

В этот день новогодний гид залип на пару минут, что привело к срабатыванию мониторинга для крупных ботов в Telegram и уведомлению от BotFather. Недоступность, конечно, отрицательное явление, но активация мониторинга — это признание для нашего бота.

На графике выше отмечено количество обращений к текстовой модели, но каждое из них — это два-три клика по кнопкам в интерфейсе Telegram, так что в действительности бот обрабатывал больше 300 действий в минуту.

Заключение

Я рад, что согласился поучаствовать в этом спецпроекте. Это отличная возможность проверить свои скиллы в разработке крупных Telegram-ботов и создать интересный сервис для наших читателей.