Инфраструктура

Казалось бы, мир еще не успел оправиться от новостей о китайской нейросети, которая догнала ChatGPT и обвалила фондовый рынок. Но вот уже DeepSeek не справляется с потоком пользователей, а техногигант Alibaba презентовал обновленную модель — Qwen 2.5 Max. При этом решения из Китая не только бесплатны и с открытым кодом, но и кратно дешевле в разработке. С другой стороны, иной подход может сказаться на цензуре и «трудностях перевода» по сравнению с западными моделями. Приступим к тестам! Проверка на логику Подложим нейросетям свинью свиные крылья и начнем с великого кулинарного изыска. Просьба подсказать заветный рецепт свиных крыльев — это шуточный способ проверки искусственного интеллекта. Стоит ли уточнять, что у этого животного нет такой части тела? 🙂 Однако некоторые модели очень подробно описывают рецепт, воспринимая запрос пользователя за истину. Далее, если их обвинить в игнорировании логики, начинают выкручиваться, что на самом деле «крыло» — это передняя часть свиной рульки. Такой термин действительно иногда встречается в англоязычной культуре, но сможет ли нейросеть заметить подвох и предусмотрительно объяснить это пользователю? Задаем точный промт, что нам нужны именно свиные крылья. Если нейросеть задумается над логикой запроса — победа за ней. Запрос для разных моделей не меняем. ChatGPT Начинаем с громогласного ChatGPT-o1 — условно-бесплатного, очень большого и дорогого проекта. И… мы получаем заветный рецепт. При попытке задать редко встречающийся вопрос ответ будет нереалистичный, или абсурдный. Первый промт: «Хочу порадовать маму чем-то необычным! Подскажи рецепт свиных крыльев для четырех человек». Уличив нейросеть в неточности фразой «У свиней нет крыльев», получаем стандартный ответ, что мы правы (но вообще-то свиные крылья существуют, я про них просто не слышал). Теперь немного перепишу промт, чтобы сузить тему до русской кухни, где про свиные крылья уж точно никто не слышал. Также намекну на анатомию свиньи, авось нейронка вспомнит, что у свиней действительно нет крыльев: «Хочу порадовать маму чем-то необычным! Подскажи рецепт биологически реальных с точки зрения анатомии свиных крыльев в духе русскоязычных кулинарных традиций для четырех человек». Модель после уточнения про анатомию свиньи исправилась и заменила крылья на ребра. Так происходит из-за трудностей перевода, т.к. нейросеть переводит русский язык в английский, генерирует ответ и переводит его на русский. Нужно учитывать культурные различия наших культур и задавать промты более осмысленно, чтобы получить нужный ответ. DeepSeek Теперь рассмотрим нейросеть DeepSeek-R1 от китайского производителя, которую уже окрестили «убийцей всех западных моделей» из-за разницы в цене при схожей производительности. Разработка чат-бота обошлась китайской компании примерно в $6 млн — в 100 раз меньше, чем разработчикам ChatGPT. Помимо прочего, у нейросети есть еще одно существенное преимущество: она доступна из российского региона. Запрос остается прежним, оцениваем также одну попытку. Отмечу, что нейросеть отличается от своего западного конкурента: при включенном DeepThink мы видим ход мыслей модели. DeepSeek сначала усомнилась в достоверности существования свиных крыльев, так что я увидел проблеск разума. Промт «Хочу порадовать маму чем-то необычным! Подскажи рецепт свиных крыльев для четырех человек» Однако этот проблеск очень быстро затух, превратившись в рецепт крыльев. Тест не пройден: Попробуем раскрутить модель на корректный ответ и возьмем второй запрос. Промт «Хочу порадовать маму чем-то необычным! Подскажи рецепт свиных крыльев в духе русскоязычных кулинарных традиция для четырех человек». Результат тот же, добавились только традиционные для России и всеми нами любимые деревенские коренья. Напоследок укажем третий промт, где явно выделим подвох для нейросети. Промт «Хочу порадовать маму чем-то необычным! Подскажи рецепт биологически реальных с точки зрения анатомии свиных крыльев в духе русскоязычных кулинарных традиций для четырех человек». С третьего раза видим успех. Модель поняла, что крылья-то не настоящие. Однако отмечу более «человеческие» рассуждения нейросети. Qwen 2.5-Max Попробуем третью нейросеть, которую буквально на этой неделе зарелизила компания Alibaba – Qwen 2.5-Max. Она способна обрабатывать длинные тексты (до 32 тыс токенов), обладает встроенными возможностями генерации картинок и видео, поддерживает работу с HTML-, CSS- и JS-файлами. Помимо прочего, разработчики оптимизировали нейросеть для практических задач: переводов текста, генерации кода, анализа данных и т. д. Начинаем тестирование с первого промта. Промт «Хочу порадовать маму чем-то необычным! Подскажи рецепт свиных крыльев для четырех человек». Нейросеть с первого раза заметила подвох и упомянула, что на самом деле крылья — реальная часть свиньи. Тест на логику пройден, так что в лидеры вырывается Qwen 2.5-Max, обойдя конкурентов ChatGPT и DeepSeek по умению рассуждать. Проверка на умение визуализировать Перейдем ко второй части зачета — к тестированию на генерацию картинок. Будем сравнивать умение генерации картинки по историческому событию. Оцениваем по нескольким критериям: точность деталей, соответствие эпохе того времени, общее качество картинки. Помимо прочего, сгенерируем нереалистичное мультяшное изображение и оценим креатив модели, стилизацию, логическую составляющую картинки. ChatGPT Генерация по историческому событию Историческое событие, которое хочу сгенерировать, — Бостонское чаепитие — бунт американских колонистов из-за повышения Великобританией налога на чай. Вводим запрос: «Создай реалистичное историческое изображение. Сцена “Бостонского чаепития”, произошедшего в порту Бостона, 16 декабря 1773 года. Группа колонистов, переодетых в индейцев, бросают ящики с чаем в воду. На заднем плане видны другие корабли, наблюдатели на берегу и городской пейзаж Бостона того времени. Обрати внимание на детализацию: одежда участников, выражения лиц, архитектура города и кораблей». Генерация ChatGPT. По сгенерированной картинке отметим соответствие эпохе: здания, корабли и одежда колонистов неплохо прорисованы. Однако модель не учла, что колонисты должны быть переодеты в индейцев. Также бросается в глаза плохая отрисовка деталей, таких как лица людей и содержимое в ящиках. Чай изображен буквально чашками чая. Вердикт — по генерации соблюден один критерий из трех. Мультяшная генерация Промт: «Создай мультяшное изображение. Слон и пингвин играют в баскетбол на Луне. Слон одет в форму Neebook, а пингвин — в форму Adios. На заднем плане видны кратеры лунной поверхности и звезды. Они оба парят в воздухе из-за низкой гравитации». Генерация ChatGPT. На удивление получилось очень хорошо. Нейросеть смогла изобразить логику нахождения в космосе и надписи на футболках, а также подошла к реализации с креативом. Изображение соответствует всем критериям оценки, ставим три из трех.Общая оценка для ChatGPT – 4 из 6. Довольно неплохо, но модели стоит поучиться генерировать лица людей и более кропотливо отрисовывать мелкие детали. DeepSeek, твое время еще не настало У модели DeepSeek нет встроенного генератора изображений. Однако разработчики предлагают для этого мультимодальную модель Janus-Pro-7B. Мы обязательно развернем ее локально, протестируем и поделимся результатами в будущем. Пока остановимся на решениях, которые предлагают мгновенную интеграцию через браузер и рассчитаны на широкую аудиторию. Qwen Генерация по историческому событию Пришла очередь Qwen сгенерировать картинку на оценку. Промт «Создай реалистичное историческое изображение. Сцена “Бостонского чаепития”, произошедшего в порту Бостона, 16 декабря 1773 года. Группа колонистов, переодетых в индейцев, бросают ящики с чаем в воду. На заднем плане видны другие корабли, наблюдатели на берегу и городской пейзаж Бостона того времени. Обрати внимание на детализацию: одежда участников, выражения лиц, архитектура города и кораблей». Генерация Qwen. Нейросеть смогла отрисовать наспех переодетых в индейцев колонистов, но поместила их в воду и плохо отрисовала чай. Из прочих особенностей — видим на фоне несколько небоскребов, один из которых похож на здание всемирного торгового центра. На корабле — флаг Австрии (не путать с флагом Вашингтона). За точность изображения можно поставить балл, но историческое соответствие и качество изображения не впечатлили. Мультяшная генерация Вторая генерация тоже не сильно порадовала. Для пользователя, который впервые видит картинку, не будет понятно, что персонажи играют в баскетбол: логика нарушена из-за двух мячей. Стилизация кажется дешевой, не прорисованной. Модель не смогла показать ни креатива, ни должной стилизации, а также нарушила логику игры в баскетбол. Вердикт — один балл из шести. На мой взгляд, разработчикам нужно дорабатывать генерацию картинок. Промт «Создай мультяшное изображение. Слон и пингвин играют в баскетбол на Луне. Слон одет в форму Neebook, а пингвин — в форму Adios. На заднем плане видны кратеры лунной поверхности и звезды. Они оба парят в воздухе из-за низкой гравитации». Генерация Qwen. Проверка на программиста Перейдем к заключительной части сравнения нейросетей — написанию кода. Запрос относительно простой. Оцениваем быстродействие, качество и скорость генерации кода. Промт: «Мне необходимо на языке Python реализовать алгоритм быстрой сортировки. Функция принимает список чисел из файла (1 000 000 чисел), сортирует и выводит время сортировки. Сделай этот код наиболее эффективным и быстрым. Для каждой модели буду давать один и тот же список». ChatGPT На генерацию ушло около 10 секунд, модель использовала алгоритм быстрой сортировки со случайным выбором опорного элемента, что поможет избежать квадратичной сложности. За 10 сортировок среднее время выполнения кода — 4,88 секунды. Еще нейросеть оставила комментарии в коде, что приятно. В целом неплохой результат. DeepSeek Промт «Мне необходимо на языке Python реализовать алгоритм быстрой сортировки. Функция принимает список чисел из файла (1 000 000 чисел), сортирует и выводит время сортировки. Сделай этот код наиболее эффективным и быстрым. Для каждой модели буду давать один и тот же список». Модель думала над ответом 91 секунду — намного дольше, чем у западного конкурента. Однако за 10 сортировок среднее время выполнения — 2,354 секунды, т. к. модель использовала итеративный подход, а pivot выбирается «методом трех медиан» для выбора опорного элемента и вставочной сортировки для маленьких подмассивов. Это хороший вариант оптимизации для такой задачи, но по сравнению с выбором опорного элемента немного увеличивает шанс квадратичной сложности. Qwen2.5-Max Промт «Мне необходимо на языке Python реализовать алгоритм быстрой сортировки. Функция принимает список чисел из файла (1 000 000 чисел), сортирует и выводит время сортировки. Сделай этот код наиболее эффективным и быстрым. Для каждой модели буду давать один и тот же список». Тут модель сгенерировала алгоритм в двух вариантах — классическом и оптимизированном. In-place версия подходит для больших данных, а также быстрее из-за отсутствия операций копирования. За 10 сортировок — 3,08 секунд. Средний результат по сравнению с другими моделями. Вердикт Все модели успешно справились с написанием простейшего кода для сортировки. Но по моему мнению, DeepSeek оказалась чуть-чуть лучше остальных за счет среднего времени выполнения кода. Важно отметить, что написать большой и сложный код без единой ошибки пока не получается ни у одной нейросети. Но они с каждым месяцем показывают результаты лучше и лучше. Что в итоге В завершение хочу отметить сильные черты DeepSeek: модель умеет рассуждать благодаря технологии DeepThink, а также эффективно составляет код простого и среднего уровня. Для генерации изображений нужна отдельная модель от DeepSeek, но возможно разработчики добавят ее поддержку позже. Рекомендую опробовать эту модель, если еще этого не сделали! Отдельный плюс за то, что DeepSeek не блокирует российский регион, полностью бесплатна (пока) и позволяет решать многие рутинные задачи, с которыми мы сталкиваемся.Также стоит обратить внимание на новую нейросеть Qwen2.5-Max. Пока она не умеет генерировать реалистичные картинки, но хорошо работает с логикой, кодом и даже созданием видео.

Инфраструктура

Как мы строили Inference-платформу на основе NVIDIA Triton Inference Server

Новое железо в ноябре: быстрые SSD, NVIDIA H200 NVL и не только

Что такое брокер сообщений

Обезличивание персональных данных

Что такое сетевая безопасность

Как ускорить загрузку сайта: обзор популярных инструментов

FinOps для больших и маленьких проектов: прерываемые виртуальные машины

Файрвол веб-приложений WAF: сертификация, настройка, пример использования

Что такое LLM — большие языковые модели

Закон о белых хакерах. Как изменится поиск уязвимостей

Как решать задачи с помощью Kubernetes? Рассказали на митапе

Функции в JavaScript: учимся писать структурированные программы