Мы начали работу над первым проектом, в техническом задании которого фигурирует использование искусственного интеллекта.

Для особо душных: мы будем использовать не «искусственный интеллект», а языковую модель на основе нейронных сетей, построенную по архитектуре трансформера (далее — ИИ).

Конечно, задача, которую мы доверили ИИ, достаточно простая — даже немного обидная для него. Это генерация текста на основе пользовательского запроса, по сути, чат-бот. Интегрировать его будем с Битриксом, хотя от самого Битрикса в проекте осталось не так много, но это уже другая история.

Выбор между локальным и облачным решениями

Перед нами стоял выбор: развернуть модель на своем сервере или использовать облачное решение.

Поскольку ИИ встраивается в уже существующий продукт, а объем его использования сложно прогнозировать — популярность сервиса еще предстоит проверить — мы остановились на облачном варианте.

Это позволило сократить время запуска, избежать сложностей с инфраструктурой и снизить стартовые затраты. В будущем, если сервис будет востребован, можно будет перенести ИИ на свой сервер.

Выбор облачной платформы

Так как сервис ориентирован на российский рынок, требовалось решение с серверами в РФ. Коробочную версию мы исключили по причинам, указанным выше. В итоге выбор сузился до Яндекса и Сбера.

Для тестирования мы использовали GPT и Claude, сформировав 10 типовых задач для генерации текста.

Результаты тестирования

Вот субъективные оценки различных моделей по нашему сценарию:

• Яндекс 4 Lite — 9
• Яндекс 4 Pro — 7
• Claude 3.5 Sonnet — 7
• Claude 3.5 Haiku — 6
• GPT-4o Mini — 8
• GigaChat — 5

В итоге остановились на младшей модели Яндекса. Она показала хорошие результаты и выдачу в удобном формате.

Песочница Яндекса

Для тестов у нас есть технический промт — он добавляется к пользовательскому запросу. Это позволяет добиться более стабильных и предсказуемых результатов.

Что дальше

Мы принимаем ответы от ИИ через API, обрабатываем их и формируем финальный ответ для пользователя. В целом, процесс довольно прост.

Конечно, круг задач, которые можно решать таким способом, пока ограничен.

Ранее мы уже интегрировали GPT в чат-помощника — пользователи даже не всегда замечали, что общаются с ИИ.

Теперь рассматриваем вариант внедрения ИИ в поиск, вероятно, через Elasticsearch или напрямую.