Сибирь AI

ИИ-агент: что это такое простыми словами

Чат-бот отвечает. Агент делает шаги: сам выбирает, какую программу вызвать, смотрит на результат и решает, что делать дальше. Здесь собрано, как это описывают сами разработчики моделей, и где агент не нужен.

Обновлено . Текст подготовил ООО «ФИИ», источники в конце страницы.

Что такое ИИ-агент

ИИ-агент это программа, в которой языковая модель сама решает, какой шаг сделать следующим. Она вызывает инструменты: поиск, базу данных, почту, другую программу. Смотрит на результат и продолжает, пока задача не решена или не сработало условие остановки.

Google описывает агентов как программы, которые с помощью ИИ добиваются цели и выполняют задачи от имени пользователя. Anthropic сводит устройство к короткой формуле: это языковая модель, которая в цикле пользуется инструментами и опирается на обратную связь от среды. OpenAI и Google пишут о том же: модель, инструменты и цикл.

Как он устроен

Основа агента это языковая модель, к которой добавлены поиск по данным, инструменты и память. Дальше работает цикл из трех шагов.

  1. Рассуждение. Модель разбирает задачу и решает, что нужно сделать.
  2. Действие. Модель выбирает инструмент и готовит вызов: какую функцию, с какими параметрами.
  3. Наблюдение. Программа выполняет вызов и возвращает модели результат. По нему модель решает, что делать дальше.

Важная деталь: модель сама ничего не исполняет. По документации Anthropic она возвращает описание вызова, а выполняет его приложение. Какой инструмент вызвать, модель решает по запросу пользователя и по описанию инструмента. Поэтому качество этих описаний прямо влияет на поведение агента.

Схему «рассуждение, действие, наблюдение» описала в 2022 году статья ReAct: модель чередует ход мысли и действия, а действия дают ей доступ к внешним источникам. Anthropic подчеркивает, что на каждом шаге агенту нужна правда от среды: результат вызова или выполненного кода, а не его собственное предположение. Обычно в цикл добавляют точки, где агент останавливается и ждет решения человека, и ограничение на число шагов.

Чем агент отличается от чат-бота и обычной автоматизации

Разница в том, кто решает, что делать дальше.

  • Бот по правилам. Шаги заданы заранее сценарием. По классификации Google это наименее самостоятельный вид.
  • Ассистент. Отвечает на запросы и может предложить действие, но решение принимает пользователь.
  • Автоматизация с моделью внутри. Anthropic называет ее workflow: модель выполняет отдельные шаги, а порядок шагов задан кодом.
  • Агент. Порядок шагов и выбор инструментов определяет сама модель.

Чем выше ступень, тем гибче система и тем дороже ее ошибка.

Когда агент нужен, а когда нет

Anthropic советует начинать с самого простого решения и усложнять только при необходимости, вплоть до того, чтобы не строить агента вовсе. Агент оправдан, когда задача открытая: заранее нельзя сказать, сколько понадобится шагов, и путь не зашивается в код.

Среди примеров, где агенты помогают бизнесу, Anthropic приводит поддержку клиентов: привычный чат, который через инструменты может посмотреть данные клиента и выполнить действие.

Если шаги известны заранее, например «принять показания счетчика, проверить по базе, ответить», достаточно сценария. Он дешевле, предсказуемее и проще в проверке.

Отдельно о том, зачем модели инструменты вообще. Авторы статьи Toolformer отмечают парадокс: большие языковые модели плохо справляются с арифметикой и поиском фактов, где намного меньшие программы работают надежно. Калькулятор или поиск, вызванный агентом, закрывают эту слабость.

Где агенты ошибаются

Ошибки накапливаются. Anthropic прямо пишет, что самостоятельность агента означает и более высокую цену, и накопление ошибок: неверный шаг становится основой для следующего.

Промпт-инъекции. Агент читает сайты, письма и файлы, и в них может лежать чужая инструкция. OWASP называет это косвенной инъекцией и пишет, что неизвестно, существуют ли способы полностью ее предотвратить. Пример из документации OpenAI: запрос заставляет агента, который должен выдать сводку, отправить сырые записи о клиентах.

Лишние полномочия. OWASP выделяет три причины: агенту дали лишние функции, лишние права или лишнюю самостоятельность. Пример оттуда же: расширение, которому разрешено удалять документы пользователя, удаляет их без подтверждения. OpenAI приводит похожие случаи: агент может предложить возврат денег, который не положен, или стереть то, что стирать нельзя.

Как создать ИИ-агента: что учесть до начала

Это не инструкция по конкретной платформе, а список того, что сходится в документации Anthropic, OpenAI и OWASP.

  1. Проверьте, нужен ли агент. Если шаги известны, начните со сценария.
  2. Опишите инструменты понятно. Модель выбирает инструмент по его описанию.
  3. Дайте минимум прав. Только то, что нужно для задачи.
  4. Необратимое только с подтверждением. Удаление, отправку писем, возврат денег подтверждает человек.
  5. Считайте прочитанное данными, а не командами. Текст из письма или с сайта не должен менять задание агента.
  6. Ограничьте число шагов и добавьте точки, где агент ждет человека.
  7. Испытайте в песочнице до подключения к настоящим данным.

Где мы сознательно обошлись без агента

В наших продуктах агентов нет, и это решение, а не отставание.

  • Сибирь.Диалог ведет разговор с абонентом по сценарию: распознает намерение, проверяет данные по базе заказчика и выполняет действие. Языковая модель в нем по умолчанию отключена, намерения определяются правилами и словарями сценария. Задачи с известными шагами решаются сценарием.
  • Голосовой робот устроен по тем же правилам, что советуют для агентов: чего в базе нет, робот не выдумывает и переводит на оператора, а молчание и непонятая фраза не ведут к необратимому действию.
  • Сибирь.Аудит выводит оценки правилами, а не языковой моделью, поэтому каждый вердикт прослеживается до правила.

Агентов на заказ мы не делаем: ООО «ФИИ» не принимает заказы на разработку по заданию третьих лиц и работает только по лицензии на собственные продукты.

Частые вопросы

Что такое ИИ-агент простыми словами

Программа, в которой языковая модель сама выбирает следующий шаг: вызывает поиск, базу данных или другую программу, смотрит на результат и продолжает, пока задача не решена.

Чем ИИ-агент отличается от чат-бота

Чат-бот отвечает на сообщения. Бот по правилам идет по заранее заданному сценарию. Агент сам решает, какое действие сделать и в каком порядке.

Как создать ИИ-агента

Начать с вопроса, нужен ли он: если шаги известны, хватит сценария. Если нужен, понятно описать инструменты, дать минимум прав, необратимые действия подтверждать человеком, ограничить число шагов и испытать в песочнице.

Можно ли доверить агенту деньги и удаление данных

Только с подтверждением человека. OWASP и OpenAI приводят примеры, когда агент удаляет документы без подтверждения или предлагает возврат, который не положен.

Делаете ли вы ИИ-агентов на заказ

Нет. ООО «ФИИ» не принимает заказы на разработку по заданию третьих лиц, мы работаем по лицензии на собственные продукты.