Могут ли ИИ-агенты работать локально? Локальные модели для малого бизнеса
Да, ИИ-агенты могут работать локально. ИИ-модель, на которой работает агент, может запускаться на вашем компьютере, а не в ИИ-компании в интернете. Тогда ваш текст вообще не выходит за пределы вашего здания. Стоит ли это делать малому бизнесу, зависит от того, насколько чувствительны ваши данные и насколько сложны задачи.
Что значит «локально»
ИИ-агент это ИИ, который выполняет за вас задачи, например кратко пересказывает договор или сортирует входящие письма. Думает за него ИИ-модель, большая программа, которая читает и пишет текст. Большинство людей пользуются моделями, которые работают в ИИ-компании. Вы отправляете текст по интернету, и ответ возвращается.
Локальная модель работает иначе. Вы скачиваете модель и запускаете её на своей машине. Некоторые модели можно скачать бесплатно именно для этого. Их часто называют моделями с открытым кодом, open-source.
Зачем бизнесу это нужно
Обычная причина это конфиденциальность. Юридическая фирма, медицинская практика или компания со строгими договорами с клиентами могут не хотеть, чтобы определённые документы вообще покидали дом. Локальная модель это позволяет.
Для большей части повседневной работы это не нужно. ИИ-компании предлагают договоры, которые определяют, как обращаются с вашими данными, и многие компании прекрасно работают с ними.
Три способа запускать модель
| В ИИ-компании | Выделена для вас | На вашей машине | |
|---|---|---|---|
| Где работает | В интернете, вместе с другими клиентами | В дата-центре, только для вашей компании | В вашем офисе |
| Куда попадает ваш текст | К ИИ-компании | В вашу выделенную область | Никуда за пределы |
| Что нужно | Аккаунт | Договор и немного настройки | Мощный компьютер и тот, кто за ним присматривает |
Средний вариант часто называют private endpoint, то есть закрытая точка доступа. Это частый выбор для компаний, которым нужно больше контроля, но которые не хотят сами управлять машинами.
Что хорошо умеют локальные модели и что им нужно
Модели, которые помещаются на обычный рабочий компьютер, меньше самых больших моделей в интернете. Для многих повседневных задач этого хватает: пересказывать документы, сортировать и помечать, вытаскивать дату или сумму из текста, писать короткие ответы. Длинные задачи из многих шагов им даются тяжелее, и их нужно сначала проверить.
Важен и компьютер. Небольшая модель может работать на современном ноутбуке. Модели, которая обслуживает всю команду с комфортной скоростью, нужна отдельная мощная машина.
Четыре вопроса перед решением
- Какие данные вас беспокоят? Если один вид, например личные дела сотрудников, локальная модель нужна только для задач, которые их касаются.
- Что именно от вас требуется? Часто правило касается региона и договора. Выделенная модель в нужном регионе тоже может его выполнить.
- Насколько сложны задачи? Попробуйте их на небольшой модели, прежде чем что-то покупать.
- Кто за этим присматривает? Обновления и ремонт это постоянная работа, и кто-то должен её делать.
Не обязательно выбирать одно для всего
Многие компании комбинируют. Локальная или выделенная модель занимается несколькими задачами с чувствительными материалами, а модель в ИИ-компании остальными. Это работает, когда ваша программа позволяет выбирать модель отдельно для каждого агента.
Как с этим работает Worknano
В Worknano модель это настройка каждого агента. Можно начать с управляемых моделей, и собственное ИИ-оборудование не потребуется. Если этого требует ваша компания, можно подключить выбранную вами модель, в том числе локальную, open-source или закрытую точку доступа вашей компании, в зависимости от вашего развёртывания. При региональном хостинге в ЕС, США или APAC данные workspace и обработка ИИ остаются в этом регионе. Отдельный экземпляр только для вашей компании или установка на ваших серверах доступны в тарифе Enterprise.