В систему поселений и репутации могут войти только подконтрольные Агенты.
Чем сильнее потенциал, тем более жесткие границы необходимы: какие результаты могут быть только намечены, какие действия должны быть HITL и какие данные никогда не покинут домен. Граница состоит не в том, чтобы ограничить инновации, а в том, чтобы превратить LLM из «неподотчетного черного ящика» в «защищаемый компонент» — в отличие от Copilot, который только рекомендует, а пользователь несет полную ответственность, WCN должна явно разделять обязанности на сетевом уровне.
Что может делать агент (разрешенный набор)
Что Агент не может делать (запрещенный набор)
Матрица рисков (упрощенная)
| Риск | Производительность | Идеи контроля |
|---|---|---|
| Иллюзия | Сфабрикованные дела, неправильные законы, неправильные названия компаний | Обязательное предложение; выведите «неизвестно», если не уверены; проверка правил ключевых полей |
| Оперативная инъекция | Вредоносные веб-страницы/файлы PDF, вызывающие утечку информации или несанкционированный доступ | Изоляция инструмента; ненадежная изолированная среда для контента; исходящие действия HITL |
| Утечка данных | Обучение или журналы отнимают конфиденциальность | Классификация данных; лог десенсибилизации; очистка ключей после выхода на пенсию |
| Чрезмерная автономность | Бесконечные циклы и сборы в стиле AutoGPT | Бюджет уровня задачи и ограничение шага; нет задачи, значит, нет работы |
| Неоднозначные обязанности | Я не знаю, кто это одобрил, если что-то пошло не так | Запись о принятии + цепочка утверждений + номер модели/подсказки |
Без границ ИИ — это не более сильный исполнительный уровень, а рычаг, который увеличивает количество ошибок, особенно в ответственных процессах копирайтинга и финансирования.
Разграничение обязанностей с помощью Microsoft Copilot/Universal Assistant
Общие положения и условия Copilot предусматривают: Рекомендуется, чтобы пользователь отвечал за проверку. Сторона сети WCN также должна обеспечивать многостороннюю атрибуцию: поэтому границы агента должны быть прописаны в политиках типов и контрактах задач, а не полагаться исключительно на самодисциплину конечного пользователя.
Что нужно WCN, так это агент, которого можно объяснить, который будет подотчетен и который сможет войти в PoB; «модель говорит это» не может рассматриваться как узел, говорящий это.
Откровение TradFi: автоматизация останавливается перед цепочкой принятия решений
Системы типа COIN обрабатывают большие объемы анализа документов, и кредитные решения по-прежнему подлежат политике банка и проверке людьми; Аладдин подчеркивает, что уровни риска одинаковы, и управляющие портфелем по-прежнему несут инвестиционную ответственность. WCN придерживается того же принципа: **Агент сглаживает противоречия и не заменяет полномочия подписи. **
Одно предложение для принятия продукта: Если вы удалите Агента, бизнес-процесс по-прежнему легален и его можно будет запустить, но он будет медленнее — граница примерно правильная. Если процесс удаления Агента не может замкнуть цикл, это означает, что человеческая связь была чрезмерно разрушена.