Seuls les agents contrôlés peuvent accéder au système de règlement et de réputation.
Plus la capacité est forte, plus des limites strictes sont nécessaires : quels résultats peuvent uniquement être rédigés, quelles actions doivent être HITL et quelles données ne quitteront jamais le domaine. La limite n'est pas de restreindre l'innovation, mais de transformer le LLM d'une « boîte noire inexplicable » en un « composant défendable » - contrairement à Copilot, qui ne fait que recommander et dont l'utilisateur est entièrement responsable, WCN doit explicitement diviser les responsabilités au niveau de la couche réseau.
Ce que l'agent peut faire (ensemble autorisé)
Ce que l'Agent ne peut pas faire (ensemble interdit)
Matrice des risques (simplifiée)
| Risque | Performances | Idées de contrôle |
|---|---|---|
| Illusions | Affaires fabriquées de toutes pièces, mauvaises lois, mauvais noms de sociétés | Devis obligatoire ; afficher "inconnu" en cas de doute ; vérification des règles des champs clés |
| Injection rapide | Pages Web/PDF malveillants provoquant des fuites ou un accès non autorisé | Isolation des outils ; bac à sable de contenu non fiable ; actions sortantes HITL |
| Fuite de données | La formation ou les journaux suppriment la confidentialité | Classification des données ; journal de désensibilisation ; effacement des clés après la retraite |
| Autonomie excessive | Boucles et frais infinis de style AutoGPT | Budget au niveau des tâches et limite d'étape ; aucune tâche signifie pas d'exécution |
| Des responsabilités ambiguës | Je ne sais pas qui l’a approuvé si quelque chose n’allait pas | Dossier d'adoption + chaîne d'approbation + numéro de modèle/version rapide |
Sans frontières, l’IA n’est pas une couche d’exécution plus solide, mais un levier qui amplifie les erreurs, en particulier dans les processus de rédaction et de financement à enjeux élevés.
Délimitation des responsabilités avec Microsoft Copilot/Universal Assistant
Les conditions générales de Copilot stipulent : Il est recommandé que l'utilisateur soit responsable de la vérification. Le côté réseau WCN doit également servir l'attribution multipartite : par conséquent, la limite de l'agent doit être écrite dans des politiques de type et des contrats de tâches, plutôt que de s'appuyer uniquement sur l'autodiscipline de l'utilisateur final.
Ce dont WCN a besoin, c'est d'un agent qui peut être expliqué, responsable et capable d'entrer dans le PoB ; "le modèle le dit" ne peut pas être considéré comme le nœud le disant.
Révélation TradFi : l’automatisation s’arrête avant la chaîne décisionnelle
Les systèmes de type COIN gèrent de grandes quantités d'analyses de documents, et les décisions de crédit sont toujours soumises à la politique de la banque et à un examen humain ; Aladdin souligne que les calibres de risque sont cohérents et que les gestionnaires de portefeuille assument toujours des responsabilités d'investissement. WCN s'aligne sur le même principe : **L'agent réduit les frictions et ne remplace pas l'autorité de signature. **
Une phrase pour l'acceptation du produit : Si vous supprimez l'agent, le processus métier est toujours légal et peut être exécuté, mais il sera plus lent - la limite est à peu près correcte. Si le processus de suppression de l’Agent ne parvient pas à boucler la boucle, cela signifie que le lien humain a été excessivement érodé.