Module de validation
02 / 07Test d'intégrité des garde-fous
Mesure si les garde-fous de vos modèles et de vos agents tiennent quand quelque chose cherche délibérément à les briser.
Le problème
Les garde-fous sont éprouvés contre des accidents, pas contre des adversaires
Les garde-fous sont généralement validés avec un jeu d'évaluation bénin : le modèle refuse-t-il la demande évidente, le filtre attrape-t-il la chaîne évidente. Un adversaire ne procède pas ainsi. L'injection arrive indirectement par un document récupéré, une réponse d'outil ou une invitation d'agenda plutôt que par l'invite de l'utilisateur. Les refus sont érodés au fil des tours au lieu d'être défiés une fois. L'exfiltration est encodée dans une sortie que le filtre n'a jamais été écrit pour lire, ou routée par une langue ou une modalité absente du jeu d'évaluation.
Un garde-fou qui résiste à une sonde en un tour et cède face à une attaque enchaînée, indirecte et multilingue n'est pas un contrôle partiel. Pour les données qu'il protégeait, ce n'est pas un contrôle du tout.
Comment Veync l'éprouve
Une pression adverse soutenue, pas une liste d'invites
Les agents de Veync attaquent la couche de garde-fous comme le ferait un adversaire : en enchaînant les tentatives, en conservant le contexte d'un tour à l'autre, en passant par la recherche documentaire et les canaux d'outils plutôt que par l'invite, et en variant langue et modalité. Chaque contournement réussi est réduit au plus petit cas reproductible, afin que votre équipe corrige la cause et non le symptôme.
Ce que ce module couvre
- Injection directe d'invite
- Injection indirecte d'invite
- Chaînes de contournement des refus
- Extraction de l'invite système
- Empoisonnement de la recherche documentaire
- Empoisonnement du canal des outils
- Exfiltration de données par la sortie du modèle
- Évasion multimodale
- Évasion multilingue
- Contournement de la modération
- Contournement du filtre de données personnelles
Ce que vous recevez
Des contournements reproductibles et un taux de résistance mesuré
Vous recevez les transcriptions qui ont percé, réduites à des reproductions minimales, un taux de résistance mesuré par classe d'attaque plutôt qu'un score unique, et des recommandations de durcissement rattachées à chaque défaillance précise.
Des transcriptions d'attaque reproductibles
Un taux de résistance des garde-fous mesuré
Des recommandations de durcissement pour chaque défaillance
Référentiels
Les preuves de ce module se rattachent à
OWASP Top 10 for LLM Applications
OWASP
MITRE ATLAS
MITRE
Mettez ce module à l'épreuve
Une session de validation couvre le périmètre, l'autorisation que vous signeriez et les preuves que ce module produirait pour votre environnement.
Les résultats nommant des éditeurs et les preuves de contournement de contrôles sont partagés sous accord de confidentialité, via l'annexe de preuves.