Avancé
Agents IA avancés : documents, outils et évaluation
Concevoir un assistant documentaire dont les sources, les actions et les limites peuvent être examinées. Le parcours proposé aborde les API, la recherche documentaire, l’évaluation et la supervision d’un système connecté.
Votre point de départ.
Votre premier workflow fonctionne sur quelques exemples. Vous devez le confronter à un corpus documentaire, à des droits d’accès et à des erreurs que vous ne pouvez pas ignorer.
Pour qui ?
- Profils techniques
- Professionnels expérimentés
- Responsables de projets IA
Ce que vous apprendrez.
- Définir un contrat d’outil et contrôler les données échangées avec une API.
- Préparer un corpus, conserver ses versions et associer une réponse à des passages identifiables.
- Appliquer les droits d’accès au moment de la recherche et de l’utilisation des outils.
- Construire un jeu d’évaluation incluant des réponses absentes, des sources contradictoires et des instructions malveillantes dans un document.
- Lire les traces utiles, suivre les coûts et décider d’une reprise ou d’un arrêt.
- Documenter les résultats mesurés et les conditions de supervision avant un déploiement.
Les prérequis.
- Savoir construire et tester un workflow avec validation humaine.
- Comprendre les notions de requête HTTP, d’API, de clé d’accès et de structure JSON.
- Savoir lire et adapter un script simple ; l’environnement et le langage retenus seront indiqués avant inscription.
- Avoir suivi Construire ses premiers agents IA ou disposer de compétences équivalentes.
Le programme proposé.
Décrire l’architecture et les accès
Séparer modèle, recherche et outils ; définir les utilisateurs autorisés, les données accessibles et les actions permises.
Préparer la recherche documentaire
Découper et indexer un corpus de test, conserver les identifiants des passages et examiner les effets d’une mise à jour.
Relier une réponse à ses sources
Limiter la réponse au corpus autorisé, ouvrir les passages cités et prévoir une réponse explicite quand l’information manque.
Connecter des outils sous contrôle
Valider les paramètres, isoler les secrets et empêcher un document de modifier les permissions ou les consignes du système.
Évaluer et superviser
Mesurer les réponses sur un jeu de cas, inspecter les traces, prévoir les reprises et fixer des limites de coût et d’exécution.
Documenter le projet
Présenter le système, les résultats de test, les défauts connus et les conditions nécessaires à son utilisation.
Votre projet final.
Construire un assistant documentaire sur un corpus fictif, avec références ouvrables et outils de test. Le dossier final comprendra le contrat d’accès, les cas d’évaluation, les traces d’exécution et les limites observées.
Comment les acquis seront évalués.
Évaluation envisagée : examen de l’architecture et exécution du jeu de tests, notamment source retirée, réponse absente, erreur d’API et demande hors droits. Les résultats devront être reproductibles. Les modalités définitives seront précisées à l’ouverture.
Matériel et outils.
- Ordinateur permettant d’utiliser un environnement de développement, navigateur à jour et connexion internet.
- Éditeur de code et environnement de test ; versions et installation requises seront précisés avant inscription.
- Accès API à un modèle et outil de recherche documentaire. Abonnements, limites et budget de test seront annoncés avant l’ouverture.
- Corpus fictif ou autorisé, sans accès à des documents clients nécessaire au projet.
Aucun abonnement payant n’est inclus par défaut. Les éventuels outils et coûts seront précisés avant l’ouverture du programme.
Attestation envisagée.
L’éventuelle attestation de réalisation et ses conditions seront précisées avant ouverture. Aucune certification RNCP ou RS, reconnaissance d’éditeur ni éligibilité CPF n’est annoncée.