Mesurer l'IA ne suffit pas : il faut mesurer ce qu'elle livre

Les tableaux de bord IA savent compter les tokens. Ils savent beaucoup moins dire si une équipe livre mieux.

Les annonces des 22 et 23 octobre changent pourtant la granularité du pilotage : on peut distinguer les clients, les skills, les agents et les serveurs MCP réellement utilisés.

En parallèle, les contrôles d'identité, les secrets, le calcul confidentiel et la conformité locale deviennent des sujets de plateforme, pas des annexes de projet.

La question pour un CTO ou une ESN n'est plus : combien d'IA utilisons-nous ? C'est : quelle capacité de livraison démontrable avons-nous créée ?

⚡ Le signal de la semaine — La télémétrie descend au niveau des agents, des skills et des outils

Le 22 octobre, GitHub a commencé à exposer les noms des skills, agents personnalisés, serveurs MCP, commandes et plugins dans les rapports d'usage Copilot. Le 23, l'API a ajouté totals_by_client : requêtes, sessions et tokens par client, notamment OpenCode, Codex ou Claude Code lorsque Copilot sert de fournisseur de modèles. Ce sont deux nouveautés distinctes, et non un nouveau benchmark de productivité.

Pourquoi c'est important. Une direction Engineering peut enfin voir quels composants de son harnais sont adoptés et quels outils consomment le budget modèle. Techniquement, il devient possible de croiser inventaire des skills, adoption et coût par projet. Pour le développeur, c'est une occasion d'améliorer les workflows sous-utilisés ; pour le Delivery, de comparer la consommation à la qualité des incréments réellement acceptés.

La limite à ne pas masquer. GitHub précise que les noms de personnalisations proviennent de la télémétrie client, potentiellement incomplète ; le nombre de requêtes mesure des appels modèle, pas des prompts ni de la valeur produite. Côté ESN, facturer une « usine IA » sur le nombre de tokens serait une mauvaise métrique. Décision : associer chaque workflow à un identifiant de lot, des critères d'acceptation et un coût complet, puis tester cette jointure sur deux projets pilotes.

Sources : GitHub — métriques par client · GitHub — métriques skills / MCP

GitHub Apps à l’échelle entreprise : sortir des jetons personnels

Les installations GitHub Apps au niveau entreprise sont désormais GA. Les permissions et API couvrent davantage de politiques, règles de dépôt, restrictions d'accès et paramètres de sécurité. L'annonce permet de remplacer des PAT classiques dans de nouveaux scénarios d'automatisation, sans affirmer que tous les usages PAT disparaissent.

Pour un architecte, la frontière d'identité d'une chaîne CI/CD ou d'un agent devient plus nette : permissions explicites, installation administrée, traçabilité. Pour le Delivery, cela réduit le risque d'une automatisation dépendant du compte d'un consultant. Pour une ESN, c'est un chantier d'assainissement récurrent, pas une simple migration de secrets. À décider : inventorier les PAT de service, prioriser ceux qui pilotent la production et tester une GitHub App à privilèges minimaux.

Sources : GitHub — installations entreprise GA

L’inférence confidentielle GPU passe de preview à GA

Google Cloud annonce la disponibilité générale des instances Confidential G4 avec GPU NVIDIA RTX PRO 6000 Blackwell, dans 36 zones, sur VM Compute Engine et nœuds GKE. Le chiffrement de la mémoire et l'attestation distante visent à protéger données et modèles pendant le calcul. Confidential Space, lui, n'est pas encore annoncé GA dans ce billet : son déploiement est indiqué comme à venir.

C'est une option d'architecture supplémentaire pour l'inférence sur données sensibles, pas une preuve universelle de souveraineté juridique ni de coût inférieur. Développeurs et plateformes devront tester images, attestation, latence, observabilité et contraintes de région. Pour les ESN : une offre de qualification d'inférence confidentielle avec protocole de mesure et dossier de risques. Expérience : benchmarker un même workload standard et confidentiel, à périmètre identique.

Sources : Google Cloud — Confidential G4 GA

Fuites de secrets : la détection rejoint enfin la réponse opérationnelle

GitHub enrichit son public monitoring avec vérification continue de validité pour les types de secrets compatibles, API REST, webhooks et suivi des décisions de triage. Le service reste en public preview pour les clients GitHub Enterprise Cloud éligibles ; il ne faut pas le présenter comme une disponibilité générale.

Le changement important n'est pas seulement de trouver une clé exposée : c'est de relier alerte, responsable, rotation et preuve de clôture. GitHub rappelle qu'une alerte fermée ne révoque pas le secret. Une équipe de Delivery peut donc automatiser le ticket et la notification, mais pas supposer la remédiation accomplie. À tester : fuite simulée, webhook vers backlog, rotation vérifiée et délai réel de résolution.

Sources : GitHub — triage et webhooks secrets

La conformité change parfois le parcours produit, pas seulement la documentation

Cloudflare décrit sa certification sud-coréenne ISMS après un audit portant, selon son récit, sur 80 contrôles. Pour respecter les règles locales de consentement, l'entreprise a adapté l'inscription et retiré les parcours de social sign-up qui contournaient le recueil obligatoire. C'est un retour d'expérience fournisseur, pas une obligation applicable telle quelle à l'Europe.

La leçon pour les équipes produit : une exigence réglementaire peut traverser UX, identité, flux de données et architecture edge. Pour les ESN, la localisation de conformité devient une offre mêlant cartographie des flux, design des parcours et tests automatisés. Décision : ajouter les parcours alternatifs d'authentification aux revues de conformité, pas seulement les écrans principaux.

Sources : Cloudflare — retour d’audit ISMS

🧭 Ce que ça change pour nous

Engineering : rattacher les appels modèle à des workflows versionnés, puis au ticket et au commit. Les métriques d'usage sont des signaux d'adoption, pas des preuves de productivité.

Platform et sécurité : distinguer identité d'automatisation, protection des secrets et confidentialité du calcul. Trois couches, trois responsables, trois preuves à produire.

Delivery / ESN : piloter le coût par fonctionnalité acceptée et le temps de reprise, pas seulement le nombre de générations. La promesse commerciale doit être mesurable sur un lot concret.

🏢 Le sujet que je mettrais sur la table d'un COMEX IT

Question : si nous doublons demain notre consommation d'agents, quel indicateur montrera que la valeur livrée a réellement augmenté ?

Je demanderais un tableau de bord trimestriel en quatre colonnes : coût complet du workflow, lead time de bout en bout, taux d'acceptation sans reprise et incidents de sécurité. Une métrique d'adoption seule ne doit pas déclencher un objectif de ROI.

🧪 À tester lundi

Sur un seul dépôt, sélectionner deux skills et un serveur MCP. Journaliser leur version, le client utilisé, les tokens et le temps passé ; relier chaque exécution à un ticket et à son statut de validation.

Comparer dix incréments comparables, avec et sans le workflow, en notant les reprises humaines. En parallèle, auditer un PAT de CI et simuler la rotation d'un secret exposé. Un test modeste, reproductible, vaut mieux qu'un dashboard spectaculaire.

💰 Où est le business ?

Une offre « AI Delivery Evidence Sprint » : deux semaines pour instrumenter une chaîne de développement assistée par agents, établir une baseline et livrer un tableau de bord coût / qualité / délai avec plan de remédiation sécurité.

Positionnement possible : forfait de cadrage, puis abonnement d'optimisation mensuel. La valeur n'est pas de revendre des licences ou des tokens, mais de réduire les reprises, les angles morts et le délai entre intention métier et livraison validée.

❓ La question de la semaine

Dans votre organisation, qui peut aujourd'hui démontrer qu'un skill ou un agent donné améliore le Delivery — et sur quelles données, au-delà des impressions des utilisateurs ?

🤓 Pour ceux qui ont encore du contexte window

GitHub — télémétrie des clients Copilot

GitHub — visibilité sur les skills et MCP

GitHub — Apps entreprise GA

Google Cloud — Confidential G4 GA

GitHub — remédiation des secrets exposés

Cloudflare — conformité et parcours produit