Le coût de fonctionnement de l'IA

Ce livre blanc explique d'où vient le coût de fonctionnement d'un système d'IA et comment le maintenir bas.

AppsTech Labs appelle son approche l'ingénierie économe en ressources. Pour chaque système, nos ingénieurs mesurent ce que coûte le traitement d'une transaction, par exemple une facture.

Croissance de l'usage. Un pilote commence en général dans une seule équipe, par exemple la comptabilité fournisseurs. Lorsqu'il fonctionne, d'autres équipes le demandent et de nouvelles tâches s'ajoutent, comme la lecture de contrats ou la réponse aux courriels des clients. Chaque nouvel usage ajoute des requêtes, et le fournisseur du modèle d'IA facture chacune d'elles. Contrairement à une licence logicielle, dont le prix annuel est forfaitaire, la facturation à l'usage suit le volume. Dix fois plus de requêtes donnent une facture dix fois plus élevée, et cette hausse atteint le budget sans passer par une approbation d'achat.

Requêtes surdimensionnées. Une requête type comporte des instructions permanentes, plusieurs exemples, des documents entiers et l'historique de la conversation. L'entreprise paie chacun de ces éléments à chaque requête. Des requêtes plus longues réduisent aussi la fiabilité des réponses. Une étude de juillet 2025 portant sur 18 modèles de premier plan a montré que leurs performances baissaient à mesure que le texte fourni s'allongeait[4].

Coût non mesuré. Une enquête Deloitte a interrogé 200 directeurs financiers nord-américains à la mi-2026. Pour 46 % d'entre eux, l'incertitude ou le manque de transparence sur les coûts constitue la principale préoccupation interne liée à l'usage de l'IA dans l'entreprise[5]. Dans la même enquête, 43 % évoquent une visibilité insuffisante sur les outils d'IA ou leur usage[5]. Sans chiffre sur le coût d'une transaction, la facture mensuelle du fournisseur du modèle d'IA est le premier signe d'une hausse des coûts.

Les fournisseurs de modèles d'IA peuvent conserver la partie fixe d'une requête, comme les instructions et les exemples, et la réutiliser pendant quelques minutes ou jusqu'à une heure. Ce mécanisme s'appelle la mise en cache du prompt (prompt caching). Le prompt est le texte complet envoyé au modèle avec une requête. Anthropic, Google et OpenAI facturent tous le texte conservé à environ un dixième du prix normal en entrée sur leurs principaux modèles[1][2][3]. La réduction s'applique lorsque la partie fixe vient en premier et le document en dernier. Nos ingénieurs traitent donc l'ordre d'un prompt comme une décision de coût.

Une deuxième source d'économies consiste à tenir les données volumineuses à l'écart du modèle. Un système peut extraire dix mille lignes d'une base de données pour répondre à une seule question. Dans la conception coûteuse, le modèle reçoit les dix mille lignes. Dans la conception économe, un court programme filtre d'abord les lignes et transmet le résultat au modèle. Dans un exemple détaillé publié en novembre 2025, Anthropic indique que ce changement a ramené une tâche de 150 000 tokens à 2 000, soit une économie de 98,7 %[7]. Cloudflare a observé un effet comparable en février 2026 pour la description des services qu'un modèle peut utiliser. Donner à un modèle l'accès à l'ensemble des services de Cloudflare de cette manière a demandé environ 1 000 tokens de description, contre 1,17 million par la méthode habituelle[6].

Le test est rédigé en premier, sous la forme d'un ensemble de cas réels tirés du travail du client, y compris les plus difficiles, chacun accompagné de sa réponse correcte. Les ingénieurs essaient le plus petit modèle susceptible de réussir, et passent à un modèle plus grand lorsque ce premier modèle échoue.

Pour le tri à grand volume, comme le classement de documents ou l'orientation de messages vers la bonne équipe, un petit modèle entraîné pour cette seule tâche donne souvent le meilleur résultat. Une comparaison indépendante publiée en janvier 2026 a porté sur 32 expériences de ce type. Un petit modèle entraîné pour la tâche a traité 277 éléments par seconde, contre 12 pour un petit modèle généraliste qui rédige ses réponses. Les modèles entraînés ont aussi été plus précis sur trois des quatre tâches testées[8].

Pour les modèles qu'AppsTech Labs exécute sur des serveurs qu'elle gère, la même logique s'applique au matériel. Lorsqu'un serveur traite de nombreuses requêtes ensemble, l'énergie consommée par token peut être divisée par trois à cinq, selon des mesures portant sur 46 modèles publiées par ML.ENERGY en janvier 2026[9]. Un modèle installé sur les propres serveurs du client n'entraîne pas de frais par question, et les données du client restent à l'intérieur de son réseau.

Ces méthodes restent utiles pour les modèles que nous exécutons nous-mêmes. Leur gain réel dépend toutefois du nombre de requêtes que le serveur traite en même temps, et il faut donc le mesurer dans les conditions d'utilisation réelles. L'étude de janvier 2026 le montre avec la quantification. Elle a comparé les mêmes modèles dans deux versions, l'une stockant ses nombres sur 16 bits, le format habituel, l'autre sur 8 bits. La version sur 8 bits devrait consommer moins d'énergie. Pourtant, avec 8 à 16 requêtes traitées en même temps, elle a consommé jusqu'à 56 % d'énergie de plus que la version sur 16 bits. Elle n'a permis d'économiser de l'énergie qu'au-delà d'environ 64 requêtes simultanées, soit 11 % d'économie dans le cas typique[9].

Une réponse utile à chaque question est un chiffre ou une décision de conception précise, donnée par écrit afin que la direction financière puisse la vérifier.