Aujourd’hui, l’usage de l’IA dans l’automatisation des tâches est devenu incontournable. Mais il s’accompagne aussi de défis, notamment la gestion des coûts liés aux appels aux modèles d’IA, qui fonctionnent souvent avec un système de crédits ou de tokens.
Lors d’un récent projet low-code, nous avons été confrontés à cette problématique en voulant automatiser la récupération et le traitement de newsletters provenant de différentes sources. Alexandre, un de nos collaborateurs, a rencontré une limitation de crédits due au coût élevé des requêtes nécessaires pour récupérer et analyser ces newsletters. Voici comment nous avons contourné ce problème.
Le problème initial : une approche trop coûteuse
L’implémentation initiale reposait sur un script unique, exécuté une fois par jour, qui collectait tous les emails et générait un résumé global via un modèle d’IA. Cette approche présentait un inconvénient majeur : en traitant toutes les newsletters en une seule fois, nous utilisions une grande quantité de tokens, dépassant rapidement les crédits alloués.
Une solution plus efficace : scinder les traitements
Pour contourner cette limitation, Alexandre a restructuré le script de traitement en adoptant une approche plus granulaire :
- Traitement individuel des emails : Dès la réception d’un email, un premier script analyse son contenu et génère un résumé stocké dans un fichier texte.
- Synthèse quotidienne : Un second script, exécuté en fin de journée, récupère les résumés générés et produit une synthèse globale.
Les bénéfices de cette approche
- Réduction des appels à l’IA : En traitant chaque email individuellement au fil de l’eau, nous avons réparti la charge de travail et évité les pics de consommation excessive.
- Optimisation des crédits : Chaque requête étant plus légère, le nombre total de tokens consommés a été réduit de manière significative.
- Meilleure gestion des coûts : En limitant la consommation inutile de crédits, nous avons assuré la viabilité économique du projet tout en maintenant la qualité des analyses.
Conclusion : une stratégie applicable à d’autres cas d’usage
Ce projet démontre l’importance de bien structurer les appels aux modèles d’IA pour éviter des surcoûts inutiles. En adoptant une approche progressive et en répartissant les traitements sur la journée, il est possible d’optimiser l’usage des ressources tout en maintenant une performance optimale.
