DEVOPS REX 2025 | Industrialiser un LLMaaS souverain : scalabilité, sécurité… et une IA qui aide à se créer elle-même

DEVOPS REX fait son grand retour à la Cité des Sciences en 2025 !

Peut-on créer un service d’IA générative souverain avec l’aide de l’IA elle-même ?

Découvrez notre retour d’expérience inédit : comment nous avons industrialisé un LLMaaS souverain, hébergé sur une IaaS SecNumCloud, dédié à des clients sensibles — secteurs régaliens, santé, etc.

Les défis relevés pour un LLM fiable et sécurisé

Nous partagerons les coulisses de la mise en production d’un produit LLM (Large Language Model) fiable, scalable, mesurable et sécurisé. L’originalité ? L’IA fut elle-même actrice de sa création !

Défis concrets abordés :

• Support GPU hétérogène (Nvidia A100, L40S, H200, Apple M4 …) avec scheduling dynamique selon les workloads
• Facturation au token, grâce à un système distribué de comptage intégré aux loadbalancers
• Mesure de performance détaillée : latence, tokens par seconde, efficacité par modèle
• Répartition intelligente de la charge (4 routeurs actifs, supervision complète)
• Intégration au SecNumCloud : IAM, audit, isolation, stockage souverain

L’IA, moteur de l’innovation DevSecOps

L’IA a contribué à sa propre industrialisation :

• Génération d’infra-as-code (manifestes Kubernetes, proxies adaptatifs)
• Production automatique de dashboards et scripts de supervision
• Aide au diagnostic d’erreurs en production
• Automatisation du routage et allocation des ressources

Pourquoi participer ?

Cet échange sera une opportunité de :

• Comprendre les enjeux de gouvernance et sécurité d’une IA générative souveraine
• Découvrir les outils, les succès, et les limites rencontrées sur un projet IA en production
• Explorer des bonnes pratiques transférables à des projets IA en entreprise
• Échanger autour de la culture DevSecOps, l’observabilité et la souveraineté du cloud