DEVOPS REX 2025 | Industrializzazione di un LLMaaS sovrano: scalabilità, sicurezza... e AI che aiuta a creare se stessa

DEVOPS REX torna alla Cité des Sciences nel 2025!

Possiamo creare un servizio di AI generativo sovrano con l'aiuto dell'AI stessa?

Leggete il nostro feedback esclusivo: come abbiamo industrializzato un LLMaaS sovrano, ospitato su un IaaS SecNumClouddedicato ai clienti sensibili - settori governativi, sanitari, ecc.

Le sfide di un LLM affidabile e sicuro

Daremo un'occhiata dietro le quinte a come un prodotto entra in produzione Affidabile, scalabile, misurabile e sicuro LLM (Large Language Model). Cosa c'è di originale? L'IA stessa ha partecipato alla sua creazione!

Sfide concrete affrontate:

• Supporto per GPU eterogenee (Nvidia A100, L40S, H200, Apple M4 ...) con schedulazione dinamica in base ai carichi di lavoro
• Fatturazione con gettonegrazie a un sistema di conteggio distribuito integrato nei loadbalancer
• Misurazione dettagliata delle prestazionilatenza, gettoni al secondo, efficienza per modello
• Distribuzione intelligente del carico (4 router attivi, supervisione completa)
• Integrazione di SecNumCloudIAM, audit, isolamento, archiviazione sovrana

AI, la forza trainante dell'innovazione DevSecOps

L'intelligenza artificiale ha contribuito alla propria industrializzazione :

• Generazione di infra-as-code (manifesti Kubernetes, proxy adattivi)
• Produzione automatica di dashboard e script di supervisione
• Aiuto nella diagnosi degli errori di produzione
• Routing e allocazione delle risorse automatizzati

Perché partecipare?

Questo scambio sarà un'occasione per :

• Comprendere le sfide di governance e sicurezza IA generativa sovrana
• Scoprite gli strumenti, i successi e i limiti incontrati in un progetto di IA in produzione.
• Esplorare buone pratiche trasferibili Progetti di IA nelle aziende
• Discutere di cultura DevSecOpsl'osservabilità e la sovranità del cloud