DEVOPS REX 2025 | Industrialisierung eines souveränen LLMaaS: Skalierbarkeit, Sicherheit ... und eine KI, die hilft, sich selbst zu erschaffen

DEVOPS REX kehrt 2025 in die Cité des Sciences zurück!

Kann ein souveräner generativer KI-Dienst mit Hilfe der KI selbst geschaffen werden?

Lesen Sie unser unveröffentlichtes Feedback : wie wir ein souveränes LLMaaS industrialisiert haben, das auf einer SecNumCloud IaaS gehostet wirdDie meisten von ihnen sind für sensible Kunden bestimmt, wie z. B. Regierungsbehörden oder das Gesundheitswesen.

Herausforderungen für eine zuverlässige und sichere LLM gemeistert

Wir teilen die Hintergründe, wie ein Produkt in Produktion geht LLM (Large Language Model) zuverlässig, skalierbar, messbar und sicher. Die Originalität? Die KI war selbst Akteurin bei ihrer Entstehung!

Konkrete Herausforderungen angesprochen :

• Heterogene GPU-Unterstützung (Nvidia A100, L40S, H200, Apple M4 ...) mit dynamischem Scheduling je nach Workload
• Abrechnung an Tokendurch ein verteiltes Zählsystem, das in die Loadbalancer integriert ist
• Detaillierte Leistungsmessung: Latenz, Token pro Sekunde, Effizienz pro Modell
• Intelligente Lastverteilung (4 aktive Router, vollständige Überwachung)
• Integration in die SecNumCloudIAM, Audit, Isolierung, souveräne Speicherung

KI als Motor für DevSecOps-Innovation

Die KI hat zu ihrer eigenen Industrialisierung beigetragen :

• Generierung von Infra-as-Code (Kubernetes-Manifeste, adaptive Proxies)
• Automatische Erstellung von Dashboards und Überwachungsskripten
• Hilfe bei der Fehlerdiagnose in der Produktion
• Automatisierung des Routings und Zuweisung von Ressourcen

Warum teilnehmen?

Dieser Austausch wird eine Gelegenheit sein, um :

• Verstehen Sie die Herausforderungen von Governance und Sicherheit einer souveränen generativen KI
• Entdecken Sie die Werkzeuge, Erfolge und Grenzen, die bei einem KI-Projekt in der Produktion auftreten.
• Erkunden von übertragbare gute Praktiken an KI-Projekten in Unternehmen
• Sich über Kultur austauschen DevSecOpsdie Beobachtbarkeit und Souveränität der Cloud