Contexte financier
Modal Labs Inc., fournisseur d’infrastructure pour l’intelligence artificielle, a clôturé une levée de fonds de 750 millions de dollars en série D, menée par Accel et soutenue par Kleiner Perkins ainsi que plusieurs investisseurs déjà présents. La valorisation post‑financement s’établit à 15,75 milliards de dollars, soit plus du triple de la valorisation obtenue en mai dernier. La société indique que son chiffre d’affaires annualisé a dépassé le milliard de dollars, reflétant une croissance de plus de trois fois depuis le tour précédent.
Architecture technique des Sandboxes
Le service phare, nommé Sandboxes, propose des conteneurs hébergés spécialement configurés pour les charges de travail d’IA. Le système de planification interne, appelé scheduler, répartit les demandes de création de conteneurs sur plusieurs serveurs afin d’accélérer le traitement. Selon Modal, le scheduler permet de provisionner plusieurs dizaines de milliers de conteneurs chaque seconde et a atteint un pic de un million de conteneurs concurrents lors d’un test interne. Cette capacité repose sur une orchestration parallèle qui minimise le temps de latence entre la requête et le lancement du conteneur.
Les conteneurs peuvent être associés à un sidecar – un conteneur auxiliaire exécutant, par exemple, un filtre de détection d’hallucinations. Le sidecar partage le même serveur physique que le conteneur principal, ce qui réduit la latence d’échange de données. Une fonctionnalité nommée Secret Injection autorise les agents IA à accéder à des identifiants d’applications externes sans les exposer, limitant ainsi les vecteurs d’attaque potentiels.
Réseau et multi‑cloud
Pour les charges d’entraînement, Modal propose des clusters de cartes graphiques dont les nœuds communiquent via le protocole RDMA (Remote Direct Memory Access). RDMA raccourcit le chemin des paquets réseau, augmentant le débit et réduisant la latence entre les GPU. L’infrastructure s’appuie sur du matériel loué auprès de plus de vingt fournisseurs de cloud. Cette diversification permet de basculer les charges en cas de panne d’un fournisseur, assurant une continuité de service.
Implications et limites
Le modèle de Modal combine une forte scalabilité (un million de conteneurs simultanés) avec des mécanismes de sécurité intégrés (sidecars, Secret Injection). Cependant, la dépendance à des fournisseurs externes implique une exposition aux politiques de tarification et aux éventuelles restrictions d’accès aux ressources GPU. De plus, la gestion d’un scheduler capable de paralléliser des dizaines de milliers de demandes par seconde nécessite une surveillance fine pour éviter les goulots d’étranglement au niveau du réseau ou du stockage. Enfin, la promesse de « réduction de latence » grâce aux sidecars et à RDMA reste conditionnée par la proximité physique des serveurs et la qualité des interconnexions entre les clouds partenaires.
