Flapping Airplanes lance un megakernel qui combine entraînement et inférence IA

Présentation du projet

Flapping Airplanes, start‑up d’un an, a levé 1 milliard de dollars en série A, portant sa valorisation à 6 milliards. Le financement suit un tour seed de 180 millions qui évaluait déjà l’entreprise à 1,5 milliard, soit un quadruplement en neuf mois. Les fondateurs – Aidan Smith, ancien de Neuralink, et les frères Asher et Ben Spector, doctorants en statistique et informatique à Stanford – déclarent travailler sur le « megakernel », un cadre logiciel destiné à réduire la quantité de données nécessaire à l’entraînement de modèles de grande taille.

Architecture du megakernel

Le megakernel proposé regroupe plusieurs tâches GPU – entraînement, inférence et même exécution de jeux vidéo – dans un même programme exécutable. En pratique, cela signifie que le même bloc de code est chargé de gérer à la fois des opérations memory‑bound (inférence) et compute‑bound (entraînement). Le design repose sur la capacité du GPU à alterner rapidement entre accès mémoire et calcul arithmétique, limitant ainsi les périodes d’inactivité du processeur graphique. Le cadre prétend pouvoir lancer les trois charges de travail simultanément, sans séparer les kernels.

Analyse de l’efficacité mémoire et calcul

Superposer une charge inference, typiquement dominée par la bande passante mémoire, avec une charge d’entraînement, dominée par les unités de calcul, exploite la dualité du GPU : pendant que les unités de calcul sont occupées, les unités de mémoire restent actives, et inversement. Cette approche peut théoriquement augmenter le taux d’utilisation du GPU de 30 % à 50 % selon les profils de charge, en réduisant les latences de lancement de kernels multiples. Cependant, le megakernel augmente la pression sur les registres et la taille du shared memory, ce qui peut réduire l’occupancy et entraîner des « register spilling » si le code n’est pas soigneusement optimisé. De plus, la synchronisation entre tâches concurrentes impose des barrières qui, si mal placées, peuvent annuler les gains d’efficacité.

Enjeux économiques et limites

Les fondateurs avancent qu’une amélioration de l’efficacité des données de l’ordre de un million de fois rendrait les modèles plus accessibles économiquement. Cette affirmation repose sur l’hypothèse que la réduction du nombre d’échantillons d’entraînement se traduit directement en coûts d’infrastructure proportionnels. En réalité, la plupart des économies proviennent de la réduction du temps de calcul et de la consommation énergétique, tandis que la qualité du modèle dépend de la diversité des données. Le megakernel ne résout pas les limites de capacité de stockage ni les coûts de prétraitement des données. Enfin, la complexité du code rend la maintenance et le débogage plus difficiles, ce qui peut freiner l’adoption dans des environnements de production où la stabilité prime.