Alimentation de l'IA grâce à un stockage haute performance

B2 Cloud Storage était littéralement la seule chose technique que nous avons utilisée pour former ces modèles qui ne se sont pas plantés la première fois que nous l'avons essayé. Nous sommes dans une industrie où tout échoue, mais Backblaze ne l'a pas fait.

Doyen Leitersdorf

Co-fondatrice et chef de la direction, Decart

0->16PB

dans 90 jours

10x

plus efficace que la concurrence

0$

Dépenses de egress

Situation

Decart a décidé de perturber le marché de l'IA sur la vitesse d'inférence, mais ils ont dû relever un défi simple, mais déroutant : les performances et les coûts de stockage allaient limiter la croissance. Ils dépensaient des crédits gratuits d'un fournisseur de services infonuagiques traditionnel et ils avaient besoin d'un stockage pouvant passer de centaines de milliers d'heures de données vidéo à des centaines de millions d'heures.

Solution

Decart a choisi Backblaze B2 Cloud Storage pour les aider à construire l'infrastructure de formation multicloud la plus performante possible. Ils ont mis Backblaze à l'épreuve, testant une grande variété de modèles d'utilisation pour confirmer qu'ils disposeraient de la haute performance fiable, de l'interopérabilité du GPU et de l'efficacité dont ils avaient besoin.

Result

Avec Backblaze, Decart n'a eu aucun problème à transférer des ensembles de données à l'échelle du pétaoctet, et avec un prix d'un cinquième du coût des fournisseurs de services infonuagiques traditionnels, Backblaze a débloqué un budget important. Mais le véritable changement de jeu a été la egress gratuite jusqu'à trois fois la quantité stockée, ce qui leur a permis d'entraîner leurs modèles sur plusieurs grappes de GPU différentes en même temps sans aucun coût supplémentaire.

Le Décart La plateforme d'IA offre une amélioration d'un ordre de grandeur à la fois de la formation et de l'inférence des plus grands modèles génératifs. Ils ont fait leurs débuts d'innovations via le premier modèle de monde ouvert génératif d'IA générative en temps réel : Oasis.

1 million d'heures de données de formation
1,5 PB par jour déplacé
Réduction de 75 % des coûts d'exploitation de l'IA

Les détails

Perturbation de l'IA sur la vitesse (et le stockage)

C'est un peu de dire que l'IA est un marché en pleine croissance et hautement concurrentiel. Selon Carnet de pitchcarnet, un dollar de capital de risque sur trois investi à l'échelle mondiale en 2024 a été versé à une entreprise en démarrage dans le domaine de l'IA. Comment une entreprise se différencie-t-elle dans une explosion de changements technologiques, une explosion dans laquelle les petites entreprises en démarrage ayant une grande idée peuvent se retrouver aux prises avec les goliaths de la technologie, se battre pour de l'argent, des jetons, des talents et même de l'énergie électrique brute ? Et une où même ces goliaths ne réussissent pas toujours ?

‍

Decart, un laboratoire de recherche en IA qui a développé un modèle de monde ouvert d'IA en temps réel, a compris que la voie pour perturber le marché consistait à améliorer d'un ordre de grandeur à la fois la formation et l'inférence, et de le faire en construisant le multicloud le plus performant la formation sur les modèles infrastructure possible.

Ce dont nous avions vraiment besoin, c'était d'un endroit où nous pourrions stocker une quantité folle de données et, en même temps, les télécharger sur quelques grappes de GPU différentes à travers le monde, et pour que tout cela ne coûte pas une somme d'argent insensée. C'est pourquoi nous avons choisi Backblaze.

Dean Leitersdorf, cofondateur et chef de la direction, Decart

Le dilemme de la mise à l'échelle

Le cofondateur et chef de la direction, Dean Leitersdorf, avait fait le travail acharné pour ouvrir la voie à la perturbation. La pile d'IA multicloud pour la formation a été enregistrée et les modèles fonctionnaient 10 fois plus efficacement que les concurrents tels que Sora d'OpenAI. Ils avaient juste un problème simple, mais important, qui les freinait : le prix et la logistique du transfert et du stockage des données de formation dans un fournisseur de stockage en nuage traditionnel allaient limiter leur croissance.

‍

Ils brûlaient des crédits de stockage de données gratuits et leurs données étaient diffusées sur une gamme d'autres fournisseurs de services infonuagiques et grappes de GPU. Leurs données de formation devaient être multipliées par dix.

BYOG : Apportez vos propres GPU

Decart avait besoin d'une solution de stockage capable de gérer cette échelle dans trois domaines clés :

Performance élevée et fiable. Decart avait besoin de savoir que lorsqu'ils avaient du temps sur un cluster, ils pouvaient transférer les données le plus rapidement possible à la seconde où ils étaient en mesure de le faire.
Interopérabilité du GPU. Ils devaient s'assurer que, quelle que soit la plate-forme de stockage qu'ils choisissaient, cela fonctionnerait bien avec une approche de formation multigrappes. Il était essentiel pour l'équipe de Dean de pouvoir effectuer des tâches entre différents nuages GPU et de disperser la formation.
Efficacité. Chaque dollar qu'une entreprise en démarrage d'IA dépense pour autre chose que du temps de formation est un désavantage concurrentiel. Il était donc essentiel de s'assurer que les coûts de stockage sont faibles sans frais surprises pour la conservation ou le téléchargement des données.

Diffusion en continu à l'échelle du pétaoctet

Après avoir effectué des tests rigoureux de Backblaze dans une grande variété de modèles d'utilisation, l'équipe a clairement compris qu'elle avait trouvé la base de stockage dont elle avait besoin. Quand est venu le temps de commencer à déplacer les données de Backblaze vers Clusters de GPU, ils n'ont eu aucun problème à transférer des ensembles de données à l'échelle du pétaoctet. Le seul défi mineur consistait à s'assurer que fournisseur de calcul les tuyaux pourraient prendre en charge le volume de données diffusées en continu.

‍

La egress libre offre de la flexibilité

Voici comment Backblaze a réalisé des performances, une flexibilité et un prix abordable pour Decart :

Rendement. Ils ont été impressionnés par la performance qu'ils ont obtenue avec Backblaze — lorsque d'autres fournisseurs se sont écrasés, Backblaze a travaillé sans problème dès la sortie des sentiers battus.
Prix. Avec un prix environ le cinquième du coût des fournisseurs de services infonuagiques traditionnels, Backblaze a débloqué un budget important.
egress libre. Le véritable changement de donne. Decart, pour un certain nombre de raisons, entraîne ses modèles sur plusieurs grappes de GPU différentes en même temps. Avec Backblaze, ils peuvent egress leur ensemble de données complet vers jusqu'à trois sites de formation chaque mois avec aucun coût supplémentaire.

Alors que tous les principes fondamentaux fonctionnent, Backblaze et Decart travaillent maintenant ensemble pour trouver encore plus d'efficacité et d'optimisation et vraiment mettre en place la meilleure infrastructure pour la formation des modèles d'IA.