Can Stock Photo
Simplifie le stockage et le traitement de plus de 70 millions de fichiers
Can Stock Photo
La plateforme Microstock Can Stock Photo fournit plus de 70 millions d'images et de vidéos aux clients du monde entier. Pour mieux soutenir la croissance de l'entreprise, l'entreprise souhaitait un moyen plus simple et plus abordable de stocker et de traiter du contenu sans avoir à faire face à des niveaux de tarification complexes, des coûts de egress élevés et des délais de récupération lents.
Stock Photo peut-il migrer plus de 600 To de données Amazon S3 et Glacier dans le Backblaze B2 Cloud Storage. Tous les fichiers image et vidéo sont maintenant stockés à chaud, y compris les fichiers archivés. Avec une egress gratuite entre Backblaze et certains partenaires, Can Stock Photo a choisi de déplacer son application de traitement d'images des instances AWS EC2 vers Vultr, partenaire informatique de Backblaze.
Transition de Amazon S3 à Backblaze B2 était une simple question de changement de points de terminaison, et Can Stock Photo n'a connu aucune perturbation ni temps d'arrêt. Les coûts mensuels de stockage sont considérablement réduits et tous les fichiers sont maintenant facilement accessibles. L'entreprise se sent moins enfermée dans une solution coûteuse et complexe et est dans une position plus agile pour faire croître l'entreprise de nouvelles façons.
Fondée en 2004, Peut stocker des photos a été l'une des premières agences de microstock sur internet. Aujourd'hui, la société concède des licences de plus de 70 millions d'images, de photos, d'illustrations numériques, de clips et de séquences vidéo libres de droits pour le compte de plus de 106 000 créateurs de contenu. Les images sous licence ont été notamment utilisées par des blogues de l'industrie comme TechCrunch ; des sites de médias sociaux comme BuzzFeed ; des longs métrages comme « Whiplash » ; des agences de presse comme CBS 5 ; et d'innombrables sites Web, vidéos, livres, documents commerciaux et autres publications. Avec plus de 30 000 nouveaux fichiers ajoutés chaque jour, la bibliothèque de photos Can Stock ne cesse de croître.
Revenons au début des années 2000 — le World Wide Web était en plein essor. Les concepteurs Web utilisaient de nouvelles façons créatives de riches images. Les appareils photo numériques ont atteint le marché de masse, incitant les photographes amateurs du monde entier à capturer des images de haute qualité avec des équipements relativement peu coûteux. Cependant, il y avait peu d'options pour relier les deux communautés, car les agences d'actions traditionnelles n'offraient que des photos à prix élevé provenant d'un bassin limité de photographes professionnels.
Duncan Enman a vu l'occasion de recadrer cette image. En tant que photographe et développeur Web, il comprenait personnellement les défis des deux côtés. Il a expliqué : « Je voulais créer une solution qui permette aux amateurs de vendre leur travail et d'obtenir une offre équitable, tout en rendant les images de qualité abordables pour les sites Web.
Enman s'est tourné vers l'industrie naissante des microstocks, qui se concentrait sur la concession de licences de grands volumes d'images à seulement quelques dollars chacune. Ainsi, en 2004, Enman lance sa propre agence de microstock, Can Stock Photo, afin d'offrir une solution plus compétitive dans ce domaine.
Au début, Can Stock Photo recevait quelques centaines d'images par jour. Les photographes téléchargeaient leur travail au moyen d'un navigateur ou d'un FTP, Enman ou des bénévoles (généralement d'autres photographes) vérifiaient la qualité et la légalité de chaque image.
À ce moment-là, Enman pensait : « Si jamais nous obtenions 10 000 photos, ce serait suffisant. Nous aurions une image de tout et la bibliothèque serait raisonnablement bien arrondie. » Il ne savait pas qu'il atteindrait cet objectif en quelques mois seulement.
Passez rapidement à aujourd'hui — CAN Stock Photo fournit plus de 70 millions d'images de 40 000 photographes et artistes du monde entier. L'entreprise examine 30 000 actifs par jour à l'aide d'une équipe d'inspecteurs complétée par des outils d'intelligence artificielle. L'entreprise soutient également des programmes de photographie d'archives qui partagent automatiquement des images avec plusieurs agences.
Can Stock Photo a commencé avec un plan d'hébergement partagé avec serveur privé virtuel (VPS) comprenant quelques centaines de mégaoctets d'espace de stockage dans une installation colocative, et a manqué d'espace dès la première semaine. Chaque fois qu'un nouveau serveur était nécessaire, Enman devait signer un contrat et le faire approvisionner ; par conséquent, les coûts d'hébergement montaient en flèche.
Enman se souvient : « J'ai commencé cette danse qui consiste à ajouter de l'espace de stockage, à manquer et à en ajouter d'autres pour suivre la croissance. Lorsque nous sommes arrivés aux gigaoctets de stockage, cela semblait absolument fou. Et bien sûr, nous avons bien dépassé ça maintenant. »
J'ai commencé cette danse qui consiste à ajouter de l'espace de stockage, à manquer et à en ajouter d'autres pour suivre la croissance.
Duncan Enman, fondateur et chef de la direction, Can Stock Photo
Au fur et à mesure que l'entreprise se développait, Enman et son équipe s'inquiétaient du blocage des fournisseurs. S'ils voulaient quitter AWS, le coût de changement de fournisseur ne ferait qu'augmenter au fil du temps.
Enman s'est tourné vers Amazon Web Services en 2006, devenant ainsi l'un des premiers à adopter le stockage Amazon S3. Soudain, l'entreprise pourrait se développer sans heurts avec beaucoup moins d'efforts. « Le cloud vous permet d'être très évolutif », a déclaré Enman, « et c'était une grande amélioration pour nous, car nous effectuons beaucoup de traitement sous le capot. »
Can Stock Photo a donc migré tout son contenu vers Amazon S3 et tout le traitement d'image vers AWS EC2, la plateforme de calcul d'Amazon. La mise à l'échelle dynamique a permis de mieux traiter les téléchargements simultanés (parfois des centaines de photographes téléchargeant simultanément). À mesure que le volume augmentait, Enman et son équipe ont décidé de libérer de l'espace de stockage actif et de réduire les coûts en archivant une partie des contenus les moins fréquemment utilisés dans Amazon Glacier.
Cependant, l'entreprise a rencontré plusieurs problèmes critiques avec son infrastructure AWS. Les coûts d'exploitation étaient une préoccupation majeure pour les entreprises à forte intensité de bande passante, et le modèle de tarification d'Amazon était complexe et coûteux, avec une augmentation des frais de egress. Au fur et à mesure que l'entreprise se développait, Enman et son équipe s'inquiétaient de : verrouillage du fournisseur. S'ils voulaient quitter AWS, le coût pour changer de fournisseur ne ferait qu'augmenter avec le temps — plus ils accumuleraient de données, plus il serait coûteux de partir.
De plus, l'équipe souhaitait optimiser sa configuration de stockage. Glacier a imposé un délai et des coûts associés à la récupération des fichiers intrinsèquement froids. Le retraitement d'un actif ancien pour créer une nouvelle vignette signifiait soumettre une demande de récupération de l'actif, payer les coûts connexes, attendre la récupération et utiliser le bien dans un délai imparti. C'était comparable à un système de bande LTO : lent, fastidieux et coûteux si vous voulez que vos données soient plus rapides.
Trois considérations ont été au cœur de la recherche d'une nouvelle solution par l'entreprise : le coût, la fiabilité et le rendement. L'autre infrastructure importante en tant que fournisseurs de services n'offrait toutefois pas une adéquation convaincante.
Enman utilisait avec succès le service Backblaze Personal Backup depuis un certain nombre d'années. Il décida donc d'examiner de plus près les solutions d'affaires de Backblaze. En apprenant davantage sur Backblaze B2 Cloud Storage, il a estimé qu'il pourrait être un remplacement approprié pour Amazon S3. De plus, le service de Cloud to Cloud Migration de Backblaze a ramené à zéro le coût de l'extraire des données d'AWS vers Backblaze B2.
« Notre équipe avait déjà beaucoup confiance en Backblaze », a déclaré Enman. « Nous lisons le Blog Backblaze tout le temps ; nous sommes toujours intéressés par les rapports Drive Stats. Nous avons eu de nombreuses conversations internes au sujet des conclusions de Backblaze.
Alors, Enman a contacté pour créer des comptes de test. « Si vous utilisez déjà l'API Amazon S3, comme nous l'étions, il s'agissait simplement de changer les points de terminaison au sein de notre application », a déclaré Enman. Tout fonctionnait de la même manière sur Backblaze B2 que sur Amazon S3.
Il a fallu deux semaines à Can Stock Photo pour migrer plus de 600 To de données d'AWS S3 vers Backblaze B2. Enman se souvient : « Si je rembobinais la cassette il y a un an, je suis sûr que je m'attendais à ce que la transition de tout notre contenu n'importe où soit serait un processus long et douloureux. La réalité du passage à Backblaze n'aurait pas pu être plus éloignée de cela — c'était si simple et sans incident. Il n'y a pas eu de temps d'arrêt du tout ; c'était littéralement comme si vous actionniez un interrupteur d'éclairage à l'arrière.
L'équipe a effectué sa propre vérification interne pour s'assurer que tout avait été transféré comme prévu et elle n'a trouvé aucun problème. Après le lancement, ils ont exécuté les deux systèmes en parallèle alors qu'ils migraient lentement de plus en plus de services à partir d'Amazon S3.
Je m'attendais à ce que la transition de tout notre contenu n'importe où soit soit un processus long et douloureux. La réalité du passage à Backblaze n'aurait pas pu être plus éloignée de ça... Il n'y avait aucun temps d'arrêt du tout ; c'était littéralement comme allumer un interrupteur d'éclairage sur l'arrière.
Duncan Enman, fondateur et chef de la direction, Can Stock Photo
Les partenariats de Backblaze, en particulier avec le fournisseur d'ordinateurs Vultr, étaient la cerise sur le gâteau pour Can Stock Photo. Avec un large éventail d'intégrations de partenaires et d'incitatifs disponibles, l'équipe a constaté de nombreux avantages potentiels liés au passage aux partenaires Backblaze. Ils ont évalué plusieurs partenaires et choisi Vultr pour héberger leur application de traitement d'images. « Vultr nous rappelle beaucoup Backblaze », a déclaré Enman. Ils sont très réceptifs et désireux de répondre aux besoins des clients. »
Au fur et à mesure que le nouveau contenu arrive, tout le traitement est maintenant géré sur Vultr. Le système exécute la compression et le transcodage vidéo, enregistre les fichiers de processus sur Backblaze, et crée également des tailles et des formats de fichiers standard pour les vidéos et les images. Si les clients veulent une taille différente, le système peut rééchantillonner le fichier au moment de l'achat. Le traitement comprend la création de divers actifs marketing, tels que des vignettes et des aperçus, ainsi que des versions filigranées et non filigranées. Le système gère également les fichiers vectoriels, les rendant côté serveur.
« La transition vers Vultr a également été agréable et sans heurts », a déclaré Enman. Nous avons été satisfaits des spécifications de leur serveur, l'utilisation a été simple et directe, et les performances ont été très bonnes. »
Le passage à Backblaze était complètement invisible pour les clients et les créateurs de contenu. À l'interne, cependant, l'équipe a constaté d'importantes améliorations. Avec Backblaze, ils peuvent désormais générer des fichiers vidéo pour les clients quatre fois plus rapidement qu'avec AWS. Et les économies de coûts en particulier ont été énormes : le stockage mensuel est réduit de 55 % sans frais de transfert entre Backblaze et le partenaire de l'alliance Vultr.
Le transfert des fichiers d'entreposage frigorifique de Glacier à Backblaze a également permis d'éliminer les coûts de récupération et de réduire le temps et les efforts nécessaires pour gérer les complexités de Glacier. Tous les dossiers sont conservés dans un stockage à chaud et sont facilement accessibles à l'équipe en cas de besoin.
Plus important encore, Can Stock Photo se sent moins enfermé dans une solution coûteuse et complexe. Enman a déclaré : « Avec Backblaze, notre entreprise est dans une position plus agile. Nous pouvons réagir facilement au marché et nous avons réduit les coûts d'exploitation pour le stockage et le traitement de la vidéo tout en créant une meilleure expérience pour l'utilisateur final. » En particulier, l'entreprise peut se concentrer davantage sur l'espace vidéo et innover de nouvelles façons d'offrir de meilleures expériences aux créateurs de contenu et aux clients.
Vautr est une plateforme d'infrastructure infonuagique qui fournit sans friction le cloud public, le stockage et le bare metal à locataire unique via 22 emplacements dans le monde. En tant que l'un des plus grands fournisseurs indépendants d'informatique en nuage, Vautr s'attaque aux situations complexes d'hébergement et offre une performance et une fiabilité de pointe tout en construisant l'un des réseaux les plus vastes et les plus disponibles au monde.
