Kanopy
Succès à succès : mise à l'échelle d'une plateforme de diffusion en continu avec fiabilité et redondance
Kanopy
Kanopy, une plateforme de diffusion vidéo en continu, dessert plus de 4 000 bibliothèques et 45 millions d'usagers de bibliothèques dans le monde entier. Ils ont utilisé un fournisseur de traitement, de stockage et de livraison vidéo tout-en-un pour gérer plus de 25 000 vidéos, mais la fiabilité est devenue un problème après que des fichiers manquants aient entraîné des interruptions de service. Ils avaient besoin d'un stockage d'origine rentable et de sauvegardes sécuritaires sur lesquelles ils pouvaient compter.
Après avoir passé à Backblaze B2 Cloud Storage en moins de trois jours via notre Service de Cloud to Cloud Migration le cloud, Kanopy a débloqué un réseau de partenaires qui lui a permis d'utiliser les meilleurs fournisseurs. Désormais, les films sont transférés directement de l'infrastructure de traitement vidéo de Kanopy vers Backblaze B2, où ils sont ensuite distribués aux utilisateurs par l'intermédiaire du réseau de diffusion de contenu (CDN) de CacheFly.
En tant qu'élément clé de leur nouvelle gamme de technologies, Backblaze B2 permet à Kanopy d'évoluer efficacement et d'accélérer rapidement l'intégration de contenu. La fiabilité de Backblaze B2 signifie que Kanopy peut offrir une expérience client sans faille. Ensemble, Backblaze permet à Kanopy d'approfondir sa proposition de valeur en fournissant des films réfléchis que les millions d'utilisateurs ne peuvent trouver ailleurs.
Fondée en 2008, Kanopy est une plateforme de diffusion vidéo en continu qui fournit aux établissements universitaires et aux bibliothèques publiques des films essentiels qui favorisent l'apprentissage et la conversation. Aujourd'hui, ils desservent plus de 4 000 clients de bibliothèques et offrent un accès gratuit et sur demande au contenu vidéo à 45 millions de clients dans le monde entier. Leur mission est de veiller à ce que chacun ait accès à des films enrichissants qui franchissent les frontières culturelles, suscitent des discussions et élargissent les visions du monde.
Dave Barney, directeur de la technologie chez Kanopy, décrit souvent l'entreprise comme « Netflix pour les bibliothèques ». C'est une comparaison facile, jusqu'à ce que vous réalisiez que Kanopy compte plus de 25 000 titres sous gestion, des milliers de plus que Netflix. Cette profondeur extraordinaire est leur principale proposition de valeur. Là où Netflix divertit les masses avec un contenu qui attire le plus grand public, Kanopy sert le professeur qui a besoin d'un titre difficile à trouver dans les années 1960 pour son existentialisme dans la classe de cinéma français de la Nouvelle Vague, ou le cinépidé à la recherche d'un favori perdu depuis longtemps.
Plutôt que de concurrencer Netflix, Kanopy poursuit un marché de l'océan bleu dans les bibliothèques universitaires et, plus tard, publiques. Les bibliothèques paient pour le service, offrant aux usagers un accès gratuit à des films que l'on ne trouve nulle part ailleurs dans le monde. « Du côté des bibliothèques publiques, nous entendons régulièrement des utilisateurs dire : « Je n'arrive pas à croire que vous avez ce film » ou « Je n'ai pas vu ce film depuis 30 ans », a noté Barney. Contrairement à Netflix, lorsque la popularité d'un titre baisse, Kanopy ne le retire pas immédiatement. Au lieu de cela, ils ont accéléré l'intégration du contenu, ajoutant l'équivalent de toute la bibliothèque de Netflix, sinon plus, chaque année, avec l'intention de continuer à se développer.
Cette croissance a rendu la fiabilité et le coût de leur solution de stockage d'autant plus importants. Nous n'avons pas de poches profondes comme Netflix, même si nous devons garder beaucoup plus de données en rotation. Avec tout ce contenu, un stockage fiable et peu coûteux sont deux choses très importantes du point de vue des opérations et de la rentabilité », a expliqué Barney. Lorsque les clients ont commencé à se plaindre de problèmes de fiabilité, l'équipe de développement savait qu'ils devaient modifier leur ancienne infrastructure de stockage et de distribution pour que leurs plans d'expansion aboutissent.
Nous n'avons pas de poches profondes comme Netflix, même si nous devons garder beaucoup plus de données en rotation. Avec tout ce contenu, un stockage fiable et peu coûteux sont deux choses très importantes du point de vue des opérations et de la rentabilité.
Dave Barney, chef de la technologie, Kanopy
Fondé en 2008 en Australie, le modèle de livraison précoce de Kanopy était parallèle à Netflix : ils expédiaient des vidéos sur DVD. Au fur et à mesure de l'évolution de la technologie, ils ont déménagé leur siège social à San Francisco et sont passés à la diffusion vidéo en continu, engageant un fournisseur de réseau de traitement vidéo, de stockage et de diffusion de contenu (CDN) tout-en-un pour gérer leurs médias.
« C'était un fournisseur de confiance, donc rien n'aurait dû mal tourner », a déclaré Pierre-Antoine Table, ingénieur logiciel vidéo principal. « Avec le temps, nous avons découvert que les choses peuvent mal tourner. »
Pour qu'un film soit diffusé en continu sans retards ni mise en mémoire tampon, il doit d'abord être transcodé ou divisé en fichiers compressés plus petits appelés « morceaux ». Un long métrage peut se traduire par des milliers de morceaux de cinq à dix secondes, et en perdre un seul peut causer des problèmes de lecture qui perturbent l'expérience du client.
« Nous n'avons pas été en mesure de récupérer les fichiers perdus [notre ancien fournisseur], alors il désactivait la HD pour les films », a reconnu Ttible. « En plus de ça, si nous vérifiions passivement le CDN, il disait que le fichier était là. Nous n'avions aucun moyen de découvrir les fichiers manquants à moins qu'un utilisateur ne se soit plaint. » Une fois qu'ils ont découvert un fichier manquant, trouver le fichier source original et le transcoder à nouveau ont pris du temps et des ressources. C'est s'ils pouvaient le trouver du tout — une chose que leur ancien CDN n'a pas fourni, ce sont les sauvegardes. Si le fichier ne pouvait pas être localisé dans leur stockage principal, il avait disparu.
« C'était très mauvais en termes d'ingénierie, d'approvisionnement et d'expérience utilisateur », a déclaré Table. Pour un service de diffusion vidéo en continu de l'échelle de Kanopy, une mauvaise expérience utilisateur n'était pas acceptable. Elle ne fonctionnait pas non plus sans un solide plan de secours. Ils ont décidé de rechercher de meilleurs partenaires infonuagiques pour accroître la fiabilité et la redondance.
Tout d'abord, Kanopy devait trouver un moyen de transférer ses données hors de son ancien fournisseur et de les rendre compatibles S3 afin de structurer sa pile technologique comme il le souhaitait. Leur CDN hérité utilisait son propre type de stockage, de sorte que l'équipe de développement de Kanopy a écrit elle-même un script pour transférer les données vers AWS, où elle prévoyait de mettre en place son infrastructure de traitement vidéo.
Bien qu'AWS fonctionne bien pour les ressources de calcul comme le transcodage et le chiffrement, les factures AWS de Kanopy monteraient en flèche s'ils utilisaient Amazon S3 pour le stockage d'origine. Ils diffusent plus de 15 000 titres uniques chaque mois, soit environ la moitié de leur collection totale, ce qui entraînerait des frais de egress massifs via Amazon S3. Ce n'était pas une option pour stocker les données de production à long terme, mais rendre leurs données compatibles S3 leur a permis d'envisager d'autres fournisseurs compatibles avec S3.
Priorisant la fiabilité avant tout, Kanopy a testé quelques solutions pour le stockage d'origine, notamment Backblaze B2 Cloud Storage et IBM. IBM offrait également des API compatibles S3, de sorte que les données auraient été faciles à déplacer, mais l'utilisation d'IBM pour le stockage signifiait mettre en œuvre un CDN avec lequel ils n'avaient aucune expérience.
Après avoir effectué une démonstration de concept, Backblaze s'est avéré plus fiable et lui a donné la possibilité d'utiliser son CDN préféré à l'époque pour continuer à diffuser du contenu dans le monde entier. Kanopy a effectué la migration des données de production d'Amazon S3 vers Backblaze B2 en utilisant Cloud to Cloud Migration, le déplacement de 150 To en moins de trois jours et la découverte de quelques derniers dossiers manquants au cours du processus. Depuis, ils sont passés à CacheFly CDN. Comme Backblaze fonctionne sans problème sur différents services infonuagiques, ils ont pu modifier le CDN sans problème.
La pile technologique multicloud de Kanopy, qui ne fait pas appel aux fournisseurs, leur offre la flexibilité nécessaire pour structurer les flux de travail les plus rentables. Ils utilisent IBM Aspera pour recevoir des vidéos de fournisseurs contractuels comme Paramount ou HBO sur leur infrastructure de traitement vidéo sur AWS. Là, ils transcodent et chiffrent les fichiers à des fins de gestion des droits numériques, générant dans certains cas plus de 10 000 morceaux par film. Ils envoient les morceaux transcodés d'AWS vers leur stockage d'origine Backblaze B2 à l'aide d'un service de transfert de données et enregistrent une copie d'archive sur Amazon Deep Glacier, ce qui leur donne une redondance indispensable en plus de leur copie de magasin d'origine sur Backblaze B2.
Les données stockées sur Backblaze B2 sont automatiquement introduites dans le CDN de CacheFly. Cela permet au contenu de vivre dans Backblaze B2, tout en étant diffusé avec une faible latence et une vitesse élevée.
L'écosystème de partenaires Backblaze a permis à l'équipe de développement de Kanopy de structurer sa gamme de technologies à l'aide de fournisseurs intégrés et de premier ordre. « Les partenaires de Backblaze étaient importants », a confirmé Tile. Barney ajouta : « Les associés de Backblaze ont été des victoires heureuses.
Backblaze nous convenait naturellement parce qu'il était plus fiable et moins coûteux, ce qui nous a permis d'avoir une longueur d'avance sur l'orientation de l'entreprise.
Dave Barney, chef de la technologie, Kanopy
Bien que la fiabilité ait été l'un des principaux moteurs des efforts de Kanopy pour réviser sa gamme de technologies, Barney voit son nouveau système permettant à Kanopy d'évoluer encore plus loin. Backblaze offre une tarification simple qui permet à Kanopy d'obtenir une redondance inférieure à son budget prévu. « Nous accélérons rapidement la quantité de contenu que nous embarque. Si la fiabilité n'était pas devenue un problème, la maîtrise des coûts aurait été très rapide. Backblaze nous a aidés à atteindre les deux », a déclaré Barney. Backblaze était un choix naturel pour nous parce qu'il était plus fiable et moins coûteux, ce qui nous a permis d'avoir une longueur d'avance sur la direction de l'entreprise. » Étant donné que Backblaze offre une egress gratuite entre de nombreux partenaires et des services infonuagiques, y compris CacheFly CDN, Kanopy paie également 0$ en frais de egress pour transférer des données.
L'ajout d'encore plus de titres renforce leur proposition de valeur et leur permet de soutenir le cinéma indépendant. Alors que les cinémas indépendants continuent de fermer partout dans le monde, leur service comble ce vide et donne aux cinéastes indépendants un canal pour atteindre les consommateurs. Combien de titres Kanopy ajoutera-t-il à l'avenir ? 10 000 ? 25 000 ? Tous les films déjà réalisés ? L'avantage de leur service, c'est que vous pouvez le découvrir. Il vous suffit de renouveler votre carte de bibliothèque.
