Black.ai
Maximiser les marges et le rendement pour le traitement de l'IA et du ML
Black.ai
Black.ai, une société australienne d'intelligence artificielle et d'apprentissage automatique (IA), a mis au point une puissante technologie d'IA qui rend les mouvements et les événements capturés à la caméra comme étant consultables en consommant et en analysant des quantités massives de données vidéo. Ils avaient besoin d'un stockage d'objets fiable et facilement disponible pour faire face aux exigences de traitement vidéo tout en maintenant leurs coûts d'infrastructure bas à grande échelle.
Black.ai a choisi Backblaze B2 Cloud Storage en collaboration avec Vautr, fournisseur de calcul, pour stocker et traiter les séquences vidéo des clients et les bases de données afin de soutenir leur analyse de données IA/ML pour plusieurs raisons. Ils recherchaient une entreprise spécialisée dans le stockage plutôt qu'un fournisseur diversifié essayant d'être tout pour tous les clients, et ils ont donné la priorité à une interface simple, à l'abordabilité, à l'évolutivité et à la performance.
D'un point de vue budgétaire, Backblaze B2 a amélioré ses marges par rapport aux autres fournisseurs, libérant ainsi des ressources pour réinvestir dans son produit. Au-delà de cela, il leur a donné la possibilité de créer une pile spécialisée en utilisant des fournisseurs comme Backblaze B2 et Vultr qui se concentrent sur la prestation de services de premier ordre.
Black.ai est une entreprise de pointe en intelligence artificielle/machine (IA/ML) basée en Australie. À l'aide du matériel de caméra IP existant de leurs clients et de leur logiciel de vision par ordinateur, ils peuvent suivre les parcours des gens dans des espaces en direct tels que les magasins de détail pour analyser les modèles et les comportements, ce qui aide à créer des informations instantanées et à éclairer de meilleures décisions grâce à l'IA et à l'apprentissage automatique. Black.ai utilise une combinaison de Backblaze B2 et de Vultr pour prendre en charge leur analyse AI/ML à l'aide de bases de données SQLite sur une dorsale évolutive de stockage en nuage.
Comme le souligne Sébastien Collier, CTO de Black.ai, nous ne vivons pas encore dans l' « avenir » dont nous entendons parler depuis si longtemps, avec des voitures volantes et des robots qui sentent et s'adaptent à leur environnement. Cependant, avec son logiciel d'intelligence artificielle et d'apprentissage automatique, Black.ai ouvre la voie à un nouvel avenir.
La mission de Black.ai est de « rendre les activités humaines consultables », ce qui signifie qu'ils prennent les configurations de caméras IP existantes des clients, ajoutent leur propre matériel et consomment des heures de séquences vidéo identifiant les personnes et les suivant dans des espaces en direct pour rendre leur voyage accessible aux logiciels ou aux humains afin de mieux éclairer les décisions automatisées. Avec des applications dans des secteurs allant des soins de santé à l'entreposage, la première verticale à montrer des possibilités réelles pour l'entreprise était le commerce de détail. Dans un grand environnement tel qu'un centre commercial ou une épicerie, le logiciel d'IA et de ML de Black.ai pourrait analyser des images d'un espace et déterminer des comportements prévisibles pour des centaines de personnes à la fois.
Naturellement, ce volume massif de métrages rend nécessaire un moyen rapide, efficace et convivial de stocker les fichiers et d'y accéder. La solution de Black.ai élimine le besoin pour le personnel de sécurité d'examiner des centaines d'heures de séquences, mais elle crée à son tour un besoin de stockage rapide et consultable. Lorsque ce besoin est satisfait, leur logiciel examine des quantités massives de vidéos évaluant les comportements et résume le parcours d'une personne en quelques courtes trames pour examen.
Par exemple, dans un supermarché, au lieu de vérifier les bagages de tout le monde pour éviter le vol, le logiciel de Black.ai identifierait les personnes spécifiques à vérifier les bagages en fonction du parcours des personnes dans le magasin, de leurs actions et en suivant des points particuliers sur leur corps qui indiquent une activité suspecte.
Au cours des cinq premières années de Black.ai, l'équipe de développement s'est concentrée sur la mise au point de la technologie. Collier se souvient avec affection que lui et les deux autres fondateurs allaient « manger des nouilles ramen et pirater des choses ». Ils n'avaient qu'un seul disque dur au bureau, ce qui posait de multiples problèmes en matière de sauvegarde et de recherche, sans parler des limites qu'il imposait à la croissance. L'espace a été l'un des moteurs de leur décision de passer à l'infrastructure infonuagique.
À ses débuts, Black.ai n'avait aucune infrastructure et ne pouvait pas imaginer à quoi ressembleraient les choses maintenant. L'entreprise est passée d'un seul GPU à ses débuts à 30 GPU pour la recherche approfondie et la formation en apprentissage automatique.
Au départ, ils ont construit leur système sur Microsoft Azure parce qu'ils disposaient de 250 000$ en crédits infonuagiques. « Nous avons rapidement épuisé ces crédits Azure et nous avons réalisé que nous devions faire quelque chose à ce sujet », a déclaré Collier. Black.ai s'est senti bloqué par les limites d'Azure, l'interface complexe et le manque de compatibilité S3. Ils voulaient explorer le codage à l'aide de différents outils qui ne fonctionnaient pas avec Azure et, comme l'a dit Collier, « Nous étions très enfermés, ce qui n'était pas génial ».
De plus, ils ont eu des problèmes pour faire fonctionner les fonctions sans serveur et ont perdu beaucoup de temps précieux à essayer de les résoudre. Généralement, cela se ferait à l'aide d'OpenFAAS, un cadre de création de fonctions sans serveur avec Docker et Kubernetes. Au lieu d'utiliser OpenFAAS pour les fonctions sans serveur, Azure gérait ces fonctions à sa manière, ce qui était difficile et déroutant.
Pour résoudre certains problèmes, ils ont tenté de migrer vers plusieurs autres solutions, mais ils ont subi des pertes de données et des performances médiocres. Les solutions n'étaient pas suffisamment fiables pour répondre à leurs besoins croissants.
Au moment de changer, la fiabilité et le coût étaient deux des plus grandes priorités dont Black.ai avait besoin de la part d'un nouveau partenaire de stockage en nuage. D'autres considérations comprennent le soutien multirégional, un moyen de atténuer les frais de egress, et Compatibilité S3.
Nous avons rapidement épuisé ces crédits Azure et nous avons réalisé que nous devions faire quelque chose à ce sujet !
Sébastien Collier, directeur de la technologie et cofondateur, Black.ai
Lorsque Collier et ses cofondateurs ont lancé Black.ai, ils voulaient construire une infrastructure qui servirait l'entreprise à long terme. Au cours des deux ou trois dernières années, ils ont commencé à réfléchir sérieusement à l'ampleur de leurs solutions. Stockage économique a été l'une des clés d'un modèle d'affaires durable. L'adoption de Backblaze B2 Cloud Storage leur a permis d'atteindre leurs objectifs de pérennité.
Collier découvre Backblaze en lisant le trimestriel Examen des Hard Drive Stats. Lorsque la croissance de Black.ai les a forcés à envisager un nouveau fournisseur de stockage en nuage, il est tombé sur Backblaze et s'est souvenu : « Oh oui, c'est cette entreprise qui publie des rapports sur les disques durs. »
Collier était attiré par la spécialisation de Backblaze dans l'entreposage. « Il y a un grand avantage à travailler avec quelqu'un qui se concentre sur une chose et qui le fait bien », a commenté Collier. Les prix de Backblaze signifiaient également que l'entreposage ne réduisait pas les marges.
Partenariat étroit de Backblaze avec Vultra fournisseur de calcul, a permis à Black.ai d'utiliser facilement les ressources de calcul sans payer de frais de egress entre les deux services. L'utilisation de Vultr pour récupérer et extraire des images de fichiers dans Backblaze B2 leur a donné un moyen beaucoup plus économique de déployer et de faire évoluer des applications conteneurisées via leur service Kubernetes.
Le fonctionnement de Black.ai consiste à placer les appareils à côté des caméras existantes des clients qui consomment le flux vidéo stockant les informations dans une base de données, puis le logiciel gère et analyse les données.
Black.ai utilise des bases de données SQLite qu'ils séparent quotidiennement pour télécharger. Ils traitent plus de 100 Go de données par jour et utilisent Backblaze comme conteneur de stockage pour ces bases de données. Ils ont également créé des outils de requête dans Vultr qui recherchent et récupèrent les données de la base de données stockée sur Backblaze B2.
Le flux de travail, de l'ingestion de la vidéo à l'analyse, ressemble à ceci :
Un supermarché constitue un bon exemple d'utilisation de cette technologie. Les caméras enregistrent tous les trajets que quelqu'un effectue dans le magasin. À l'aide de l'IA et du ML, le logiciel peut répondre à des questions telles que « Pourquoi l'utilisateur se comporte-t-il ainsi ? Par conséquent, le personnel de sécurité ou la direction peuvent comprendre ce qu'ils doivent faire pour atteindre leurs objectifs de prévention du vol et d'optimiser les processus en magasin. Au lieu d'examiner manuellement des heures de vidéo de vidéosurveillance pour regarder le parcours d'une personne, Black.ai analyse toutes les séquences brutes, réduisant ainsi le parcours de cette personne à une courte vidéo de 15 minutes.
Il y a un grand avantage à travailler avec quelqu'un qui se concentre sur une chose et qui le fait bien.
Sébastien Collier, directeur de la technologie et cofondateur, Black.ai
Bien entendu, la consommation de vidéos susciterait des préoccupations en matière de protection de la vie privée et de sécurité. Black.ai répond à ces préoccupations en consommant de la vidéo du côté du consommateur et en n'utilisant pas de logiciel de reconnaissance faciale. En brouillant les visages et autres marques d'identification, ils rendent impossible l'identification d'une personne en particulier. Ce processus est géré automatiquement.
Ils utilisent plutôt une empreinte digitale abstraite de l'apparence essentielle du corps entier de la personne. Ils utilisent également le suivi basé sur la session, où une personne est suivie pendant qu'elle se trouve dans un endroit, mais une fois qu'elle part et que le temps passe, la session expire. Si la même personne retourne au même endroit plus tard, le logiciel la verra comme une toute nouvelle personne. Rien n'est retenu pour une reconnaissance à long terme.
L'évolutivité de Backblaze soutient notre croissance. Les sauvegardes aident à assurer la sécurité de nos données, et le service est très fiable. Nous aimons pouvoir accéder directement à nos fichiers instantanément à l'aide de Backblaze.
Sébastien Collier, directeur de la technologie et cofondateur, Black.ai
« Nous utilisons une quantité massive de Backblaze B2 Cloud Storage et il fonctionne comme un haut. Notre partenariat avec Backblaze nous a incités à trouver de nouvelles façons d'utiliser le stockage, par exemple en expérimentant la rapidité avec laquelle nous pouvons extraire des données, télécharger des fichiers et utiliser la mise en cache », explique Collier. « L'évolutivité de Backblaze soutient notre croissance. Les sauvegardes aident à assurer la sécurité de nos données, et le service est très fiable. Nous aimons pouvoir accéder directement à nos fichiers instantanément à l'aide de Backblaze. »
Comme Backblaze fonctionne si bien pour Black.ai, ils ont commencé à réviser leur processus, explorant des options pour l'architecture et l'infrastructure. Ils remettent en question les hypothèses, trouvent le moyen le plus rapide de traiter les données et changent d'attitude quant à l'utilisation de Backblaze B2 Cloud Storage. Pour équilibrer la vitesse et le coût, ils prévoient expérimenter la mise en cache, éventuellement la formation sur l'apprentissage automatique et l'étalonnage.
Collier conclut : « L'objectif à l'avenir est de trouver comment trouver le juste équilibre entre la vitesse et les coûts. »
Vultr a été fondée en 2014 avec pour mission de simplifier le cloud et de donner aux développeurs la capacité de déployer rapidement et facilement une infrastructure dans le nuage. Vultr fournit un approvisionnement sans friction du stockage en nuage et des serveurs bare-metal. L'entreprise emploie 25 centres de données dans le monde entier pour fournir des serveurs informatiques en nuage fiables et performants à ses clients.
