Depuis 2013, Backblaze a recueilli, trié et publié les taux de défaillance annualisés (RAF) et les statistiques connexes sur les disques durs (HDD) et les disques SSD (SSD) de nos centres de données. Cette collection est le jeu de données Backblaze Drive Stats. Chaque trimestre, nous publions des mises à jour de l'ensemble de données qui sont open source et peuvent être téléchargées à l'aide des liens dans leTéléchargement du jeu de données des Drive Stats» section ci-dessous.
Nous publions régulièrement nos analyses, observations et observations basées sur l'ensemble de données sur les statistiques du disque dur sur le Blog Backblaze, qui comprend les rapports trimestriels sur les Hard Drive Stats et les rapports SSD, ainsi que des sujets connexes tels que le coût de stockage, la courbe de la baignoire et les disques durs, et plus encore.
Comment nous recueillons les données
Chaque jour, dans chaque centre de données Backblaze, nous prenons un instantané de chaque disque opérationnel. Cet instantané comprend des informations de base sur le disque ainsi que les statistiques S.M.A.R.T. rapportées par ce disque. L'instantané quotidien d'un disque est un enregistrement ou une rangée de données. Tous les instantanés de disque pour une journée donnée sont rassemblés dans un fichier composé d'une ligne pour chaque disque actif. Le format de ce fichier est un fichier « .csv » (valeurs séparées par des virgules). Chaque jour, ce fichier est nommé au format YYYY-MM-DD.csv, par exemple 2024-03-25.csv.
Comment les données sont organisées
Le schéma des statistiques de disque comprend les champs que Backblaze inclut pour chaque enregistrement de disque et les attributs S.M.A.R.T. bruts et normalisés signalés par chaque disque.
Veuillez noter que des changements de schéma d'un trimestre à l'autre se produisent, vous devez donc toujours vérifier ces changements chaque trimestre et aligner les données pour refléter tout changement.
Comment utiliser les données
Le jeu de données Drive Stats est open source et vous pouvez le télécharger ci-dessous. Tout ce que nous demandons est ce qui suit :
As well as the compressed CSV files listed below, we maintain a copy of the Drive Stats dataset in Apache Iceberg table format. You should be able to use the following read-only credentials to query the dataset from any tools that support Apache Iceberg:
Application Key ID (AWS Key ID): 0045f0571db506a0000000017
Application Key (AWS Secret Key): K004Fs/bgmTk5dgo6GAVm2Waj3Ka+TE
Endpoint URL: https://s3.us-west-004.backblazeb2.com
Region: us-west-004
Bucket: drivestats-iceberg
Path Prefix: drivestats
See the blog post Iceberg on Backblaze B2 for comprehensive instructions on how to directly query the Drive Stats dataset from Trino, Snowflake, and DuckDB.
À compter de 2016, nous avons téléchargé l'ensemble de données Drive Stats pour un trimestre donné. Avant 2016, les ensembles de données téléchargés étaient annuels (2013, 2014 et 2015). Chaque élément répertorié ci-dessous est un fichier ZIP contenant les fichiers .csv pour le trimestre ou l'année désignés.
Maintaining drive health is affected by a variety of factors, including where and how you store the drive, how you use the drive, and so on. Over the years, we’ve seen that even drive models from the same manufacturer have variable reliability.
To minimize hard drive issues and maximize your data durability, regularly back up your data, ensure proper ventilation and stable temperatures for your drives, handle them carefully to avoid physical shocks, and consider monitoring S.M.A.R.T. data for early warning signs of potential problems.
Backblaze's data shows that while annualized failure rates (AFR) vary by drive model and age, a large majority of drives operate reliably for many years, often exceeding four or five years with low failure rates. The overall lifetime AFR across all drives in their fleet remains very low, indicating general robustness.
Backblaze makes this data publicly available for transparency and to champion the open cloud philosophy. By open-sourcing the data, they foster trust, allow the community to analyze and leverage the information, and contribute to a more open and collaborative understanding of cloud infrastructure and hard drive reliability.
Backblaze collects this data by taking a daily snapshot of each operational drive in their data centers. This snapshot includes basic drive information and all of its S.M.A.R.T. statistics, which cover aspects like hours running, temperature, and bad sectors.