Incident majeur chez Media Temple, 3000 clients impactés

media-templePlus de 100 000$, c’est ce que Media Temple (Los Angeles) devra rembourser à ses clients dans le cadre du dédommagement pour les 38 heures d’interruption de service ! C’est l’inconvénient des architectures hautement distribuées, elles sont très robustes, scalables, les incidents sont gommés par la taille des clusters mais en cas de défaillance matérielle importante, c’est majeur et c’est très grave !

En l’occurrence, il s’agit ici d’une défaillance du système de fichier, rendant inopérant l’accès aux données. La bascule vers le système de backup c’est faite dans la minute, mais là incident sur le contrôleur principal du backup rendant l’opération infructueuse… le détail de l’opération est consultable ici.

Résultat, un cluster de 3000 clients sans  système disque de backup, et un système primaire corrompu. La seule solution était serveur-media-templede reconstruire le premier système. Malheureusement, ce cluster contenait presque 3 To de données répartis dans plus de 80 millions de fichiers, du coup, 38 heures de reconstruction avant la remise en ligne.

Que retenir de cet incident. Que la vraie redondance demande des architectures multi sites. C’est une condition absolument nécessaire qui permet de se prémunir de la plupart des incidents majeurs de ce type.

Bien sur la difficulté sera de faire l’aiguillage entre ses différentes plate-formes. Il faudra également passer du temps à mettre en place un système de réplication intelligent entre les sites, mais la vraie haute disponibilité est à ce prix.

Si vous souhaitez mettre en place ce type de sécurité nous pouvons en discuter, et si vous avez déjà une architecture distribuée sur plusieurs sites, n’hésitez pas à nous en faire part !

Sources :

Sur le même thème :

2 Responses to “Incident majeur chez Media Temple, 3000 clients impactés”

  1. John Bouday says:

    100000$ au total, ca fais pas beaucoup par clients.

  2. Marc says:

    Effectivement merci pour la remarque, 100000$ / 3000 = 33$ par client, soit environ 1$ par heure de coupure et par client… c’est tout simplement ridicule.

Leave a Reply