Choisir son hébergement : L’exemple de YouTube

photo baies de serveursChoisir un hébergeur n’est pas une chose simple. Le nombre de paramètre à prendre en compte est important et la durée de l’engagement l’est aussi. En effet choisir un hébergeur pour les 6/12 premiers mois d’activité ne se fait pas de la même manière pour le choix d’un partenaire qui accompagnera sa croissance sur plusieurs années. Il est assez rare que le même prestataire soit idéal sur ces deux phases d’ailleurs.

L’exemple de YouTube est assez intéressant de ce point de vue. A l’époque du lancement il n’existait pas de service de type Amazon ou Google Apps les fondateurs de YouTube ont donc opté pour la location de serveurs managés par un prestataire (le coût et la rapidité de mise en place étaient prioritaires).

Bonne idée car ils n’étaient pas expert dans ce domaine et souhaitaient se concentrer sur le cœur du système : l’application Python permettant l’upload et le stockage sur Clusters des vidéos. Avec la croissance exponentielle du trafic la location de serveurs n’était plus économiquement viable. De plus l’hébergeur en question avait une architecture réseau qui ne correspondait plus vraiment aux flux qui devaient transiter entre les machines. Enfin le besoin en bande passante, problème n°1 devait se régler directement avec des opérateurs.

C’est pour cette raison qu’ils ont décidé de migrer vers la location d’un espace privé dans un Datacenter. Les principaux avantages ont été :

  • La possibilité de négocier directement la bande passante sans passer par un intermédiaire (c’était devenu obligatoire car payer plus d’un million de dollars de connectivité IP par mois nécessite de pouvoir négocier en direct, avec Level 3 à l’époque)
  • La mise en place d’une architecture réseau dédiée (Le réseau est basé sur de multiples liens 10Gb)
  • La configuration des serveurs de cluster sur mesures (du RAID 10 pour les BDD MySQL,des réglages sur mesure du SATA pour optimiser les accès disques, etc…)
  • Pour les autres détails sur l’architecture je vous conseille de regarder cette vidéo : l’architecture de YouTube. Sur le même thème vous pourrez aussi consulter cette page : l’architecture technique de dailymotion

ecran problème youtubeAvant le rachat par Google Youtube était répartit sur 5 datacenter, aujourd’hui l’intégration dans les fermes Google permet de se focaliser sur les nouvelles fonctionnalités.

Malgré tout maintenir un service aussi important reste un défit de chaque jour. Et même si les incidents sur cette plateforme restent assez confidentiels ils existent (le dernier, le mois dernier a durée quelques dizaines minutes, l’application était toujours fonctionnelle mais le CDN délivrant les fichiers statiques ne fonctionnait plus) écran ci-contre.

Que retenir de cette expérience : Qu’aujourd’hui si vos besoins systèmes ne sont pas trop exotiques et que vous n’avez pas une excellente visibilité sur vos besoins à un an une offre infogérée ou grid peut-être une bonne solution pour commencer. Mais à partir d’un certain cap l’achat des ‘matières premières’ en direct (serveur, m2, transit IP, etc…) vous permettra de faire des économies substantielles.

Je pense qu’a partir de plusieurs dizaines de serveurs, ils faudra commencer à bien renégocier avec votre fournisseur (qui deviendra de fait un quasi partenaire) ou penser mettre en place votre propre structure. Mais attention, le point de pivot n’est pas facile à trouver et il arrive en général à un moment ou les priorités sont toutes autres…

Si vous avez migrer votre plate forme et si vous voulez partager vos expériences sur ce sujet, n’hésitez pas, la lecture de vos messages me prouve que c’est un sujet important pour beaucoup d’entre vous et vos retours d’expériences nous serons donc très utiles.

Sur le même thème :

One Response to “Choisir son hébergement : L’exemple de YouTube”

  1. baptiste says:

    Bravo pour votre site !

Leave a Reply