L’architecture et les bases de données du site Digg

diggLe site Digg est connu pour être un énorme fournisseur de visiteurs (surtout quand vous êtes sur la première page) mais comment gèrent-ils leur propre trafic. Pour vous donner un ordre d’idée, il y a six mois Digg drainait plus de 20 millions d’utilisateurs et 220 millions de pages vues par mois. Ce trafic représente une moyenne constante de plus de 100 requêtes par seconde… Pour gérer tout ça nous retrouvons un petit ensemble de mots magiques : Debian, MySQL, Memcached, MogileFS, Python, PHP, Apache..

Comme d’habitude dans ce type d’architecture le principe consiste à mettre en place des clusters de serveurs. Chaque cluster étant dédié à une fonction bien précise : Web, base de données, serveur de fichiers.. Les serveurs de ces clusters sont auto-répliqués et la perte d’une machine n’impacte pas directement le système. Vous aurez un peu plus d’information directement sur le blog de Digg.




Concernant les bases de données, elles sont splittées par Pool en fonction de l’utilisation, là encore les débuts étaient assez classiques (réplication Master -> Slave). Mais comme vous le savez déjà peut être cette technique montre vite ses limites quand les écritures en base ne sont pas proche de zéro… La encore il existe un post dédié à cette problématique sur le blog de Digg (vous pourrez y lire également quelques informations sur le monitoring des bases de données et sur les interfaces d’accès aux données).


trafic-mysql

Et pour finir, si vous voulez faire un petit tour virtuel chez Digg je vous laisse découvrir cette petite vidéo :



Safe For Work from Digg Meetups on Vimeo.



Sources :

Sur le même thème :

2 Responses to “L’architecture et les bases de données du site Digg”

  1. mathieu Elie says:

    Architecture de digg, dailymotion ou wikipedia…

    On ne sait pas toujours comment ca se passe techniquement chez de gros services comme facebook, digg ou wikipedia. Le site haut disponibilité sera une bonne entrée en matiére si vous avez, comme moi, la curiosité d’en savoir un peu plus sur l…

  2. emilie dirly says:

    Très interressant comme article, ils vont bientôt pouvoir alleger leurs ressources car apparemment leur trafic serait en baisse.

Leave a Reply