Haute-Disponibilite

Wikipedia et Wikimedia sont parmi les sites les plus consultés au monde, mais comment fonctionnent ces sites. Et bien tout est dans le document de Domas Mituzas. Cet article traite la mise en place des logiciels suivants : Linux, PowerDNS, LVS, Squid, lighttpd, Apache, PHP5, Lucene, Mono, Memcached.

Il explique également comment ils utilisent les ressources de leur CDN, comment ils optimisent les caches, comment se fait le profiling du code PHP, la gestion des bases de données.

Une autre partie concerne la répartition entre les différents datacenter, et comment sur chaque datacenter LVS et Squid se partage la charge.

Lire la suite »

Une vidéo décrivant l’architecture technique mise en place pour répondre aux requetes du site YouTube.

Cette vidéo fait un rapide historique de l’évolution du site puis décrit les point suivants :

• L’architecture des serveurs Web

• La mise en place des serveurs de vidéo

• L’optimisation de serveurs de vignettes (Thumbnail)

• Et enfin quelques mots sur la base de données.

Un seul reproche, certaines parties sont ‘cachées’, essentiellement à propos de l’architecture réseau et des bases de données. C’est dommage car pour ce type d’architecture la bande passante devient un point important et un goulot d’étranglement potentiel.

Il n’en reste pas moins que c’est toujours utile, certaines astuces sont bonnes à prendre.

pNFS (pour NFS parallèle) est une extension du protocole NFS v4, une de ses particularités est la possibilité de le faire fonctionner en mode cluster. Chaque client NFS pouvant accéder aux fichiers grâce à une lecture parallèle sur plusieurs serveurs.

De mon point de vue c’est un des rares points qui manquait à ce protocole. Et dans quelques années je pense qu’il ne sera plus possible d’imaginer le NFS sans ce type de fonctionnalité.

Il ne restera plus qu’à gérer le RAID sur ce type de clusters pour avoir un protocole robuste, rapide et tolérant aux pannes. Pour le moment je ne connais pas de distribution intégrant ce module, si vous en connaissez je suis preneur.

Sinon vous trouverez plus d’informations ici : http://www.pnfs.com/

Update  : En complément n’oubliez pas de consulter la page de référence des commandes Python

Voici un petit tutorial pour installer ce que je considère comme étant le meilleur couple pour éditer du Python, a savoir :

Eclipse + PyDev.

Pour installer Pydev dans Eclipse vous devez aller dans le menu d’installation :

Selectionner ‘Search for new features for install’

Dans l’écran suivant, cliquez sur ‘new remote site’

Configurer la fenêtre avec cette URL : http://pydev.sourceforge.net/updates/
NOTE: Si vous souhaitez utiliser la version commerciale, vous devez utiliser l’URL suivante : http://www.fabioz.com/pydev/updates

Lire la suite »