Lustre : Système de fichier hautement distribué

lustre systeme de fichier La mise en place d’un espace de stockage partagé est généralement effectué via un partage simple (comme NFS) mais pour le rendre et distribué et gérer des milliers de serveurs, cette architecture n’est plus adaptée.

C’est pour ce type d’architecture hautement distribuée que Lustre à été crée. Lustre est un système de fichier robuste, hautement disponible et sécurisé. Ce système est aujourd’hui maintenu par Sun Microsystems dont l’un des objectifs est de l’inclure dans Solaris (via ZFS), en France il est par exemple utilisé par le CEA.

Il n’est bien sûr pas question d’utiliser ce type de système pour une architecture Web ‘simple’ mais dans le cas d’un système de type Clouds, Lustre peut être une alternative à des NAS relativement couteux.

Aujourd’hui la plupart des super calculateurs massivement parallèles utilisent ce système avec des débits de plusieurs dizaines de GB/sec et des milliers de nœuds.

hadoop-logo Les autres alternatives comme Hadoop (Apache/Java),  GFS (Google) ou PVFS n’ont pas d’implémentation libre aussi fiables. Sauf peut être Hadoop qui est déployé actuellement chez Yahoo par exemple.

Pour terminer, si ce sujet vous intéresse vous pouvez consulter cette vidéo :

lustre-video

Source : http://www.sun.com/software/products/lustre/

Sur le même thème :

3 Responses to “Lustre : Système de fichier hautement distribué”

  1. Quels sont alors les différences entre Hadoop et Lustre ?

  2. Marc says:

    Le design d’Hadoop lui permet de fonctionner sur des PC/serveurs basiques. C’est une implémentation proche du GFS de Google, faite pour être très tolérante aux pertes de machines. De plus c’est du Java, alors que Lustre est intégré directement dans l’OS, dans le coeur du système ou en tant que drivers. Avec Lustre le file system est vu comme une nouvelle partition par le système.

    Enfin Lustre est un peu plus lourd à mettre en place, en fait il s’applique surtout aux grosses infrastructures de ‘Supercomputer’ de type Cray, IBM Blue Gene, etc..

    Denier point pour Lustre, il permet de mettre en place MapReduce quasi nativement, programme indispensable si vous avez besoin de travailler avec quelques TeraByte de données (pour de l’analyse, de la consolation ou de l’indexation par exemple).

  3. [...] un exemple concret d’utilisation du système de fichier Lustre dont je vous parlais dans ce billet. En effet pour gérer de tels volumes il n’existe pas beaucoup de solutions sur le marché. [...]

Leave a Reply