Découvrons les différentes couches que traversent les I/O lorsqu’une VM souhaite lire ou écrire sur son disque virtuel (VMDK).

1. Lorsqu’une application ou système d’exploitation d’une VM souhaite effectuer des opérations de lecture ou d’écriture sur son disque virtuel, ils envoient des commandes SCSI vers le VMDK.
2. Un driver installé dans le système d’exploitation invité de la VM va permettre au contrôleur SCSI virtuel de transférer les données au VMkernel. La VM va utiliser l’émulation SCSI via son contrôleur SCSI virtuel pour rediriger les demandes I/O clientes vers le VMkernel de l’ESXi
3. Le Vmkernel va localiser le fichier correspondant au disque de la VM sur le volume VMFS. Il va mapper les requêtes des blocs du disque virtuel (VMDK) vers les disques physiques du volume VMFS.
4. En fonction du type de disque virtuel, les demandes I/O peuvent traverser différentes couches qui gèrent la transcription du VMDK (Snapshot, Vmfs, Nfs, Rdm, etc …)
5. Les demandes d’I/O sont prises en charge par le scheduler d’I/O au sein du VMkernel. C’est lui qui gère les demandes en I/O de toutes les VMs depuis et vers les périphériques physiques. Le scheduler d’I/O va transmettre les demandes à l’architecture PSA.
6. L’hyperviseur ESXi, utilise un ensemble d’API de stockage, appelé également PSA (Pluggable Storage Architecture). La PSA permet de gérer les multiples chemins d’accès, l’équilibrage de charge et les mécanismes de bascule des multiples périphériques de stockage présentés aux ESXi. La PSA est une structure ouverte permettant aux développeurs de logiciels tiers de concevoir leurs propres techniques d’équilibrage et/ou mécanismes de basculement pour des baies de stockage particulières. Cela leurs permet d’insérer leur code directement sur le chemin des I/O. Lire la suite ›

Deepdive – VMware ESXi I/O Scheduler & Queue Depth.

La Queue Depth, une histoire de SAN et de protocole d’accès en mode bloc.

Les entreprises se sont souvent équipées de baies SAN (Storage Area Network). Ce stockage avec accès en mode bloc est souvent utilisé avec des applications transactionnelles, bases de données, messagerie ou autres.

Les baies SAN utilisent des protocoles d’accès comme le Fibre Channel ou iSCSI et partagent leur volumétrie sous forme de volumes logiques (LUN). Ces LUNs sont utilisables comme des disques locaux par les serveurs et accessibles en mode bloc.

Les baies NAS mettent quant à elles leur capacité disponible à disposition des serveurs sous la forme d’un partage réseau accessible via un protocole de partage de fichiers en réseau comme NFS ou CIFS (le protocole de partage de fichiers en réseau de Windows aussi connu sous le nom SMB).

Dans une infrastructure virtualisée, on estime à plus de 80% les problèmes causés par le stockage. L’un des points majeur à surveiller avec du stockage en mode bloc et ce qu’on appel la profondeur de la file d’attente « queue depth ». De nos jours, les baies SAN sont plus intelligentes et capables de prendre en charge de nombreuses actions réalisées dans le passé par la couche de virtualisation. Bien que les éditeurs de solution de virtualisation et constructeurs de baie SAN aient fait un énorme travail sur le développement d’API et des nombreuses primitives permettant de rendre les baies de stockage plus intelligentes en leur délégant de nombreuses tâches. Sur des environnements conséquents, il n’en reste pas moins que le problème des files d’attentes (Queue Depth) et lié aux protocoles d’accès utilisé pour accéder à la donnée.

Lire la suite ›