i3en.metal의 vSAN Diskgroup 구성

NVMe는 Non Volatile Memory express의 약자로 

SSD에 맞춰 초고속 데이터 전송을 할 수 있도록 향상된 인터페이스와 프로토콜을 제공합니다.

기존의 SATA와 SAS에서 사용하던 SCSI 계층을 제거하고, PCIe 인터페이스를 통해 CPU와 더 빠르게 통신할 수 있습니다.

 

또한, namespace 기능을 이용하여 효율적인 Disk 사용이 가능합니다.

NVMe에서 namespace 기능은 하나의 Disk를 여러개의 논리적 Disk로 분할하여 별도의 Disk로 보여지게 만들어 줍니다.

이렇게 만들어진 논리적 Disk는 또 다시 파티셔닝을 통해 다수의 Disk로 나뉘어 사용할 수도 있습니다.

물리적으로는 하나의 Disk지만, Disk 내에서의 보안이 더욱 강화되어 사용자별로 완벽한 분리가 가능합니다.

AWS에서 제공되는 많은 EC2에서 NVMe 기반의 SSD를 제공하고 있으며,

VMware Cloud on AWS에서 사용되는 i3.metal과 i3en.metal은 모두 NVMe를 기반하는 SSD를 사용합니다.

각 베어메탈 인스턴스는 총 8개의 NVMe 기반 SSD로 구성되어 있으며, 2개와 4개의 Disk Group을 가지고 있습니다.

 

   - i3.metal : 1.74TiB SSD 8개(, Disk Group 2개

   - i3en.metal : 7.5TiB SSD 8개, Disk Group 4개

 

여기서 Disk Group이란 vSAN에서 데이터를 저장할 때 사용되는 그룹으로,

개별 데이터들은 작은 단위로 쪼개서 다수의 Disk Group에 분산되어 저장됩니다.

Disk Group의 경우 필수적으로 1개의 Cache Tier와 최소 1개, 최대 7개의 Capacity Tier로 구성되어 있으며,

그 결과 하나의 Disk Group은 최소 2개의 Disk에서 최대 8개의 Disk로 구성되게 됩니다.

 

   - Disk Group = 1개의 Cache Tier + 1개~7개의 Capacity Tier

 

VMware Cloud on AWS에서 사용되는 i3.metal과 i3en.metal도

VMware의 스토리지 솔루션인 vSAN을 기반으로 하기 때문에 당연히 Disk Group을 기반으로 구성됩니다.

 

i3.metal의 경우 8개의 1.72TiB Disk를 4개씩 나누어 2개의 Disk Group을 구성하고 있습니다.

즉, Disk Group별로 물리공간 1.72TiB의 Cache와 물리공간 5.16TiB의 Capacity를 가지게 되며,

i3.metal 1대의 경우 물리공간 3.42TiB의 Cache와 물리공간 10.32TiB의 Capacity를 가지게 되는 것입니다.

 

다만, i3en.metal의 경우 8개의 Disk를 4개의 Disk Group으로 나누면, Disk Group별로 2개의 Disk만이 할당됩니다.

이 경우 SSD 용량이 7.5TiB 대용량이라, 2개의 Disk가 Disk Group을 구성하면, Cache 1개 + Capacity 1개로 구성되며, 

각 Disk Group별로 물리공간 7.5TiB의 Cache와 물리공간 7.5TiB의 Capacity를 사용하게 되기 때문에,

Host별로 7.5TiB * 4개 크기의 약 30TiB가 Cache 용량으로 소모되게 됩니다.

 

 

이런 상황을 방지하기 위해 VMware Cloud on AWS에서는 앞서 설명드린 NVMe의 namespace 기능을 활용합니다.

 

i3en.metal에서는 8개의 Disk를 2개씩 나누어 총 4개의 Disk Group을 생성하는 것처럼 보이지만,

실제로는 각 Disk를 NVMe의 기술을 이용하여 4개의 namespace로 나누어 제공합니다.

즉, vSAN이 인식하는 Disk는 8개가 아닌, 각 Disk가 4개로 쪼개진, 32개의 Disk로 인식합니다.

이중 1개의 논리적 Disk를 Cache Tier로 나머지 7개의 논리적 Disk를 Data Tier로 하는 Disk Group을 생성합니다.

 

정리해보면,

i3en.metal 1대에는 총 8개의 7,500GB SSD가 장착되어 있고, vSAN에서는 이를 4개의 Disk Group으로 나눕니다.

각 Disk Group에서는 namespcae 기술을 통해 Disk별로 4개의 논리적 Disk로 나누어,

Disk Group에 포함된 총 8개의 논리적 Disk 중 1개는 Cache Tier로 7개는 Capacity Tier로 처리합니다.