최소 규모의 Connected VPC subnet 사이즈

VMware Cloud on AWS를 실제 서비스 운영수준으로 배포하기 위해서는 반드시 AWS의 계정에 연결해야 합니다.

배포되는 SDDC는 VMware가 소유하는 VPC 내에 배포되기 때문에 native AWS 서비스에 자유롭게 연결될 수 없으며,

연결된 사용자계정을 통해서만 native AWS의 서비스들과 사용자 SDDC와 연결하여 사용할 수 있습니다.

 

즉, 사용자의 SDDC는 VMware가 소유한 VPC 내 EC2 베어메탈을 이용하여 배포되기 때문에,

사용자는 VMware가 소유한 VPC에 직접적으로 접근이나 제어가 불가능합니다.

따라서, 사용자는 SDDC 내 구성된 vCenter와 서비스형태로 제공되는 VMware Cloud Console를 통해 SDDC를 관리하며,

연결된 VPC의 소유 계정을 통해 native AWS의 서비스들과 SDDC를 연동합니다.

 

이 때 연결되는 사용자의 AWS 계정 내 구성된 VPC의 subnet은,

subnet이 위치한 AZ와 동일한 AZ에 VMware에서 관리하는 전용 VPC를 생성하고,

해당 VPC 내 사용자의 SDDC가 구성되도록 위치를 정의하는 역할을 담당합니다.

 

또한, Cloud Formation을 통해 subnet 내부에 전용 ENI를 생성하여 해당 ENI와 SDDC 내 host들과 1:1으로 연결합니다.

해당 ENI는 SDDC와 native AWS 서비스간의 자유로운 연결을 위해 활용될 수 있습니다.

여기서 사용되는 사용자의 VPC를 Connected VPC라고 부릅니다.

 

Connected VPC는 VMware Cloud on AWS가 배포될 수 있는 어떤 리전도 상관없습니다만, 

Subnet은 SDDC와 연결을 위한 최소한의 크기가 있습니다.

그럼 이 subnet은 권장 크기는 얼마이며, 최소 크기는 얼마일까요?

 

정확한 문서로 정의되어 있지는 않지만, 사용 가능한 최소 크기는 추정이 가능합니다.

기본적으로 VMware Cloud on AWS와 subnet이 연결되면, 기본적으로 사용하는 IP의 수량이 있습니다.

또한, VPC 내 subnet 생성시 AWS에서 상에서 예약된 IP의 수량이 있습니다.

즉, subnet의 크기는 가용 IP에서 AWS에서 예약된 IP와 VMC에서 사용될 IP를 빼고도 IP가 남아야 합니다.

 

먼저 AWS에서 subnet 생성시 사용가능한 IP는 전체 subnet 크기에서 5개 만큼 빠진 수량입니다.

이는 모든 subnet에서 동일하며, 네트워크 주소로 1개, 게이트웨이로 1개, DNS로 1개,

미래사용을 위한 예약 1개, 브로드캐스트 주소로 1개가 예약되고 있습니다.

https://docs.aws.amazon.com/vpc/latest/userguide/configure-subnets.html

 

그 다음으로 VMware Cloud on AWS와 subnet 연결시 사용한 IP를 계산해 보겠습니다.

기본적으로 SDDC의 클러스터별로 최대 16대의 Hosts가 연결될 수 있으며,

각 Host별로 subnet과 연결되는 ENI를 1개씩 미리 할당하여 생성합니다.

생성된 ENI의 Description에는 'VMware VMC Interface DO NOT USE'라고 표기되어 있으며,

사용자가 임의로 수정을 정책적으로 허용하지 않습니다.

 

물론 모두가 In-use 상태는 아니고 Edge가 위치한 Host에 연결된 ENI만 In-use 상태로 보여집니다.

그럼 1개 Host를 제외한 나머지 15개의 ENI 인터페이스는 Available 상태로 생성은 되어 있지만,

평상시에 사용은 하지 않는 상태입니다.

 

추가적으로 Host의 장애가 발생하거나 업그레이드 등의 이유로 1개의 예비용 ENI가 생성되게 되며,

최종적으로 클러스터 크기와 상관없이 총 17개의 ENI가 생성됩니다.

 

실제 사용시 확인해보면 연결되어 사용하는건 한번에 1개입니다.

하지만, 클라우드 환경인지라, 사이즈에 상관없이 표준화된 관리 방안을 따르고 있으며,

AWS의 콘솔창에서 미리 생성된 총 17개의 ENI 인터페이스를 확인할 수 있습니다. 

 

또한, In-use인 ENI에는 Secondary IP가 있습니다.

해당 IP는 S3 연동을 위해 사용되는 IP로 모든 ENI에 할당된 것이 아니라, In-use 상태인 ENI를 따라 이동하는 IP입니다.

즉 기본 ENI 17개를 위한 IP 17개와 S3를 위한 IP 1개 총 18개의 IP가 필수적으로 필요합니다.

 

 

 

위 내용들을 정리해 보겠습니다.

 

1. AWS VPC 내 예약된 IP : 총 5개

    1) 네트워크 규정상 사용되는 IP : 2개

        - 각 subnet의 첫번째 IP : 네트워크 전체를 대표하는 네트워크 IP

        - 각 subnet에서 마지막 IP : 서브넷 내 네트워크 Broadcast 주소

    2) 추가적으로 AWS에서 예약된 네트워크 IP : 3개

        - 두번째 IP : VPC 라우터를 위해 예약

        - 세번째 IP : DNS 서버를 위해 예약

        - 네번째 IP : 미래 사용을 위해 예약

 

2. VMware Cloud on AWS에서 예약하는 IP 주소 : 총 18개

    1) ENI 사용을 위해 사용되는 IP : 17개

        - 클러스터 내 Host 별 1개 : 16개 

        - Host Fail시 신규 Host 추가를 위해 예약 IP : 1개

    2) S3 연결을 위해 사용되는 Secondary IP 주소 : 1개

        - 기본으로 Enable 상태로 구성되며, Disable해도 IP 할당은 유지

        - Host Fail 등 이슈 발생시에 In-use 되는 ENI의 Secondary IP로 이동하여 지속적으로 사용

 

즉, Connected subnet의 네트워크에서는 최소 23개의 IP가 제공되어야 하며, /27 이상의 크기를 가져야 합니다.

일반적으로는 /24가 사용되고 있으며, 이 경우 256개 IP 중 233개가 사용이 가능합니다.

 

Subnet Mask	NetMask		최대 IP수량	AWS 예약 IP 수량	VMC IP 수량	사용 가능 IP 수량	기타
/28	255.255.255.240		16	5	18	-7	사용 불가
/27	255.255.255.224		32	5	18	9	최소 크기의 subnet
/26	255.255.255.192		64	5	18	41
/25	255.255.255.128		128	5	18	105
/24	255.255.255.0		256	5	18	233	일반적 크기의 subnet

 

실제 AWS의 Console상에서 VPC의 정보를 보면 아래와 같이 확인됩니다.

 

• a subnet : VMC와 연결된 /24의 connected subnet, 사용 가능한 IPv4 수는 총 233개
• b subnet : 기본적으로 생성된 /24의 일반 subnet, 사용 가능한 IPv4 수는 총 251개

Name	subnet-a	subnet-b
subnetmask	/24	/24
VMC 연결	O	X
사용 가능한 IPv4 주소	233	251
IPv4 주소 계산	전체 사용 가능 256개 - AWS 예약 IP 5개 - VMC 예약 IP 18개	전체 사용 가능 256개 - AWS 예약 IP 5개

 

Connected Subnet의 경우 SDDC 배포후에는 변경이 어려움으로 신중한 결정이 필요합니다.

따라서 처음부터 타이트한 수량만을 남겨두기보다는, 앞으로의 확장 사용등을 고민하여 /24를 사용하는 것이 좋습니다.