Windows VM에서 Tracert가 1 hop만 인식하는데요?

얼마전, VMware Cloud on AWS 환경의 Windows VM 중 일부 VM에서 이상한 현상이 있었습니다.

 

운영 중 네트워크 경로 확인을 위해 종종 Tracert를 사용하는 경우가 있는데,

몇몇 VM들에서만 Tracert 결과가 같은 네트워크가 아님에도 불구하고 어디든지 1 hop만에 결과를 보여줬습니다.

정상적인 결과라면 VM의 게이트웨이를 먼저 찍고, 그 다음 hop별로 시간을 확인시켜줘야 했지만,

항상 최종 목적지에 대한 결과만을 보여줬습니다.

 

이상하게도 문제가 있는 VM들은 Linux VM은 하나도 없었고, 모두 Windows VM이였으며,

같은 호스트 위에서 같은 OS 버전과 같은 네트워크를 사용하는 윈도우 VM이라 하더라도

정상적인 VM도 있고 비정상적인 VM도 존재했었습니다.

 

그래서 Windows의 네트워크 구성부터 확인을 시작했습니다.

IP는 정상적으로 구성되어 있었고, ipconfig 상에서도 정상적으로 보였습니다.

 

 

통신 확인을 위해, 게이트웨이와 상대방 목적지까지의 Ping도 정상적으로 확인되고 있었고,

애플리케이션 통신이나 서비스에도 전혀 문제가 없었습니다.

 

 

혹시나 하는 마음에 라우팅 테이블도 확인해 보았지만 특별한건 찾아볼 수 없었습니다.

 

 

답답한 마음으로 다양한 검색어로 구글링도 해본 결과,

다른 곳에서도 드물게 발생하는 일이였으나, 어디서도 확실한 해답을 찾을수는 없었습니다.

그러던 도중, Windows나 네트워크 내부에 Proxy 서버 구성이 되지 않고서는 그럴리가 없다는 답변을 하나 찾았습니다.

지푸라기라도 잡는 심정으로, 즉시 VMware Cloud on AWS 내부와 Windows 내부에 샅샅이 확인해 보았지만,

그 어디에서도 proxy 서버 구성은 확인되지 않았습니다.

 

결국 Windows 운영체제 상에서 패킷을 잡아 보았습니다.

그런데 정상적인 Tracert라면 TTL=1 부터 시작해서 3번씩, TTL을 점차 늘리면서 ICMP 패킷을 보냈어야 하지만,

모든 요청이 TTL 128로 고정되어서 나가는 것을 확인하였습니다.

TTL이 128이다 보니, 왠만한 네트워크는 128 hop 안에 들어왔고, 결과가 하나밖에 나올 수 없었던 것이였습니다.

 

이 현상이 OS 이슈일 것이라는 심증은 있지만, 별다른 물증은 없는 상황이였습니다.

이에 VMware Cloud on AWS상의 네트워크 각 구간별로 다양한 모니터링과 테스트를 진행했지만,

어떠한 이상도 확인되지 못하였고, 결국 문제는 OS의 이슈로 정리되는 듯 싶었습니다.

 

그런데, 타 사이트에서 비슷한 이슈가 있다는 소식이 전해졌고, 아래의 KB가 전달되었습니다.

타사이트는 다른 이슈였으나, Tracert가 1 hop만 확인되는 상황이 같다고 공유 받았습니다.

https://kb.vmware.com/s/article/79185

 

KB는 VMtools v11.x와 Windows VM간의 호환성 이슈가 있다는 내용이였습니다.

VMware Cloud on AWS는 vSphere 7.0으로 KB에 나와 있는 vSphere 버전보다는 높았지만,

우리는 구성 당시 최신 VMtools 버전인 v11.1.1을 사용하고 있었기 때문에 가능성이 있어보였습니다.

 

 

다만, 아직까지 패치된 정식 버전은 출시전으로,

일단 workaround로 되어 있는 NSX Network Instropection 기능을 제거하기로 하였습니다.

급히 최신버전인 v11.2.4로 업그레이드를 하면서 NSX Network Instropection 기능을 제외 하였습니다.

VMtools 업그레이드가 마무리되고 Tracert부터 확인하자, 거짓말처럼 Tracert의 결과가 정상적으로 나타났습니다.

 

혹시 vSphere 위에 설치된 Tracert의 결과가 1 hop만에 나타난다면, VMtools 버전부터 확인해보시길 바랍니다.

 

 1. 현상 : VMtools 11.x가 설치된 Windows VM 중 일부 VM에서 Tracert 결과가 1 hop으로 표시
 2. 원인 : Windows OS와 VMtools 11.x 일부 기능의 호환성 이슈
 3. 해결방안 : Microsoft와 VMware간 패치 개발 협업 중
 4. 대응방법 : VMtools의 일부 기능 제거 또는 버전 다운그레이드(재부팅 필요)
   1) VMtools의 11.x의 NSX Network Instropection 기능 제거
   2) VMtools 10.3.x 버전으로 다운 그레이드
 5. 관련 KB : https://kb.vmware.com/s/article/79185