최적의 데이터 센터를 구축하라

최적의 데이터 센터를 구축하라
액세스 모델 설계시 신중해야 … 新서버 기술 이해도 필요

오늘날 데이터 센터는 컴퓨팅 능력 수용과 데이터 스토리지의 창고이자 기업 네트워크 아키텍처를 구성하는 주요 요소이다. 이런 이유 때문에 데이터 센터는 비즈니스 요구에 부응하고 성장의 가속화를 지원하기 위해 높은 수준의 회복력과 실행력, 유연성을 필요로 한다. 데이터 센터의 액세스 레이어는 기업 서버 팜에 포트 밀도와 접속을 제공한다. 적당한 액세스 레이어 디자인을 결정하는 문제는 변화하는 상황에 쉽게 적응하면서, 기존의 애플리케이션 필수조건들을 두루 지원하는 유연하고, 측정 가능하며, 안전하고, 실행력이 뛰어난 아키텍처를 마련할 때 중요하다. 차세대 서버 팜을 준비하는 사람이라면 PCI-X, 10기가비트 이더넷, 포트 밀도가 디자인 고려 시 어떤 영향을 주는지를 다루는 이 기사가 도움이 될 것이다. 이번 기사에서는 데이터 센터 서비스나 높은 유용성, 스토리지 상호 연결(파이버 채널)이나 서버 상호 연결(인피니밴드) 같은 주요 사안들은 제외되며 추후 다른 기사를 통해 설명할 예정이다.


액세스 계층 설계
액세스 레이어는 서버 팜 측에 물리적으로 연결될 수 있다. 서버 팜 호스트에 의한 애플리케이션에는 다양한 요구 사항들이 있다. 어떤 업무에 중요한 애플리케이션은 듀얼-홈 서비스를 요구하고, 다른 것은 높은 유용성과 확장성을 위한 서버 클러스터링을 요구한다. 어떤 애플리케이션은 레이어 3 프로토콜을 구동하는 메인프레임상에 있으며, 다른 애플리케이션은 레이어 2와 인접 된 복합 1랙 유닛(RU) 서버 상에 놓여 있다(그림 1).

그림 1. 기업 데이터 센터는 복합 액세스 레이어 환경 설정과 통합 모듈을 포함하여, 이는 서버 팜크기를 조정하기 위해 반복된다.


맨위로

레이어 2 액세스 모델 정의
레이어 2 액세스 모델은 IEEE 802.1Q 트렁크를 통해 통합 레이어와 연결된 액세스 스위치라고 정의할 수 있다. 레이어 3 프로세싱의 첫 번째 요점은 통합 스위치(aggregation switch)에 있다. 레이어 3 라우팅은 액세스 레이어 스위치에서 실행되지 않는다. IBM 블레이드센터와 HP 블레이드 시스템에서처럼 통합 레이어 2 시스코 스위치를 사용하는 블레이드-서버(blade-server) 섀시는 <그림 1>에서도 나타난다. 이들은 레이어 2 스위치이기 때문에, 외부 액세스 스위치와 같은 방식으로 통합 레이어에 직접 연결된다. 향후 레이어 2 액세스 모델에 영향을 주는 NIC 티밍(teaming)과 클러스터링 논의가 있을 것이다.

레이어 2모델은 같은 통합 레이어에 연결된 전체 액세스 레이어 스위치를 통해 VLAN(virtual LAN)을 지원함으로써 놀라운 유연성을 제공한다. 이로써 새로운 서버는 모든 애플리케이션 관련 서버가 있는 특정 서브넷(VLAN) 내부의 유용한 랙에 자리하게 된다.


레이어 3 액세스 모델 정의
레이어 3 액세스 모델은 자체 서브넷의(레이어 2 모델에서처럼 802.1Q 트렁크 대신에) 레이어 3 링크를 거쳐 통합 레이어와 연결되는 액세스 스위치라고 정의할 수 있다. 레이어 3 라우팅은 액세스 스위치 상에서 실행된다. 액세스 스위치는 레이어 3 프로세싱 기능을 전부 제공하는 루트 프로세서(route processor)를 포함한다. 스패닝 트리 프로토콜(spanning tree protocol)이 활발하다 해도 블록 포트(blocked port)가 없다. 모든 업링크는 루프된 토폴로지가 없는 관계로 활발히 포워딩되는 것이다.

레이어 3 액세스 스위치는 서버 팜에 레이어 2를 연결할 수 있다. 레이어 2 액세스 모델과는 달리, STP 도메인은 액세스 스위치나 액세스 스위치의 아주 작은 그룹으로만 엄격히 제한된다. 이는 <그림 1>을 보면 레이어 2가 레이어 3 액세스 스위치 사이를 연동시키고 있다는 것을 확인할 수 있다. 레이어3 액세스는 다른 애플리케이션 환경이 고립되거나 서버 안정성과 연관해 소규모 브로드캐스트 도메인으로 서버 그룹을 구분하고, 멀티플 액티브 업링크에 대한 요구사항이 있을 경우에 사용된다.

맨위로

레이어 2 인접 드라이버
레이어 2 인접성(adjacency)이 서버 사이에 존재할 때, 서버는 동일한 브로드캐스트 도메인에 있다. 서버가 레이어 2 인접에 있을 때, 서버는 다른 서버에서 나오는 모든 브로드캐스트와 멀티캐스트(multicast) 패킷을 받게 된다. 두 개의 서버가 동일한 VLAN에 있을 때, 이들은 레이어 2 인접이다. 그러나 사적인 VLAN(PVLAN) 같은 특정 기능으로 인해 레이어 2 인접 서버는 제각각 분리되지만 여전히 동일한 서브넷에 머물 수 있게 된다. 간혹 레이어 2 인접의 요구 사항은 갑작스럽게 나타나거나 간과되기 쉽다. 유용성이 높은 클러스터링과 NIC 티밍의 경우, 레이어 2 인접이 요구될 때 주요 사례가 된다.


클러스터링
서버 클러스터링 실행은 실용성 높은 클러스터인 마이크로소프트 윈도 서버 2003 클러스터 서비스(MSCS)에서 프로세싱 클러스터에 필적할 만한 실행력을 자랑하는 베오울프(Beowulf) 리눅스 클러스터 운영 시스템에 이르기까지 다양하다. 클러스터링의 일반적인 목적은 특별한 소프트웨어와 네트워크 상호연결성, 향상된 확장성, 실행력, 탄력성을 통해 통합 시스템으로 한데 묶어 다중 서버를 관리하는 것이다. 맨 처음 대학과 과학 분야에서 사용된 클러스터링은 현재 높은 실용성 때문에 주로 기업 데이터 센터에서 인기 있는 기술이다.

실용성이 높은 클러스터는 라우팅이 불가능한 클러스터 프로토콜 패킷 때문에 레이어2 인접이 요구하는 방식을 사용한다. 예를 들면 네트워크 트래픽을 청취하는 클러스터 내부의 모든 호스트를 작동시키기 위해 레이어 2 멀티캐스트 패킷을 사용하는 MSCS 클러스터 환경을 들 수 있다.


NIC 티밍
다운 타임이 용납되지 않는 미션 크리티컬한 애플리케이션이 항상 존재한다. 서버와 스위치 싱글 포인트 오류를 없애기 위해, 서버는 두 가지 서로 다른 액세스 스위치에 듀얼 홈(dual homed)이나 페일 오버(fail over) 방식 NIC 티밍 드라이버, 소프트웨어를 사용한다. NIC 티밍 기능의 경우, NIC 벤더가 제공하고 있으며 기업 데이터 센터에서 널리 사용된다.

NIC 티밍 옵션은 일반적으로 세 가지 환경설정 형식 즉, AFT(Adapter Fault Tolerance), SFT(Switch Fault Tolerance) 내지는 NFT(Network Fault Tolerance), ALB(Adaptive Load Balancing)로 나타나게 된다(그림 2).

NIC 티밍의 기본적인 목적은 두 가지 다른 액세스 스위치에 연결된 두 개 이상의 이더넷 포트를 사용하는 것이다. 가끔 두 가지 이더넷 포트는 상이한 라인 카드를 사용하는 싱글 스위치에 연결되기도 한다. NIC 티밍을 위해 환경 설정된 서버에서 대기 중인 NIC 포트의 경우, 실패한 첫 번째 NIC 서버와 같은 IP와 MAC 주소를 사용하며, 이는 레이어2 인접에 꼭 필요하다. 선택적 신호 프로토콜은 활동 중인 NIC 포트와 대기 중인 NIC 포트 사이에서도 사용된다. 프로토콜 중추부는 NIC 오류를 주로 발견하게 된다. 중추부 주파수는 1~3 초 사이에서 조율 가능하다. 이러한 중추부는 멀티캐스트나 방송으로 전달되기 때문에 레이어2 인접이 필요한 것이다.


밀도와 확장성 검토 '필수'
기업 데이터 센터는 전통적으로 수많은 서버 포트를 지원할 수 있는 라인 카드와 모듈러 액세스 스위치를 사용한다. 액세스 스위치 종류는 전략적으로 서버 캐비넷 열의 내부나 끝에 위치하며 열에 있는 서버는 케이블로 연결돼 있다. 이런 시나리오는 유연한 과다신청 수용(flexible oversubscription capacity)을 허용하면서 관리 네트워크 장비의 비율을 서버에서 축소시킨다.

보다 간단한 옵션은 작은 1RU 액세스 레이어 스위치를 캐비넷에 남아있는 케이블링과 함께 각각의 서버 캐비넷에 놓아두는 것이다. 이러한 1RU 스위치 업링크는 통합 스위치에 직접 연결된다. 이 작업은 케이블 부피를 줄여 케이블 시설을 간소화시키는 한편, 랙 앤 스택(rack and stack)을 더 유연하게 만든다.

측정 가능한 액세스 레이어 환경을 만드는데 필요한 조건들이 서로 다르기 때문에, 접속 배합에 신중을 기하는 편이 좋다. 액세스 레이어 모델 선택 시 다음 기준을 참조하면 도움이 될 것이다.

그림 2. ALB(Adaptive Load Balancing), 일반적인 NIC 티밍 솔루션으로 인해 복합 NIC 카드는 스위치 폴트 톨러런스(fault tolerance)을 갖는 동안 아웃바운드 클라이언트 트래픽을 비교 분석할 수 있다.

서버 밀도 : 클라이언트 투 서버, 서버 투 서버, 서버 투 스토리리, 통합 iLO(integrated Lights Out) 대역 외 매니지먼트와 같은 서버 당 필요한 네트워크 연결 숫자와 최대 서버 밀도를 비교하기 위해 가장 효율적인 방법을 주목할 필요가 있다.

네트워크 관리 : 얼마나 많은 네트워크 장비가 네트워크에서 관리되고 있는가? 네트워크 디바이스 투 서버 비율을 네트워크 TCO(total cost of ownership)를 이해하기 위한 기준으로 정하라.

과다 신청 : 업링크 당 과다 신청(Oversubscription) 비율이란 무엇인가? 액세스 스위치 상에서 지원 가능한 실제 서버 수용능력(PCI, PCI-X, PCI-익스프레스)과 업링크 형태(기가비트 이더 채널, 10기가비트 이더넷, 10기가비트 이더 채널)를 염두에 두라. 오래된 PCI 버스 기술에 의해 제한되는 서버는 플랫폼 변경 후에 애플리케이션 트래픽을 큰 폭으로 증가시킬 수 있다.

부적합한 장비 : 표준에 적합하지 않은 장비의 경우 문제 해결 시간뿐만 아니라 요구 사항을 처리하는 능력에서 현저히 떨어진다는 점을 염두에 둬야 한다.

장비 레벨 리던던시 : 애플리케이션을 위한 오류 노출 레벨을 정하라. 그리고 서버가 CPU를 필요로 하는지 아니면 오류의 싱글 포인트를 피하기 위해 전력 리던던시(redundancy)를 필요로 하는지 정하라.

케이블링 : 랙 플로어 엔트리(rack floor entry)를 통하는 케이블 밀도와 관련 있는 케이블링 구성 디자인과 에어 플로우(air flow) 문제를 고려하라.

스패닝 트리 프로토콜 확장성 : 스패닝 트리가 업링크 수와 링크 당 VLAN 수(로지컬 포트 한계, 이더 채널 숫자), 스위치 상에 놓인 VLAN 수에 근거했을 때 그 규모와 실행력은 어떤지 이해하라.

일반적으로 환경을 면밀하게 점검하고, 확장성과 실행속도를 다그치는 요구 사항에 부합할 만큼 유연성을 가지고 있나 확인하는 것이 중요하다. 액세스 레이어에서 가장 많은 영향을 받는 특정 분야는 스패닝 트리 확장성, 케이블링, 10기가비트 이더넷 지원, 포트 밀도, 중복 CPU나 전력이다.

맨위로


대역폭 크기 결정
네트워크 디자이너의 경우, 기가비트 이더채널과 액세스 레이어 스위치 상의 10기가비트 이더넷 업링크 둘 중에서 선택해야 한다. 이더채널 기술은 단일 로지컬 고속 업링크를 제공하는 8기가비트 이더넷 포트까지 번들링을 허용한다. 올바른 액세스 레이어 업링크 전략을 결정하려고 할 때 다음 사항을 참조하기 바란다. 이더채널은 채널 그룹 포트 상의 패킷을 비교 분석하는 방법을 결정하기 위해 각각 다른 해싱(Hashing) 알고리즘을 제공하고 있다. 가장 일반적으로 사용되는 해싱 알고리즘은 IP 소스/목적지쌍이나 레이어 4 포트 번호 소스/목적지쌍을 기본으로 한다. 기가비트 이더채널 업링크를 사용하는 스위치 뒤편의 서버 수와 IP 프로토콜을 어떻게 사용하는가의 문제는 트래픽이 이더채널을 통해 얼마나 잘 비교 분석되는가 하는 정도에 지대한 영향을 미친다. 알고리즘이 채널 상의 모든 포트를 거치는 트래픽의 균형을 맞출 수 없다면, 통합 작업처리량의 수준은 떨어진다. 트래픽 특성을 점검하고 사용에 적합한 해싱 알고리즘을 결정하라. 작업량 분배가 적절히 이뤄지지 않을 경우, 10기가비트 이더넷이 기가비트 이더채널 보다 더 나은 솔루션을 제공할 것이다.

최신 서버 플랫폼 적용 검토
액세스 레이어에 사용할 과다 신청 적정 비율을 결정할 때, 네트워크 사용에 지대한 영향을 주게 될 특정 기술을 고려하라. PCI-X 버스 기반 NIC가 오늘날 서버 플랫폼의 일반적인 모습이다. PCI 기반 NIC 카드와 비교할 때, PCI-X는 CPU 오버헤드에 못 미치도록 인터페이스 상에서 트래픽 양을 증가시킨다. 차세대 PCI-익스프레스 버스 인터페이스의 경우, PCI-X보다 4배 이상 뛰어난 실행속도로 이런 기능을 지속시키면서 RDMA(Remote Direct Memory Access)처럼 CPU 오버헤드가 감소되는 개선점을 가지고 있다. 버스 기술과 결합해서 개선된 점은 보다 커다란 윈도우 사이즈, 점보 프레임(jumbo frame)을 가진 TCP나 쓰루풋을 향상시키면서 CPU 오버헤드를 낮추는 TCP 오프로드 엔진과 잘 맞는다는 것이다.

가장 최신 모델인 버스 아키텍처(PCI-X나 PCI-익스프레스)와 신형 NIC(10/100/1000이나 10기가비트 이더넷) 기술을 사용하는 서버가 많아짐에 따라 전체적인 기능이 향상되고 있다. 또 서버 팜 쓰루풋도 보다 향상되고 있다.

10기가비트 이더넷 NIC 카드는 오늘날 거의 모든 관리 시스템 상에서 드라이버 서포트와 함께 유용하게 사용된다. 이러한 NIC는 낮은 지연(latency)과 부족한 CPU 오버헤드 특성을 가진 기가비트 이더넷 보다 7배 이상 향상된 모습이다. 낮은 지연 패브릭(fabrics)에 요구되는 조건이 클러스터링, 스토리지, 특수 애플리케이션용으로 늘어남에 따라 10기가비트 이더넷 NIC는 더욱 보편적이 되고 있다. 10기가비트 이더넷은 데이터 센터에서 서버들을 통합하기에도 유용하다. 하이엔드 서버에 있는 10기가비트 이더넷 NIC를 사용함으로써, 전체적인 TCO가 낮아지고 서버 컴포넌트의 수도 실제로 점차 감소하고 있다.

이러한 경향이 대세가 되면서 액세스 레이어 업링크에 보다 많은 노력들을 기울이고 있다. 기가비트 이더넷 이더채널 업링크에서 10기가비트 이더넷 및 10기가비트 이더넷 이더채널 업링크로 이동시키는 능력은 올바른 액세스 레이어 플랫폼을 고르는데 있어 주요한 근거가 되고 있다.

환경 조건 고려 해야
최근 산업계 동향은 서버와 네트워크 장비에 사용되는 랙 공간을 소규모 플랫폼에 압축시키는 것이다. 이에 따른 예로 블레이드 서버 기술, 1RU 서버, 고밀도 스위치를 들 수 있다. 이러한 경향은 쿨링(cooling), 전력, 무게, 케이블링을 포함한 데이터 센터 내의 다른 중요한 영역에서도 강조되고 있다. 다음의 환경 고려 사항을 유의해야 한다.

케이블링 : 서버 팜(iLO, 프론트 엔드, 백 엔드 스토리지), 케이블 라우팅, 케이블 규모 같은 네트워크 연결에 필요한 사항을 점검하라.

쿨링 : 랙당 냉각 능력과 구성물의 열 소화 기능을 고려하라. 랙 스페이스가 복잡한 플랫폼으로 유지되고 있다 하더라도, 냉각 능력은 적정 밀도에 제한돼 있다.

무게 : 플로어 타일과 서브 플로어 구조가 충분한 무게 지탱 비율(weight support rating)을 갖고 있지 않으며, 새로운 고밀도 제품으로 채워진 랙도 적정 비율에 도달하고 있다는 걸 감안해야 한다.

전력 : 고밀도 신제품의 전력 요구량을 체크하고 캐비넷에 제공되는 전력 양이 충분한지 알아볼 필요가 있다. 예를 들면, 220V나 30A 서비스용을 지원하기 위해 기존 전력을 갱신해야 할 수도 있다.

새로운 데이터 센터를 만들거나 기존의 센터를 확장할 때 중요한 고려 사항은 인접 사항이 요구되는지, 아니면 보다 작은 브로드캐스트 도메인이 필요한지에 근거해 레이어 2와 레이어 3 액세스 모델을 고르는 일이다. 덧붙여 모듈러나 1RU 액세스 스위치 중에서 결정해야 될 때는 서버 밀도나 신청 초과, 관리 요인을 고려해야 할 경우도 있다. 데이터 네트워크 아키텍처, 특히 액세스 레이어 상에서 PCI-X나 PCI-익스프레스 같은 새로운 서버 기술의 영향을 이해하는 것도 필요하다.

추가자료
 
■ 모리시오 아레고세스와 모리티오 포르토라니의 데이터 센터 개요
(시스코 프레스, ISBN :1587050234)
  
ciscopress.com/datacenterfundamentals
■ 베스트 데이터 센터를 구축하라, 더글러스 앨거
(시스코 프레스, ISBN:1587051826)
  
ciscopress.com/title/1587051826
■ PCI 버스 기술
  
pcisig.com/specifications/pciexpress
■ 데이터 센터 최적 실행
  
cisco.com/go/datacenter

 

맨위로


Packet 지난 호 보기