TECHNICALLY SPEAKING 23호

Cluster and Grid Computing - Low Cost, High Power
'저비용·고성능'으로 주목 받는 클러스터·그리드 컴퓨팅

근 새로운 클러스터와 그리드 기술은 언론의 많은 주목을 받고 있다. 도대체 무엇 때문에 이 기술들이 주목을 받고 있는 것인가?

세상에서 가장 빠른 컴퓨터를 상상해보라. 고성능 "수퍼컴퓨터" 모델 허리케인은 원폭 모의실험을 하고, 인간 게놈을 분석한다. 크레이 리서치나 실리콘 그래픽스 같은 회사들이 수년 간 이 시장을 독점해왔다. 이들의 제품인 "빅 아이언(Big Iron)"은 수백만 달러를 호가하며 당시 복잡한 컴퓨팅 과제를 푸는 유일한 대안으로 자리매김 했다.

지난 5년 간 의미심장한 변화들이 생겨나고 있다. 클러스터가 "빅 아이언"을 대체하고 있는 것이다. 클러스터는 수퍼컴퓨터보다 수백 배 저렴한 표준 PC 서버와 네트워킹 하드웨어로 만들 수 있다. 클러스터의 경우, "Top 500 list"(top500.org) 상에 오른 시스템의 절반가량을 차지하고 있으며, 세계에서 가장 빠른 500대의 컴퓨터에 랭크되어 있다. 고성능 컴퓨팅 사용자 역시 변화하고 있다. 예전에 학계와 연구 조사 기관만 사용할 수 있었던 컴퓨팅 성능을 현재 기업들도 이용하고 있으며, 현재 "Top 500"에 올라있는 시스템들의 절반 이상이 상업적인 용도로 사용되고 있는 것이다.

"그리드"로 접속하기
비교적 새로운 기술에 속하는 "그리드 컴퓨팅"은 전통적인 클러스터에 비해 분산 컴퓨팅의 의미가 강하다. 그리드는 보통 각기 다른 분야와 건물 또는 세계의 다른 도시나 지역까지도 포함시키며 관리 도메인을 서로 이어준다. 세티앳홈(SETI@home) 프로젝트(setiathome.ssl.berkeley.edu)가 이러한 개념의 사례다. 여기서 세계 전역의 개인 소장 컴퓨터 수백 대가 전파망원경 신호를 분석하기 위해 함께 사용되고 있다.

클러스터 애플리케이션에 있어 하나의 문제나 쿼리는 아주 세부적으로 분석된다. 각 세부 사항들은 스케줄 기능과 작동 컨트롤을 사용해서 클러스터에 있는 프로세싱 노드로 분배된다. 굉장히 다양한 클러스터 인프라 툴이 이 과제를 해결하기 위해 존재한다. 날씨 시뮬레이션, 유체 다이내믹, 바이오텍과 유전 리서치, 방어와 에너지 리서치, 항공우주와 자동화 디자인, 그래픽과 비디오 렌더링, 재정 분석 등 클러스터 애플리케이션의 종류는 가지각색이다.

클러스터 애플리케이션 성능에 영향을 줄 수 있는 세 가지 특성들은 메시지 지연과 쓰루풋, CPU 유틸리제이션이다. 그래픽 렌더링 애플리케이션의 경우 메시지 지연을 크게 상관하지 않을 수도 있다. 특정 애플리케이션을 지원하기 위해 적절한 클러스터 인터커넥트를 선택하는 것이 공통된 딜레마다.

클러스터 애플리케이션
수퍼 컴퓨터와 SMP 시스템 내부 프로세서를 연결해주는 숨겨진 내부 하드웨어가 클러스터 상에서 표준 인터커넥트 스위치 패브릭과 대체된다. 가장 최신 PC 서버 시스템 대부분이 기가비트 이더넷 NIC를 따른다는 사실과 이더넷 편재성으로 인해, 이더넷은 클러스터 실행 시 "선택 받은 인터커넥트"로 자리해왔다. 차후에는 10 기가비트 이더넷이 상용될 것으로 보인다.

이더넷 외에 클러스터 인터커넥트의 다른 기술이 고도의 쓰루풋이나 낮은 엔드 투 엔드 메시지 지연도를 요구하는 애플리케이션용으로 사용된다. 인피니밴드, 미리넷, 쿼드릭스가 그에 따른 예가 될 수 있다.

벤더들은 표준 이더넷 보다 지연도가 낮은 RNIC라고도 알려진 RDMA 가능 NIC를 개발 중에 있다. 이는 관리 시스템 프로토콜 오버헤드를 무시함으로써 이더넷 애플리케이션 지연도를 감소시킨다.

시스코의 역할
시스코는 클러스터와 그리드 컴퓨팅 용의 인터커넥트 인프라가 지원되는 많은 제품들을 출시해왔다. 최근까지 카탈리스트 6500 시리즈 스위치 사용 고객을 위해 다양한 노드 클러스터를 디자인하고 구축해왔다. 카탈리스트 6500 스위치의 경우 3600 노드를 지원하며, 논블로킹 레이어 3 패브릭을 만드는데 통합시킬 수 있다.

시스코 스토리지 스위치는 클러스터를 지원하는 스토리지 서브시스템을 구축해왔다. 시스코 메트로와 WAN 제품은 그리드를 순조롭게 실행시켜준다. 시스코 보안 제품은 그리드를 보호하고 그리드 유틸리티 컴퓨팅 모델 속에서 사용자를 지켜줄 수 있다. 또한 시스코는 이러한 장비들의 백플레인 안에 스위치를 장착시키는 블레이드 서버 제조업체와 제휴를 맺고 있다.


필자

JOEL KRAUSKA AND DREW PLETCHER
조엘 크로스카(JOEL KRAUSKA) & 드류 플레처(DREW PLETCHER)는 시스코 인터넷 시스템 비즈니스 담당 기술 마케팅 엔지니어로, 고성능 컴퓨팅 클러스터 테스팅 및 분석을 총괄하고 있다. 두 사람 모두 데이터 센터 스위칭과 라우팅 부문 전문가이며 이메일 주소는 jkrauska@cisco.comdrew@cisco.com이다.


맨위로


Packet 지난 호 보기