구축 일기

Deployment Diary
구축 일기
뉴욕대학의 'Tetrahedron Core', 대폭 향상된 용량 및 복구 기능 구현

지미 카리안니스(Jimmy Kyriannis)
NYU 네트워크 설계자
뉴욕대학(NYU)이 대폭 향상된 복구성과 리던던시, 성능을 갖춘 견고한 IP 아키텍처를 구현하기 시작했을 때, 뉴욕대학의 네트워크 설계자인 지미 카리니안니스(Jimmy Kyriannis)는 구축 과정에 대해 기록해나갔다. 카이리안니스는 '사면(四面) 코어(Tetrahedron Core)'의 탄생을 상세히 기술한 이 기록을 통해 기획, 프로세스, 좌절과 성공을 포함한 주요 네트워크 업그레이드의 뒷얘기를 들어보도록 한다.
이번 구축 일기는 뉴욕대학의 'Tetrahedron Core' 구축 단계의 테스트베드 부문과 도입 과정에 대해 서술하고 있다.

2003년 4월 22일
약 2주간에 걸친 강도 높은 테스트베드를 통한 시험 단계에 들어갔다. 먼저, 모든 경로에 대해 여러 병렬 접속으로 동일하게 트래픽을 전송하기 위해 Cisco Express Forwarding을 토대로 로드 밸런싱 작업을 시행했다. 이 테스트가 성공된다면 Tetrahedron Core의 다른 경로의 이용이 떨어지더라도 하나의 경로에 과부하가 걸리지 않는다는 것을 확인할 수 있게 될 것이다. 아울러 Tetrahedron Core의 코어 라우터로 사용되는 전체 Cisco Catalyst? 6513 스위치와 Gigabit EtherChannel? 링크, 개별 파이버 링크, 라인 카드 등 모든 네트워크 장비에 장애가 생길 경우에도 적절히 라우팅이 되는지 알아보고자 한다. 마지막으로, 이러한 독특한 토폴로지에서 구동될 경우에 우리가 예상했던 행동이 그대로 나오는지 확인하기 위해 일부 대표적인 IT 애플리케이션을 테스트하게 될 것이다.
테스트가 성공되면, 테스트베드에서 Cisco Catalyst 6500 시리즈 스위치를 제거한 다음 구내 사이트에 구축할 계획이다. 이를 위해 현재 테스트베드에 연결되어 있는 것과 같이 64pairs 광 케이블을 가진 스위치를 서로 연결할 것이다. 뉴욕대학 전체에 대한 연결을 진행함으로써 코어 네트워크 구축에 사용되는 광 케이블 길이는 약 39마일이 될 것으로 예상된다.

2003년 5월 19일
마지막 테스트가 비공식적인 성공을 거두었다. 따라서 Tetra- hedron Core의 Apple- Talk, IPX, IP/OSPF(Open Shortest Path First)를 비롯해 Cisco Discovery Protocol 이웃 정보, 레이어 2 및 레이어 3 인접 테이블, Gigabit EtherChannel 상태에 대한 스냅샷을 수집했다.

2003년 5월 26일
테스트 환경의 장비 제거를 진행하고 있다. 장비의 위치를 바꾸기 위해 계약 업체들의 스케줄을 조정하는 것을 포함한 몇 가지 업무에 애로 사항을 느끼고 있다.

2003년 6월 27일
현재 4대의 Cisco Catalyst 6500 시리즈 코어 스위치가 실제 서비스를 위한 장소에 구축됐으며, 128개의 광 접속(64pairs)도 구성하기 시작했다. 진행 속도는 비교적 느리다고 볼 수 있는데, 왜냐하면 우리가 지속적인 네트워크 지원 활동에 최우선 순위를 두고 있고 이 작업에 거의 대부분 시간을 보내고 있기 때문이다.

2003년 7월 21일
케이블 작업 중 15%가 아직 완료되지 않았다. 광 케이블을 다 소진해서 현재 추가 주문을 의뢰했으며, 도착하기를 기다리고 있다.
케이블 작업이 완료되면, 뉴욕대학의 IT 부서가 테스트를 진행하게 될 것이다. 초기 테스트를 지원하기 위해, 액세스 라우터 역할을 하는 하나의 Cisco 7500 시리즈 라우터를 통해 Tetrahedron Core와 뉴욕대학의 캠퍼스 네트워크인 NYU-NET간에 이중 접속을 구축할 것이다. 또한 서브넷 테스트용으로 구축할 부가 액세스 라우터를 부착할 예정이다. 뉴욕대학의 IT 부서는 이러한 서브넷을 사용, 상용 네트워크 서비스를 위해 Tetrahedron Core로 NYU-NET로 전환하기 전에 우리의 애플리케이션에 대한 최종 테스트를 진행하게 된다.
기존 백본에서 Tetrahedron으로 액세스 라우터를 전환하는데 있어서 두가지 시나리오를 예상하고 있다. 일부 액세스 라우터의 경우, 액티브 클라이언트 네트워크 트래픽에 영향을 끼치지 않고 이전할 수 있는데, Tetrahedron으로 새로운 링크를 활성화시키고 FDDI(Fiber Distributed Data Interface) 백본으로 Tetrahedron을 연결하도록 OSPF 라우팅 프로토콜을 설정할 수 있다. 다른 액세스 라우터들은 여분의 슬롯이나 인터페이스가 부족하며, 이러한 장비는 Tetrahedron Core에서 이전하는 방향을 취할 것이다. 이 경우, 매주 금요일 밤 네트워크 사용이 비교적 적은 시간에 진행할 예정이다.

맨위로

2003년 8월 11일
마침내 큰 성과를 거둔 날이다. 지난 월요일, 우리의 데이터 기술 팀장인 '매니 래퀴(Manny Laqui)'는 4대의 코어 라우터간의 광 접속이 완료되었다고 확인했다. 이번 네트워크가 가진 중요성을 알기 때문에 광 분석기를 통해 종단간 광 접속을 확인해왔으며, 신호 손실이나 에러를 검사하는 작업을 꾸준히 진행해왔다. 몇몇 광 케이블에서 이상 징후가 있었지만 심각하지는 않았다.
케이블 교체 작업을 완료한 뒤, 매니 팀장은 현재의 NYU-NET 백본 네트워크에 배치하기 위해 선택한 첫번째 액세스 라우터로 Tetrahedron Core를 연결했다. 이 특별한 라우터는 뉴욕대학의 인터넷 접속용으로 도입된 것이다. Tetra- hedron Core에 처음 구축했을 때, 우리가 이전하려고 하는 모든 라우터는 고속 인터넷 접속을 위해 병목이나 네트워크 혼잡에 영향을 받지 않도록 다이렉트 및 논블로킹(nonblocking) 액세스를 보장할 계획이다. 이러한 라우터는 또한 기존 NYU 백본 네트워크로의 첫번째 라우터의 연결을 통해 나머지 NYU-NET로 액세스할 수 있게 된다.
다시 조합한 Tetrahedron Core를 첫번째 액세스 라우터에 연결시켰기 때문에, 우리는 접속과 라우팅 정보를 확인, 비준하는 작업을 진행했다. 이를 위해, 4대의 코어 라우터로부터 운영 데이터의 스냅샷을 기록했으며, 전에 테스트베드 환경에서 찍어둔 스냅샷과 비교해보았다. 데이터는 완벽히 일치했다. 주말에 약 10GB의 데이터를 시험 삼아 Tetra- hedron Core 링크로 전송해 장비 코어 링크에 에러가 있는지의 여부를 다시 확인해보았다. 그 결과 모든 라우터와 링크는 아무런 문제 없이 원활이 돌아가고 있음을 재차 보장할 수 있게 되었다.
실제 서비스에 돌입하기에 앞서 현재 마지막 테스트 단계를 진행할 준비에 있다. 최종 테스트를 준비하기 위해, 우리는 부가적인 액세스 라우터를 Tetrahedron Core에 부착시키고 있다. 현재 액세스 라우터가 부착되어 있는 두 곳의 반대쪽 두 곳에 이 테스트 라우터를 위치시킬 예정이다. 광 케이블 접속이 완료되면 전체 NOC(Network Operation Center)를 이 테스트 액세스 라우터로 옮기게 된다. 이때, 모든 네트워크 관리 및 모니터링 시스템과 비즈니스 트래픽은 Tetrahedron Core를 통해서만 구동된다.
이번 테스트에 이은 다음 단계는 두 개로 추가된 IT 부서를 테스트 액세스 라우터로 이동시켜 우리 직원들에게 Tetra- hedron Core의 테스트를 진행할 기회를 제공하는 것이다. 우리는 이들이 애플리케이션과 서비스에 대해 예상했던 결과를 얻는다는 것을 확인시키고자 하며 아마도 예상했던 것보다 훨씬 나은 성능에 만족할 것으로 기대하고 있다. 우리의 IT 직원들이 우리의 네트워크 운영을 비준하기 위한 테스트를 진행할 수 있도록 당분간은 테스트 모드로 운영할 계획이다. 이제 나는 휴가를 떠나야 하기 때문에 남은 두 명의 직원인 '케이스 말베티(Keith Malvett)'와 '요니 라진(Yoni Radzin)'이 테스트를 진행하고 테스트 참여자들로부터 피드백을 수집하게 될 것이다.

맨위로

2003년 10월 6일
테스트 기간 동안 우리는 Gigabit EtherChannel와 관련된 사소한 결함을 경험했다. 2주전에, 캘리포니아 산호세에 위치한 시스코 본사를 방문해 Cisco Technical Advisory Board에 참가했다. 그 곳에서, Research Triangle Park의 Cisco TAC(Technical Assistance Center)에서 근무하고 있는 시스코의 개발 엔지니어들은 우리에게 Cisco IOS? Software Release 12.1(13)E10 카피본을 제공해주었는데, 이 제품은 그 사소한 문제를 해결해주었으며 우리의 미션 크리티컬한 구동 환경에서의 보다 안정된 기능을 제공할 것으로 기대된다. Cisco IOS 소프트웨어의 업그레이드 판을 설치하고 시스코가 권장한 대로 재부팅했을 때, 네트워크가 사용자에 영향을 끼치지 않으며 중단되지 않고 계속 구동된다는 사실에 매우 놀랐다. 게다가, 이 소프트웨어를 통한 초기 테스트는 완벽하게 구동되었다.
이후 Tetrahedron Core의 테스트를 실제 서비스를 포함한 쪽으로 확대했다.

2003년 11월 3일
지난 몇 주 동안 우리의 NOC 네트워크는 새로운 Tetrahedron Core에서 전체적으로 구동하고 있다. 지금까지는 모든 일이 원활하게 진행되고 있으며 FTP(File Transfer Protocol)을 사용한 간단한 데이터 전송 테스트에서도 250Mps의 전송 속도를 넘어서고 있다.
우리의 자체 생산 네트워크를 이번 새로운 네트워킹 환경에 구현한 뒤, 우리는 현재 다른 부서에 대한 이전을 진행 중이다. 오늘 저녁에 우리는 첫번째 두 개의 부서 생산 네트워크를 Tetrahedron Core로 전환하는데 성공했다.
액세스 라우터의 이전은 현재 우리의 FDDI 백본 네트워크에서 구동하고 있는 Cisco 7513 라우터를 단일 부서별 네트워크로부터 제거하는 데에서 시작되었으며, 이후 해당 서브넷을 액세스 라우터 역할을 담당하며 Tetrahedron Core에 구축된 Catalyst 6500 시리즈 스위치에 부착시켰다. 우리는 신중하지만 공격적으로 진행할 계획이며, 앞으로 2주 동안 모든 서브넷을 Cisco 7500 시리즈 라우터에서 제거, Cisco Catalyst 6500 시리즈로 옮기게 된다. 성공되면, 전체 Cisco 7500 시리즈와 Catalyst 6500 시리즈 어플라이언스를 Tetrahedron Core로 이전할 계획이며, 프로세스의 속도를 가속화할 것이다.

맨위로

2003년 11월 14일
첫번째 라우터를 코어로 이동시키는 것은 성공적이었으며, 모든 부서에서 네트워크의 신뢰성이 높고 애플리케이션 성능이 향상되었다고 보고했다. 이미, 단 2주 동안의 사용만으로도, 전환된 서브넷 업링크의 네트워크 활용 수준이 대폭 증가, Tetrahedron 내부에서 이용 가능한 백본 데이터 속도를 크게 향상시켜주었다. 그 결과, 대학 사용자들은 데이터를 보다 신속하며 보다 큰 용량으로 전송할 수 있게 되었다.
오늘 밤에는 우리의 FDDI 백본에서 코어로의 Catalyst 6500 시리즈 스위치에 대한 이전을 완료할 계획이다.

2003년 11월 18일
지난 여름 동안 철저하게 진행된 테스트를 통해 이전 작업이 원활하게 진행될 수 있었다. Tetrahedron Core로의 두 번째 액세스 라우터 이전 작업은 더욱 신속하게 추진될 수 있을 것이다. 액세스 라우터를 통해 코어로 들어오고 나가는 트래픽의 속도는 지속적인 증가 추세를 기록하고 있다. 사용자들은 네트워크 레벨 백업, 스트리밍 미디어, 원거리 학습 등과 같은 고대역폭 애플리케이션에서도 이전보다 훨씬 향상된 성능을 만끽하고 있다.

2003년 12월 1일
나머지 몇 대의 라우터에 대한 Tetrahedron Core로의 이전 작업을 남겨두고 우리는 성공했다는 확신을 가지게 되었다. 우리는 리던던시와 복구성, 성능을 비롯해 차세대 캠퍼스 백본을 구축한다는 목표를 달성했다. Cisco Catalyst 6500 시리즈 스위치를 코어에 설치한 Tetrahedron 토폴로지는 수백만 Gbps로 확장할 수 있다.
우리는 학계 연구소와 대학 활동 측면에서 뉴욕대학을 차별화하기 위해 Tetrahedron Core를 활용할 수 있는 방법을 세 가지로 예상하고 있다. 하나는 캠퍼스 전체에 IEEE 802.11 무선 네트워크를 구축하는 것으로, 이를 통해 학생과 교수진은 도서관이나 라운지, 동아리 방이나 강의실 어디에서나 액세스할 수 있다. 이는 미국에서 가장 규모가 큰 대학 중의 하나로, 수만 명의 학생 및 교수진과 130여 개의 건물을 보유하고 있는 뉴욕대학에는 큰 장점을 제공하는 것이다. 이러한 규모의 캠퍼스 무선랜을 출범할 수 있는 용량을 가진 네트워크를 구축한 대학은 이제 뉴욕대학이 유일하다고 해도 과언이 아닐 것이다.
가까운 미래에 추진할 수 있는 또 다른 방안은 멀티프로토콜 라벨 스위칭(MPLS)로, 독특한 라우팅 요구 사항으로 캠퍼스 전체에 서비스를 지원하며 보안 도메인에 대한 지원을 향상하는데 사용할 수 있다. 특별한 서브넷의 트래픽이 태그 될 수 있으며, 그런 다음에 네트워크의 요구에 따라 적절하게 포워딩될 수 있다. Cisco Catalyst 6500 시리즈 스위치의 높은 성능은 이러한 애플리케이션이 실용화할 수 있게 해주는 동시에 암호화 및 방화벽 기능 등의 서비스를 제공해준다.
Tetrahedron Core이 뉴욕대학에 제공하는 가장 큰 이점은 이제 Internet2를 완벽히 활용할 수 있게 되었다는 것으로, 학교 연구소와 프로젝트를 위해 보다 높은 대역폭 애플리케이션을 구현할 수 있다. 예를 들면, 최근 예술계 학생들을 대상으로 인터넷을 사용하도록 해 실시간으로 다른 대학 학생들과 협동 과제를 수행하게 했다. 실험 대상자들에게 평면 패널 비디오 스크린을 설치해 실시간 비디오 및 오디오로 다른 학교의 성능을 제공했으며, 두 그룹은 하나의 그룹처럼 행동하도록 지시했다. Tetrahedron Core는 높은 대역폭의 인터넷 애플리케이션이 가능하도록 높은 대역폭을 공급했다.
마지막으로, 우리는 네트워크에 다양한 형태의 장애가 동시에 발생하더라도 기능을 유지할 수 있다는 확신을 갖게 되었다. 테스트 기간에 광 케이블의 장애와 보드 오류 등 많은 시나리오를 시뮬레이션 했으며, 이를 통해 사용자들에게 아무런 영향을 끼치지 않고 트래픽이 지속적으로 이동하도록 Tetrahedron Core 네트워크를 구현했다.
우리는 이제 향후의 고대역폭 애플리케이션을 수용할 수 있는 용량의 차세대 캠퍼스 백본을 보유하게 되었을 뿐만 아니라 기존의 FDDI 네트워크의 신뢰성을 저하시키지 않고 이전 과정을 성공적으로 완료할 수 있었다.

맨위로

Cisco에 문의하세요



Packet 지난 호 보기