지난 19일 아파치재단에서 실시된 인큐베이터 프로그램 선정 투표에서 '스톰(Storm)'이 최종 선정됐다.
스톰은 트위터가 지난해 9월 내놓은 오픈소스 소프트웨어(SW)로, 대용량 데이터를 실시간으로 분석할 수 있게 해주는 기술이다.
하둡이 배치분석에 특화된 대용량 분산처리 시스템이라면, 스톰은 실시간 분석에 특화된 분선처리 시스템이다. 하둡의 실시간 분석 성능 부족을 보완하기 위해 트위터 내 개발자조직이 만들어냈다.
|
그는 "스톰의 초기 애플리케이션 중 하나가 토폴로지의 일부로서 초당 수백건의 데이터베이스 콜을 포함해 초당 100만건의 메시지를 10 노드 클러스터에서 처리한다"라고 규모 측면의 장점도 강조했다.
스톰은 '토폴로지 분석 기능을 제공해 메시지 처리를 불특정한 시점까지 무기한 실행 수 있다.
또 트위터는 분산처리 설계구조상 주컴퓨터에서 실행되는 '님버스(Nimbus)'와 그 명령을 따르는 하위컴퓨터에서 돌아가는 '수퍼바이저(Supervisor)' 사이에 최적화를 맡는 클러스터 기술 '주키퍼(Zookeeper)'를 뒀다. 스톰 시스템에 장애조치와 예비자원 제공 기능을 구현하기 위해서다.
아파치재단 인큐베이터 프로그램은 기술적인 절차가 아니다. 아파치재단은 깃털을 포함한 로고를 허가하며 적합한 라이선스인지 판단한다. 트위터 스톰은 이클립스 퍼블릭 라이선스(EPL)을 따른다.
스톰은 현재 트위터를 포함해 야후, 알리바바 등에서 광범위하게 사용되고 있다. 재단측은 현 스톰 사용자의 성공사례목록을 올리도록 허가했다.
트위터는 또한 이달 초 스톰과 하둡을 하이브리드 환경으로 구현하는 '서밍버드'도 오픈소스로 내놨다.
