데이터를 효율적으로 저장해야 한다고 누구나 말을 한다. 어떻게 해야 데이터를 효율적으로 저장하는 것일까? 최근 데이터 효율성에 대한 논의가 나오면서 데이터를 효율적으로 저장해야 하는 것부터 시작해 저장된 데이터를 어떻게 해서 효율적으로 이용할 수 있는가 하는 논의까지 다양하게 제시되고 있다. 대부분의 스토리지 제품들은 물론 기존의 하이엔드 스토리지 제품들도 이를 수용해야 한다고 한다.

그렇다면 데이터 효율성은 무엇일까? 최근의 여러 논의들을 살펴보면 우리가 흔히 알고 있는 데이터 중복제거 기술이나 데이터 중요도에 따른 차등 재배치, 즉 자동화된 데이터 계층화 등을 의미하고, 이는 낸드 플래시 기술로 촉발된 플래시 저장매체와 전통적인 HDD 등을 함께 사용하면서 현실화 되고 있다. 중복제거 기술의 경우 운영 시스템에 적용하기 보다는 주로 백업 시스템에서 활용되었는데, 플래시의 고성능과 CPU의 성능 개선 등으로 이제는 Tier 1 스토리지, 이른바 하이엔드 스토리지에서도 활용할 수 있게 되었다.

논의의 중심에는 SSD가 그 동안 HDD가 누렸던 지위를 대체하겠지만, 그러기 위해서는 GB당 비용을 낮추는 데이터 효율성 기술이 필요하다는 것이다. 기술 발전 상에서 플래시 기술 발전으로 인해 더욱 더 가격은 낮아지겠지만, 단순히 기술 발전만이 GB 당 데이터 저장 단가를 낮추게 하는 유일한 요인은 아닐 것이라는 의미이다. 데이터 효율성과 관련한 논의에서 볼 때 저장매체 측면에서 플래시가 Tier 1 시스템의 주요 저장매체가 될 것이라고 전망하고 있으며, 그러한 근거는 아래와 같이 요약해 볼 수 있다.

-스토리지 업체들은 보다 빠르고(Agile) 혁신적인(Innovative) 방향으로 새로운 스토리지 시스템을 설계한다.

-이러한 혁신의 주요 방향은 차세대 플래시 전용 스토리지(All Flash Storage)이며, 소프트웨어가 이를 주도하고 있다.

-멀티 코어, 멀티 소켓 CPU 아키텍처를 갖추고 있는 저가 서버에 소프트웨어를 탑재하는 소프트웨어 정의 스토리지(Software-Defined Storage) 형태를 띄고 있다.

-SSD를 장착함으로써 기존의 전통적인 방식의 HDD 기반 스토리지 시스템보다 우수한 성능을 낸다.

-데이터 효율성 소프트웨어 기술은 가장 우선시 되는 기술로서 이를 통해 SSD를 장착하더라도 HDD보다 낮은 비용으로 스토리지 시스템을 공급할 수 있게 된다.

플래시 전용 스토리지를 살펴보면 위에서 열거한 기술들을 많이 볼 수 있다. 실제로 x86 기반의 서버에 중복제거 기술과 씬 프로비저닝 등과 같은 스토리지 소프트웨어, 그리고 x86 시스템을 연결해 주는 강력한 네트워크 기술(예를 들어 인피니밴드) 등이 융합되어 새로운 플래시 전용 스토리지가 탄생하고 있다. 좀 더 거시적으로 보면 플래시 스토리지 기술의 탄생과 진보만이 아닌, 오픈 소스 기술과 인터페이스, 대용량 메모리, 무어의 법칙에 따른 멀티 코어/소켓들을 장착하여 고성능 연산 기술을 제공함으로써 플래시의 빠른 성능을 뒷받침하게 된 것이다. 불과 5-6년 전만 하더라도 이러한 시도는 사치였을지도 모르지만 이제는 플래시 기술과 이를 상업화 시켜주기 위한 제반 기술이 동반 발전하였기 때문에 새로운 형태의 플래시 기반 하이엔드 스토리지의 출현을 기대해 볼 수 있게 된 것이다.

간혹 전통적인 스토리지 시스템에 SSD를 장착하면 굳이 이렇게 새로운 시스템을 설계하지 않아도 되지 않을까 하는 주장이 있다. 과연 그렇게 될까? 비용은 고려하지 않더라도 일단 SSD가 낼 수 있는 높은 성능을 낼 수 있을까? 어느 정도까지는 성능이 좋아지겠지만, 몇 백 개의 SSD가 낼 수 있는 성능을 기대하기는 어렵다. 이를 위해서는 현재 스토리지 시스템을 구성하는 CPU와 캐시 기술에 관해 살펴 볼 필요가 있다.

일반적으로 스토리지 시스템에서 제일 중요한 기술은 CPU와 캐시 영역이라고 할 수 있다. 하이엔드 스토리지의 경우 다중화된 많은 컴포넌트 별로 리소스를 분산하여 처리될 수 있도록 설계되어 있고, 미드레인지 스토리지의 경우 대체로 이중화되어 있는 컨트롤러가 호스트로부터의 IO 작업에 대해 응답을 보내 주게 되어 있다. 그런데 이 스토리지에 HDD 대신 SSD를 다량으로 장착하게 되면 컨트롤러의 성능 한계를 넘게 되는 호스트 IO 요구에 대응하지 못하는 병목 현상이 발생하게 된다. 결국, 고가의 SSD는 단순 저장 용도 그 이상을 하지 못하게 되는 상황을 맞이하게 된다. 이러한 이유로 스토리지 컨트롤러의 한계를 넘어서는 순간, 몇 개의 SSD는 높은 비용을 지불한 가치를 하겠지만 나머지 SSD는 단순한 저장장치 역할 그 이상을 하지 못한다. 스토리지의 성능 병목 현상이 CPU에 걸리게 되면 SSD가 아무리 많고 여유가 있어도 모든 SSD의 성능을 최대로 발휘할 수 없기 때문이다.

그간 스토리지 시스템에서 플래시 기술은 HDD로 구성된 스토리지 시스템의 보완적인 용도로 발전되어 왔다. 대표적인 것이 자동화된 데이터 계층화 스토리지(Automated Tiered Storage) 기술이다. 높은 IOPS를 요구하는 업무에 SSD를 할당함으로써 적은 비용으로도 높은 경제적 가치를 얻을 수 있다.

데이터 효율성을 위해 플래시 기술과 제반 유관 기술들이 발전하면서 플래시 전용 스토리지가 최근 등장하고 있다. 그런데 이런 플래시 전용 스토리지는 앞서도 언급했듯이 전통적인 스토리지와는 구조적으로 설계가 달라야 한다. 플래시 전용 스토리지가 우수한 성능을 내기 위해서는 우선 하드웨어 아키텍처가 좋아야 한다. 소프트웨어 최적화 기술은 말할 것도 없고 하드웨어 아키텍처 즉, CPU, 메모리 등 컨트롤러 성능이 충분히 우수해야 그 뒤에 장착된 SSD 성능을 최대한 활용할 수 있다.

그렇다면 우수한 하드웨어 아키텍처는 어떤 것인가? 우수한 아키텍처를 평가하기 위한 대표적인 항목 중 하나가 바로 ‘확장성(Scalability)’이다. 여기서 확장성은 용량 확장뿐만이 아닌, 채널/포트 확장성, CPU 연산 능력 확장성, 컨트롤러 확장성 등 전반을 포괄하는 확장성을 의미한다.

여러 전문가들이 2016년 정도면 데이터 효율성이 스토리지, 특히 Tier 1 스토리지에서 중요한 요소가 될 것이라고 이야기 하고 있지만, 이를 실현하기 위해서는 SSD의 고성능을 최대로 제공할 수 있는 새로운 형태의 하드웨어 아키텍처 설계 사상을 가지고 있어야 한다. 데이터 중복제거를 하면서 실시간으로 데이터를 저장할 수 있는 내부 구조, 그리고 실시간으로 중복제거 처리를 할 수는 컨트롤러 하드웨어 사양 – 멀티코어 CPU와 충분한 용량의 메모리, 그리고 다양한 측면에서의 확장성을 담보할 수 있는 시스템 아키텍처가 중요한 요소가 되어야 한다. 데이터 효율성을 위해 중복제거 등의 기능이 추가된다고 해서 컨트롤러 사양 부족으로 인해 성능이 오히려 저하되거나 주기적으로 응답속도가 떨어지게 설계되어서는 안 된다. Tier 1 스토리지로서의 조건은 예측 가능성(Deterministic), 즉 변동성이 작고 지속적으로 일정한 고성능을 보장하는 성능 안정성을 확보하는 것이다. 이러한 새로운 하드웨어 아키텍처 위에서 관련 소프트웨어와 새로운 운영체계가 얼마나 잘 만들어졌는가 하는 것이 ‘가치(Value)’를 창조하는 핵심이다.

효율성(Efficiency), 경제학에서는 투입 대 산출의 비율로 정의한다. 중복제거 기술이 데이터 효율성 기술일 수 있는 이유는 단위 용량당 데이터 저장량이 많아지기 때문이다. 같은 용량의 스토리지에 더 많은 데이터를 저장하고 사용할 수 있기 때문에 효율성이 높다고 할 수 있다. 하지만 단순히 GB당 비용만을 고려하는 것이 아닌 성능(Performance)과 예측 가능성(Deterministic) 등에 기초한 통합적인 데이터 효율성까지 함께 고려되어야 하는 것이 Tier 1 스토리지에서의 핵심이며, 플래시 전용 스토리지의 가치가 될 것이다.