빅 데이터의 성공을 위한 열쇠가 스마트한 데이터 관리에 달려 있다는 사실은 그리 놀라운 사실도 아니다. 하지만 하둡과 새로운 데이터 소스를 둘러싼 큰 기대에도 불구하고 팀이 모든 데이터를 정제하고 연결하며 보호할 효율적인 방안을 마련하지 않은 채 서두르는 경우가 많다는 것은 걱정할 만한 일이다. 효과적인 빅 데이터 관리를 위해 꼭 필요한 3가지 요소는 다음과 같다.

1. 빅 데이터 통합

빅 데이터 관리 인프라의 첫 번째 과제는 확장 가능하고 유연한 지능형 데이터 파이프라인을 구축하는 것이다. 실험 측면에서 보면, 분석가가 필요한 데이터 소스에 액세스하기 위해 기다리느라 시간을 허비하지 않도록 하는 데 필요한 사전 구축 툴과 단순하고 직관적인 인터페이스를 보유하는 것이 가장 중요하다. 운영 측면에서 보면, 데이터 통합과 관련하여 이미 보유하고 있을지도 모르는 즉각 사용 가능한 IT 기술을 활용하여 개발을 가속화하고 파이프라인의 유지보수를 간소화하는 것이 가장 중요하다.

2. 빅 데이터 품질 및 거버넌스

분석가와 개발자가 필요에 따라 적합한 수준의 데이터 품질로 작업할 수 있도록 하려면 완벽하게 인증된 보고용 데이터에서 모델 검증을 위한 '적절한' 데이터에 이르는 엔드 투 엔드 데이터 품질과 거버넌스가 매우 중요하다. 또한 빅 데이터 플랫폼은 여러 다양한 데이터 소스에서 유입되는 대용량의 데이터를 처리한 후 이를 여러 타겟 시스템에 배포해야 하므로 데이터 거버넌스의 필요성이 더 크다.

3. 빅 데이터 보안

빅 데이터 이니셔티브에 관여하는 사용자, 시스템, 현업 부서 및 파트너의 수가 증가할수록 보안 위반과 실수를 알아채기가 더욱 어려워진다. 따라서 먼저 인프라를 구축한 다음 보안 정책을 적용하고 나중에 규정을 준수하기 위해 노력할 것이 아니라 플랫폼에 베스트 프랙티스 보안 방안을 마련해 두는 것이 매우 중요하다.

'혁신'과 마찬가지로 '빅 데이터'는 유행어 그 이상의 엄청난 가치를 가지고 있다. 빅 데이터는 신속하고 지속 가능한 성장을 원하는 모든 기업을 위한 필수 전략이다. 하지만 기업 혁신은 분석가와 과학자가 실패한 실험의 부수적 피해를 감수하지 않아도 되는 여건에서 새로운 것을 시도할 수 있도록 해 주는 실험 방식으로 시작해야 한다. 다행히도, 비용 효율적이며 확장 가능한 스토리지와 처리 덕분에 아이디어와 구현 간의 격차가 좁혀졌다. 운영 환경에 혁신적인 솔루션을 빠르게 구현할 수 없는 빅 데이터 실험은 절반만 완전한 것이며 분석가가 실험할 수 있는 셀프서비스 자율성을 지원할 수 없는 데이터 관리 인프라 또한 완전하지 않다.

빅 데이터 통합, 거버넌스 및 보안이라는 빅 데이터 관리의 세 가지 필수 요소를 구현하면 IT 부서의 개발 및 운영 프로세스를 단순화할 수 있을 뿐만 아니라 혁신에 필요한 라이센스를 기업 내에서 가장 스마트한 내부 과학자 및 분석가에게 제공할 수도 있다.