비즈니스 성과∥“고객이 원하는 분석 기능 모두 제공”

KCB는 이번 시스템 구축 과정에서 고객들이 원하는 정보를 시스템에서 뽑아내기 위해 BI 기능 구현에 관심을 집중했다.

이는 엔드유저의 요구 사항이 많아, 정형화된 패턴으로 정보를 추출하는 기존 리포팅 기능의 한계를 느끼고 있었기 때문이다.

서정진 과장(사진)은 “리포팅의 한계를 극복하기 위해 고객이 원하는 정보는 모두 뽑아낸다는 개념을 잡고,

이를 실현할 수 있는 BI 도입에 매진했다”고 밝혔다.

시스템 구축으로 KCB는 이 같은 목표를 달성했다. 시스템 도입 후 회원사의 이용자들이 원하는 다양한 정보를 집적 분석할 있게 시스템을 꾸며 놨다. 또한 회원사를 지원하는 분석 담당자들이 전산 인력의 도움 없이 직접 분석할 수 있게 했다.

“회원사로부터 정보 제공 신뢰성 확보”

전수검사를 통한 분석 작업을 가능케 한 것도 성과로 꼽힌다. 기존엔 샘플링 방식을 채택해 분석을 진행했지만, 결과치의 신뢰성 확보에 적지 않은 어려움이 있었던 것.

이 같이 전수검사를 할 수 있게 된 것은 데이터 처리속도 향상으로 때문이다. 서정진 과장은 “분석의 신뢰성은 통상 분석범위와 다수의 분석 시도를 통해 확보된다. 즉 적절한 규모의 분석대상을 바탕으로 다양한 분석 이력을 통해 결과 값의 신뢰성을 높일 수 있다”고 밝혔다.

이어 “이전엔 대부분의 분석이 하루 꼬박 걸려 한 가지 분석을 했지만, 지금은 하루에 수차례 혹은 수십 차례 분석이 가능하게 돼 분석의 신뢰성을 크게 높였다.”고 강조했다.

KCB는 이와 같은 정밀한 정보 분석역량 확보를 통해 KCB는 회원사들에 대한 신뢰를 확보했다.

서정진 과장은 “KCB는 종전 분석 방식을 유지하고 있는 경쟁사보다 훨씬 다양한 그리고 신뢰도를 높인 정보를 고객에게 제공할 수 있다”며 “이는 장기적인 서비스 품질제고와 다양화로 이어질 것이어서, 기업의 이윤창출에 직접적인 기여할 하게 될 것”이라고 밝혔다.

“전산 운영인력 최소 투입 성과”

운영 관리 측면에서도 상당한 효과를 거둔 것으로 확인됐다. KCB의 내부 전산 인력은 애플리케이션 개발 등을 담당하는 IT 개발 인력과, 시스템 운용을 담당하는 운영인력으로 나뉜다.

서정진 과장은 “전통적인 DW 개발 방식이었다면, 시스템 개발을 진행하면서 운영인력 부문에서 개발에 대한 지원이 꼭 필요했을 것이지만, 시스템 개발 과정이 매우 간결해 인력지원을 필요치 않았다”고 밝혔다.

이어 “역시 전통적인 DW이었다면, 시스템을 구축한 후 운영 인력을 추가로 투입해야 할 것이지만, 기존 운영인력을 그대로 가져가면서 새로 구축한 DW를 운영하고 있다”고 덧붙였다.

“물리적 마트 없이 신속한 데이터 추출”

물리적인 마트를 만들지 않은 것은 시스템 구축의 또 다른 성과로 꼽을 수 있다. KCB는 데이터를 논리적으로 요약해서 ‘뷰’를 통해 정보를 보여주는 형태를 선택했다.

서정진 과장은 “전통적인 DW 구축 방식에선 대개 데이터에 대한 다차원 모델을 정의하고 ETL 작업을 진행하는데 70%의 공수가 투입되지만, KCB의 경우 뷰로 데이터를 확인할 수 있게 시스템을 구축한 까닭에 ETL 작업을 생략할 수 있었다”고 밝혔다.

즉, 원천 데이터를 직접 추출해서 이를 뷰로 보여 주는 형식을 채택, 불과 몇 분 이내에 데이터 결과 값을 알 수 있게 했다는 설명이다.

전통적인 방식은 보통 원천 데이터베이스에서 데이터를 DW로 끌어오고, 이를 차원과 팩트로 분석해 이를 테이블로 정의하는 매우 복잡한 방식을 채택한다. 이렇게 되면 데이터를 가져오는 속도가 느려져, 이에 대한 대안으로 흔히 요약 마트를 만든다.

그러나 “도입한 네티자 제품이 데이터 처리 속도가 빨라 마트를 만들지 않아도 결과 값을 쉽게 알 수 있다”고 서정진 과장은 밝혔다.

이어 “네티자 DW는 인덱스를 생략하는 등 속도에 최대한 초점을 맞춰 개발된 제품”으로 평가했다.

     기술적 성과∥“혁신적 신기술 DW에 모두 담았다”

- 이번 사업에서 눈에 띠는 성과는 정보계의 실제 구축 시간을 종래 방식보다 크게 줄인 것인데요. 이런 것이 가능했던 이유를 설명해 주십시오.

“철저한 사전준비 단계와 적절한 컨설팅 인프라를 통해 구축의 방향을 정확히 설정했습니다. 또한 구축 인프라의 적절한 선정으로 구축 준비기간을 최소화했습니다. 이를 통해 정보계 구축을 3개월 만에 끝냈습니다.”

<Interview 신세계I&C 김병철 부장>

- 개발과정도 기술적으로 종래 방식과 다른 점이 있었다고 들었습니다.

“기존 운영 DB와 유사한 3차 정규화 구조를 사용했습니다. 특히 네티자의 경우 ansi표준 SQL을 준수하고 있어 기존의 개발된 SQL문을 활용해 DBMS에 의존적인 일부 쿼리문을 변경해 적용하는 형태의 개발을 진행했습니다.”

“또한 구축한 업무영역을 먼저 현업사용자들에게 개방해 친근감을 주고 사용률을 높였습니다. 특히 개방형 인터페이스를 기반으로 구성해, 기존 운영 시스템 자산을 그대로 사용할 수 있게 했고 향후 BI 고도화 작업도 유리하게 만들었습니다.”

- 새로운 방식으로 DW를 구축하는 것이어서, 데이터의 신뢰도에 대한 관심이 쏠리고 있는데요. 검증 작업은 어떻게 진행했습니까.

“데이터 전수 검증 기간 1개월을 통해 기존 업무 규칙을 검증하고 데이터의 일관성, 정확성을 향상시켰습니다.”

- DW는 현업의 요구를 신속히 수용할 수 있는 유연성을 갖춰야 합니다. 이를 위해선 DW가 다양한 요구를 적절히 수용할 수 있는 확장성을 보장해야 하는데요.

“일반적인 DW는 업무영역별로 물리적 데이터마트를 구축하고 이를 바탕으로 분석결과를 내는 구조로 신규 업무 추가 시 물리적, 논리적 데이터마트의 구축시간이 충분히 요구되어집니다.”

“KCB의 DW는 논리적 뷰와 메타DB에 등록된 비즈니스 로직으로 구성돼 물리적으로 저장된 집계 테이블을 필요치 않습니다. 이를 통해 유연하고 신속한 분석이 가능하게 만들었습니다.”

- 데이터 조회 성능을 크게 높였다고 들었습니다. 이 같은 성과가 가능했던 이유는 무엇입니까.

“네티자는 비대칭 초병렬 데이터 처리 방식인 ‘AMPP 구조(Asymmetric Massively Parallel Processing)를 갖고 있습니다. 이 처리 방식은 데이터를 공유하지 않은 상태에서 분산된 상태로 SPU(데이터저장공간)에 데이터를 저장하는 구조입니다. 이렇게 되면 데이터의 입출력(I/O) 과정이 필요하지 않아, 데이터 처리 시간을 크게 줄일 수 있습니다.”

- 네티자 솔루션은 경쟁 DB와 달리 인덱스 설정이 필요 없다고 들었습니다. 인덱스 설정을 하지 않으면 설계나 관리 측면에서 여러 가지 장점이 있을 텐데요.

“일반 DB의 경우엔 인덱스를 설정하는 과정에서 원하는 수준의 데이터가 나오지 않으면 최악의 경우 인덱스를 재설계해야 합니다. 또한 운영 과정에서도 현업의 요구사항에 맞춰 인덱스를 재설정하는 작업을 반복해야 하는 불편이 있습니다.”

“네티자는 SPU에 데이터를 저장하는 초병렬 데이터 처리 구조을 채택하고 있어 인덱스란 개념이 없습니다. 이에 따라 DB 설계 및 운영 과정에서 인덱스 설정이 필요 없습니다. 이에 따라 현업의 요구를 DW에 신속히 반영할 수 있고, 경쟁 DB와 달리 DW운영에 필요한 관리자도 요구하지 않습니다.”

- 네티자 만이 가진 분산키의 역할과 효과에 대해 설명해 주십시오.

“네티자의 분산키는 테이블을 생성할 때 함께 설정해주는 것으로, 저장할 데이터를 SPU에 할당하는 기능을 수행합니다. 즉, 분산키를 통해 SPU로 데이터가 효율적으로 분산되어 저장됩니다. DB관리자들은 적절한 분산키 설정을 통해 데이터 처리 성능을 높일 수 있습니다.”

- 관리자들은 분산키를 어떤 방식으로 설정하고 관리해야 합니까.

“분산키는 분산의 균등성 원칙에 의해 결정되며 전체성능을 좌우합니다. 업무적 성격이 강하므로 개발 현업이 분산키를 결정합니다. 특히 빈번하게 결합되는 테이블의 조인(join)절의 ‘where’ 조건에 해당되는 칼럼을 분산키로 지정하는 것이 좋습니다.”

- 존맵(Zone-map) 기능을 통해  데이터 스캔 속도를 크게 높였다고 들었습니다.

“익스텐트(Extent)는 SPU에서 최소 단위의 디스크 할당을 의미하는 것으로, 하나의 익스템트는 디스크에서 3MB로 설정되어 있습니다. 네티자의 존맵은 익스텐트 레벨에서 테이터의 상속 순서를 사용합니다. 존맵을 통해, 참조되지 않는 행은 스캔(데이터를 읽는 작업)되지 않아 데이터 처리 속도를 크게 높여줍니다. 존맵은 대량으로 그룹화됐거나 대부분 순서가 있는 데이터의 처리능력과 응답 시간의 향상을 위해 자동으로 생성 및 업데이트됩니다.”

- 존맵의 기능을 좀 더 구체적으로 설명해 주십시오.

“존맵은 제한된 스캔 쿼리에서 ‘WHERE’ 절의 시작 및 종료 범위 외의 레코드를 제거하므로 데이터 검색에 필요한 디스크 스캔 작동을 줄여줍니다. NPS 스토리지 관리자는 존맵을 사용해, 스캔할 익스텐트를 제거해 원하는 행이 포함되지 않은 테이블의 일부를 생략해 주어, 검색 시간, 디스크 경합 및 디스크 입출력(I/O)을 획기적으로 줄여줍니다.”

     기존 DW의 한계 및 DW 어플라이언스 등장배경

“정보량 증가 못 쫒는 느림보 DW”

기업이 취급하는 데이터 볼륨이 최근 빠른 속도로 늘어나고 있지만, 데이터웨어하우스(DW)가 이를 적시에 반영하지 못하고 있다는 지적 또한 꾸준히 제기되고 있다.

시장조사기관인 IDC의 최근 자료에 따르면, 조사대상 기업의 40% 가량은 데이터 볼륨이 매년 50%씩 급증하고 있다. 그러나 웨어하우스는 규모 면에서 18%만 매년 증가하고 있다.

이 같은 조사결과와 관련 신세계 I&C의 김병철 부장은 “기업들이 취급해야 할 데이터 용량이 급증하고 있고 이에 따른 DW 구축 요구가 커지고 있지만, 기존 DW 솔루션의 발전 속도가 기업들의 요구에 따르지 못한다는 것을 의미한다”고 해석했다.

이 같은 불일치의 원인 중 한 가지는 기존 DW 개발 및 구축 과정이 몇 가지 한계점을 갖고 있기 때문이다.

“기존 DW, 개발과정 심히 복잡하다”

먼저 기존 DW의 개발과정은 매우 복잡한 과정을 거쳐 이뤄진다. 먼저 질의 처리 및 결과의 최적 경로 비용을 찾아내는 옵티마이저를 셋팅해야 한다. 또한 DW 프로젝트의 성패를 가름하는 물리 및 논리모델링 작업을 진행해야 한다.

이외에도 상당 기간의 테스트 과정과 시간을 들여 최적화된 인덱스 설정하는 것을 비롯해, 업무에 적합한 마트설계 등의 과정을 거쳐야 한다.

그러나 이런 복잡한 과정을 거쳐도 종래의 방식은 업무가 정형화돼 있을 때만 DW 프로젝트의 성공을 보장할 수 있다는 단점을 갖고 있다.

하지만 실제 현업의 요구사항은 규정된 범위 내에 존재하지 않는 경우가 많다. 또한 개발 기간에는 도출되지 않았던 문제점들이 개발 이후 유지보수 과정에서 끊임없이 나타날 수 있다.

“비즈니스 반영 한계, 데이터 품질 저하”

결국 과거의 레가시 방식으로 DW를 구축하면 현업의 다양한 요구사항은 적절히 또한 신속히 반영할 수 없는 한계를 갖게 된다.

김병철 부장은 “실제로 대용량 데이터를 축적하고 있는 은행 및 카드사 등의 금융권을 비롯해 인터넷 포털, 대형 제조 및 유통 업체, 대형병원 등은 실시간 데이터 통합이나 전사데이터 통합에 적극 나서고 있지만, 데이터 품질의 저하 때문에 DW로부터 정확한 의사결정 정보를 전달받지 못하는 사례가 빈번히 발생하고 있다”고 설명했다.

몇 가지 조사결과는 이 같은 데이터 품질저하 현황을 잘 보여준다. 한국데이터베이스진흥센터 조사에 따르면 국내 기업 중 데이터 품질관리를 수행하고 있는 곳은 30%에 불과했다. 가트너그룹도 50% 이상의 DW와 CRM 프로젝트가 불량 데이터로 문제점을 노출할 것으로 예측한 바 있다.

“해법은 네티자 DW 어플라이언스”

이런 문제점을 해결하기 위해 비교적 최근 등장한 개념이 ‘DW 어플라이언스’다. 이 제품은 DBMS와 서버, 스토리지를 하나로 묶어 DW를 구현하는 형식을 취하고 있다.

예를 들면 네티자의 DW 어플라이언스가 이 같은 통합 형식으로 설계된 제품이 있다. 네티자 DW는 인덱스를 설정할 필요가 없고, 물리 모델에서 자유로운 것을 비롯해 다양한 장점을 갖고 있다.

특히 데이터 튜닝 포인트 제로인 네티자는 데이터 아키텍처 등의 비즈니스 요구 사항을 유연하게 받아들이고 월등한 물리적 데이터 조회속도를 구현할 있다.

이런 장점 때문에 현업 사용자들의 DW 이용률을 높이고, 물리적 데이터 아키텍처 설계부분에 있어 분석의 제약을 벗어나 활용도를 크게 높일 수 있다.