인포매티카 ETL 툴 도입으로, 리포트 제작시간 단축 ‘4시간→25분’

지난 1983년 창립한 하이닉스는 설립 이래, 원가 경쟁력을 확보하고 경쟁 업체를 따돌리기 위해 기술 개발과 공정 혁신을 이어갔다. 이처럼 기술과 경영은 끊임없는 혁신을 요구했지만, 정보시스템은 정작 현장의 바람을 적극 수용하지 못하는 난제를 안고 있었다.

[Background] 시스템 통합으로 기업 경쟁력 확보

과거 이 회사의 생산, 품질, 경영 시스템은 제조공장(fab)과 사이트 별로 산재돼 있었다. 이 때문에 곳곳에 흩어진 데이터를 취합해 분석한 후 시장 환경에 맞는 사업 전략을 신속히 기획하는 데 큰 어려움을 겪었다.

문제는 이 뿐만이 아니었다. 수작업으로 데이터를 추출했기 때문에 어떤 경우엔 일부 데이터가 누락되는 등 데이터의 정합성을 유지하기 매우 어려웠다.

◆ 하이닉스 반도체는 세계 반도체 시장을 선도하는 첨단 기술을 개발하고 공정 기술을 끊임 없이 혁신해 세계 2위의 메모리 회사로 발돋움 했다.

데이터의 표준체계 마련도 시급한 해결 과제로 남아 있었다. 지난 1999년 LG반도체와의 합병으로 하이닉스엔 다양한 이기종 시스템이 혼재된 상황이었다. 이렇다 보니 시스템마다 데이터 표준체계가 달랐고 담당자는 정보 분석에 큰 어려움을 겪었다.

제품 품질을 일정하게 유지하는 데도 어려움이 있었다. 기존 분석 방식에선 공정 단계와 테스트 단계의 정보가 따로 관리돼, 테스트 단계에서 제품 오류를 찾아도 어떤 공정 과정에서 문제가 발생했는지 확인하는데 곤란을 겪어야 했다.

이런 문제를 더 이상 방치할 수 없었던 하이닉스는 데이터 분석 속도를 높여 비즈니스에 필요한 다양한 리포트를 신속히 제공할 것을 목표로, 2004년부터 DW 시스템 구축 작업에 돌입했다.

DW 구축 과정에서 하이닉스는 빠르고 정확하게 데이터를 추출, 가공, 적재하는데 꼭 필요한 ETL 솔루션 도입을 결정한다.

아울러 ETL 도입을 통한 주요한 해결 과제로는 △빠른 데이터 추출, 가공, 적재를 통한 데이터 분석 속도 단축 △단일 시스템으로 산재된 데이터 통합 △분석 값의 정합성 확보 △데이터 형식 표준화 △공정 및 테스트 단계의 연관 분석 등을 도출했다.

[Approach] 파워센터 기반 통합 분석 시스템 구축

데이터 분석 속도를 높이기 위해 하이닉스가 구축한 DW시스템은 모두 3개. 2004년 DW 구축에 착수한 하이닉스가 만든 첫 번째 DW는 글로벌생산관리시스템(GMS)으로, GMS는 하루 동안 발생한 전사 생산 현황의 정보를 분석하고 관리하는 역할을 한다.

이후 2007년엔 공정 진행, 수율, 품질 등을 분석하는 수율관리시스템(YMS)을 만들고, 2008년엔 반도체용 테스트 설비인 프루브(Prove) 라인에서 나오는 생산실적 및 라인상황 정보를 실시간으로 리포트하는 하이플러스시스템을 구축했다.

생산현황을 분석하는 GMS는 몇 개의 공장 시스템과 경영시스템 정보를 취합 후 분석하는 역할을 수행한다.

GMS는 제조공장 마다 구축돼 개별적으로 관리되고 있던 장비효율향상시스템(EES), 리포트시스템, 원가시스템 등에 들어 있는 데이터와 비즈니스 데이터를 중심으로 구성된 경영DW의 일부 마케팅 데이터를 통합 후 분석한다. 산출된 정보를 통해 생산량이 목표치에 도달했는지 경영진은 알 수 있다.

여러 시스템에 흩어져 있는 데이터를 신속하면서도 정제된 상태로 GMS에 모으기 위해 ETL 툴이 반드시 필요했던 하이닉스는 시스템 구축에 여러 벤더의 ETL 툴에 대해 벤치마킹테스트(BMT)를 진행했다.

BMT 결과 하이닉스는 인포매티카의 ETL 툴인 파워센터를 최종 선정했다. 파워센터는 데이터 처리 성능, 개발 용이성, 비용 등을 포함한 모든 평가 기준에서 최고점을 획득했다.

GMS 구축을 성공적으로 마친 하이닉스는 수율관리시스템(YMS)과 하이플러스시스템을 잇따라 구축하면서 두 시스템에도 또다시 파워센터를 도입했다. 특정 회사의 제품으로 ETL 표준 툴을 정해 두지 않고 있던 하이닉스는, 이 두 개의 시스템 구축 과정에서 실시한 BMT에서 역시 최고 점수를 획득한 파워센터를 재차 선택하며, 파워센터의 탁월한 성능을 다시 한번 확인하게 됐다.

YMS는 반도체 공정 진행, 수율, 품질 등을 분석하는 품질 관리 시스템으로 제품 가공 단계와 테스트 단계 간의 연계성을 분석하며, 이를 통해 제품 품질을 올리는 역할을 수행한다.

하이플러스시스템은 Prove 라인에서 발생하는 생산 실적이나 라인 현황의 정보를 분석하는 실시간 리포트시스템이다.

이 시스템에선 이천, 청주, 중국 우시 등 3개 사이트에서 운영되고 있는 Prove 리포트시스템에서 실시간으로 데이터를 끌어와 하이플러스시스템에 동기화한 후 분석 리포트를 만든다. 이 리포트를 보면서 경영진은 정확한 생산 계획을 짤 수 있다.

하이플러스시스템엔 파워센터 이외에도 적재된 데이터를 DW에 실시간으로 동기화하기 위해 CDC 툴인 인포매티카 파워익스체인지도 함께 적용됐다.

◆ 통합 관리 시스템 구축 전후 비교

[Best Practice #1] 빠르고 정확한 데이터 통합, 분석 속도 단축

파워센터 기반으로 통합 분석 시스템을 구축한 후, 하이닉스는 데이터 분석 속도를 크게 높일 수 있었다.

오전 11시에 생산 관리자나 경영진에게 전달할 수 있었던 생산 현황 리포트는 GMS 구축 후 8시 이전에 배포할 수 있게 됐다. 종래에 4시간이나 걸렸던 생산현황 분석 작업을, 불과 25~40분으로 단축시킨 것이다. YMS 역시 분석 시간을 크게 단축했다.

이처럼 생산 리포트 추출 시간이 빨라진 까닭은 ETL 도입으로 빠르고 정확한 데이터 통합이 가능해졌기 때문이다.

하이닉스가 도입한 파워센터는 이기종 DB에 접근해 데이터를 쉽고 빠르게 추출하고 가공할 수 있다. 이 때문에 개발자들은 제조공장 등에 흩어져 있는 개별 시스템에 접근해 일일이 데이터를 내려 받을 필요가 없어졌다.

파워센터 도입으로 수작업의 불편은 사라졌다. 개발자가 수작업으로 데이터 이관하는 기존 방식에선, 개발자가 시스템에서 데이터를 추출해 DW에 적재한 다음, 또다시 추출해서 가공하는 복잡한 방식을 취했다. 하지만 ETL을 통해 데이터 추출 후 DW 적재 전에 데이터의 가공을 수행하기 때문에 추출 과정을 두 번씩 거칠 필요가 없게 됐다. 또한 수작업에 비해 훨씬 빠른 속도 및 정합성을 보장 받을 수 있게 됐다.

이처럼 분석 속도가 빨라진 후, 경영진은 이전보다 신속한 의사결정을 내릴 수 있게 됐다. 3개의 DW시스템에서 신속하게 리포트를 산출할 수 있게 되면서, 하이닉스는 다양한 대내외 경영 이슈에 적극 대응할 수 있게 됐다.

[Best Practice #2] 병렬 처리를 통한 대용량 데이터 처리 가능

병렬 처리를 위한 파워센터 파트셔닝 옵션(PowerCenter Partitioning Option)의 도입으로 하이닉스는 시스템의 성능을 한껏 높일 수 있었다. 인포매티카의 병렬 처리 방식은 CPU 자체를 파티셔닝해 CPU 내에서 병렬 처리를 할 수 하는 멀티 쓰레드 방식을 사용한다.

하이닉스는 파워센터 파티셔닝 옵션을 도입해, 분당 491만 로우까지 대용량 데이터를 처리 해도 별 문제가 생기지 않는 등 대용량 데이터의 신속한 처리와 시스템 안정성을 확보할 수 있었다. 아울러 개발자의 생산성 또한 향상시킬 수 있게 됐다.

◆ 파워센터 멀티 쓰레드 처리 방식

이 회사는 시스템 안정성을 확보하면서 시스템 운영 인력을 줄이는 부수효과를 얻었다.

DW 시스템 운용을 위해선 대개 시스템 마다 6명 정도의 운영 인력이 필요하다. 그러나 파워센터 도입으로 서버의 다운 문제를 크게 걱정할 필요가 없어 하이닉스는 관리 인력을 줄일 수 있게 됐다. 현재 GMS엔 2명, YMS는 1명, 하이플러스는 2명 만을 관리 인력으로 투입해 놓은 상태다.

[Best Practice #3] 데이터 정합성 Up, 오류 수정 시간은 Down

하이닉스는 과거 수작업으로 진행했던 데이터 추출, 가공, 적재 과정을 ETL 툴을 사용함으로써, 데이터의 누락을 원천 차단할 수 있었다.

또한 파워센터의 메타 데이터 공개 및 모니터링 기능을 적극 활용해, 오류 발생 지점을 빠르게 확인할 수 있었다. 아울러 프로그램 개발 시 개발자가 개발 이력을 생략할 수 없게 만든 파워센터의 기능을 활용해 문제점 추적이 매우 쉬워졌다.

공정 단계와 테스트 단계의 상관 분석도 가능해졌다. 공개된 메타 데이터에서 로그 기록을 확인하면, 테스트 단계에서 발견된 문제점이 공정 단계 중 어느 곳에서 발생했는지 정확히 파악할 수 있다.

파워센터를 통한 데이터 정합성 확보 및 정확한 상관 분석이 가능해지면서 하이닉스는 궁극적으로 반도체의 품질을 크게 높일 수 있었다.

◆ 인포매티카 파워센터 아키텍처

[Best Practice #4] 데이터 표준화로 시스템 재활용 가능해져

하이닉스는 DW시스템 구축으로 분산된 데이터를 통합 관리하게 되면서, 데이터 표준체계를 정립할 수 있었다.

이는 파워센터는 데이터를 추출해 미리 정해 놓은 규칙에 맞게 데이터를 정제해 표준화한 데이터를 DW에 적재하기 때문에 가능했다.

또한 데이터 표준체계를 확립하면서 하이닉스는 분석용 프로그램의 재사용성을 높일 수 있었다. 데이터 형식이 표준화돼 있으면, 파워센터는 개발된 프로그램의 내부 로직 중 몇 가지 간단한 소스코드를 수정하는 조치만으로 프로그램을 재활용할 수 있게 지원한다. 이에 따라 업무 효율성도 자연히 높일 수 있었다.

◆ 기대 효과

[Plan] GMS와 경영DW의 연계로 분석에 깊이를 더하다

하이닉스는 앞으로 정보 분석의 깊이를 높이기 위해 GMS와 경영DW를 단단히 연결할 계획이다.

하이닉스는 이전에도 경영DW의 일부 데이터를 GMS 속으로 끌어와 분석했지만 경영DW 내 데이터를 총체적으로 연계할 순 없었다. 두 시스템을 연계하면 현재 시스템이 감당할 수 없을 만큼 데이터 량이 많아지고, 시스템 안정성을 확보할 수 없다는 우려에서다.

이 회사는 두 시스템의 데이터를 연계 분석하면 보다 강력한 비즈니스 전략을 세우고, 제품 품질 또한 높일 것으로 보고 있다.

한편, 하이닉스는 GMS, YMS, 하이플러스 외에도 다양한 DW시스템을 확충하고 있다. 그리고 이때마다 ETL 툴을 함께 도입하고 있다.

이 회사는 EES(장비효율향상시스템)에 파워센터를 최종 도입하기로 결정한 상태며, 경영 DW시스템에도 ETL을 도입할 예정이다.

이를 통해 반도체 시장을 리드할 수 있는 신속한 의사결정 체제를 갖추고, 지속 성장 가능한 기반을 마련한다는 방침이다.

<데일리그리드>