SK하이닉스는 글로벌 반도체 기업으로 앞서 빅데이터 분석 인프라를 완성하였습니다만 고성능 GPU 클러스터링 하드웨어 기반의 인공지능 분석
인프라를 구축하기 위해 협업을 하였습니다.
Docker 기술을 활용해 현업 팀 단위로 Container 를 대여하고 반납하는 시스템을
구축하였으며, 인공지능을 활용하려는 고객을 대상으로 실무 기반의 인공지능 분석 교육도 진행했습니다.
인공지능 모델링을 위한 빅데이터 인프라를
구성하여 spark 기반의 성능 최적화를 진행하면서 이미지 및 음성과 관련한 데이터 모델링을 가이드했습니다.
사용한 기술
Xen, Docker 기반의 가상 인프라를 구축.
호튼웍스의 HDP로 하둡 클러스터를 구축하였으며, spark와 제플린 및 주피터를 활용한 분석 환경을 제공.
인공지능 기술로는 tensorflow, keras 로 데이터 모델링을 가이드했습니다.
빅데이터 및 인공지능 분석 환경을 구축하였습니다.
카드 데이터가 방대하여 데이터를 수집하고 변경하고 적재하는 업무에 많은 시간을 들였고,
기존 oracle 인력이 빅데이터 기술에 그대로 활용할 수 있도록 기존 데이터베이스를 빅데이터 쿼리로 변경하여 사용할 수 있는 프로그램도 만들었습니다.
이 프로젝트는 2회에 걸쳐 진행하였으며 처음에는 분석 환경을 구축하는데 초점을 맞추었고 이후에는 운영과 mart 구축에 초점을 맞추었습니다.
사용한 기술
클라우데라의 CDH로 하둡 클러스터를 구축하였고, hive/spark/impala 등의 분석 환경을 구성하였습니다.
스칼라를 활용하여 sql 변환 프로그램을 작성하였으며 gitlab으로 CI/CD도 구축하였습니다.
머신러닝의 경우 python/tensorflow 기술을 활용했습니다.