Hadoop과 헤어지고 On premise에서 Modern Data Architecture로 빅데이터 플랫폼 구축하기

신호승

Speaker's bio

SK 하이닉스에서 Data Lake 개발을 담당하고 있습니다. 국내에서 가장 복잡하고 거대한 데이터를 처리할 수 있는 시스템을 만들면서 다양한 문제 해결을 즐기고 있습니다.<br>
데이터 플랫폼도 급변하게 바뀌고 있습니다. 최신기술을 선행 학습하고 업무에 적용하여 기존 기술로 해결하지 못한 문제를 해결했을 때 가장 큰 행복을 느낍니다.<br>
On-premise 기반의 빅데이터 시스템 중에서는 무조건 우리나라에서는 1등을 한다는 목표와 자식을 키우는 마음으로 Data Platform 개발을 하고 있습니다.<br><br>
최근 관심사는 Deep inside k8S와 Gopher로 변신하기입니다.

Schedule

Session detail

제조 회사의 하둡기반 초거대 빅데이터 서비스를 현대화하는 실제 개발 경험에 대한 이야기입니다. 국내 혹은 전세계적으로 가장 복잡한 제조 공정의 빅데이터를 하둡을 사용하지 않고, 현대적인 클라우드 네이티브 아키텍처를 적용하여 비즈니스의 요건를 해결하는 과정을 소개합니다. CSP 없이 순수 On prem 기반의 아키텍처 개선과 In house 개발이기 때문에 100% 내재화된 개발 이야기입니다. 주요 서비스 컴포넌트는 K8S, Apache Impala, Spark, Knative, minIO, Iceberg 등이 있습니다.