데이터 엔지니어 직무 소개

“데이터 엔지니어 꿈꾼다면 하둡, 오픈데이터셋, API 활용해 스스로 기회를 만들어보세요

Q. 안녕하세요, 반갑습니다. 자기소개 부탁드려요!

안녕하세요. 신한AI 데이터 엔지니어 한민석입니다. 첫 커리어 시작은 중소기업이었는데요. 금융, 유통업 고객사의 Mart구축을 위한 ETL 솔루션 개발을 담당했습니다. 이 경력이 데이터 분석을 위한 파이프라인 구축과 유사한 부분이 많아 자연스럽게 AI 플랫폼의 파이프라인 개발 직무로 전환했습니다. 그 이후, 하나금융TI에서 AI 플랫폼을 자체 구축하는 프로젝트에 참여했고, 금융사의 데이터와 Hadoop Eco 두 가지 귀중한 경험을 쌓을 수 있었습니다. 이러한 바탕으로 현재는 신한AI에서 데이터 엔지니어로 재직 중입니다.

Q. 금융 분야에서 데이터 관련 직무로 차근차근 커리어를 쌓아오셨네요!
신한AI는 어떤 곳이고, 그곳에서 어떤 업무를 맡고 계신가요?

신한 AI는 B2B로 NEO2.0, Shinhan Market Warning 서비스를 하고 있습니다. AI를 통해 금융시장을 진단하고 예측하여 고객사에 ‘예보’를 해줍니다. 분석과 예측을 위해 필요한 데이터를 수집, 적재, 정제하는 역할을 하고 있는데요, 블룸버그, 톰슨로이터에서 제공하는 재무, 주식, 펀드 등의 데이터와 뉴스, 트위터 등의 비정형 데이터 등을 주로 수집합니다.

일반적으로 생각했을 때, 수집과 적재 파이프라인을 잘 구성해두면 끝난다고 생각하기 쉽지만, 중첩, 정제, 표준화, 보안 등의 업무가 계속 발생하게 됩니다. 조금 더 정교하게 데이터를 얻을 수 있도록 데이터 분석가 분들의 효율화를 높이기 위해 노력하고 있습니다.

Q. 서비스에 필요한 모든 형태의 데이터를 수집, 적재, 정제하는 일이라고 할 수 있겠네요! 첫 커리어 시작부터 데이터 엔지니어로 일하는 지금까지. 그 과정에 대해 조금 더 자세히 들려주세요.

처음 일을 시작한 곳에서는 직접 목표를 설정하고 제품을 개발하는 등 제가 원하는 업무를 주도적으로 할 수 있는 환경이었습니다. 감사히도 운이 좋았어요. 이때 ETL 솔루션을 오랜 기간 개발하게 되었고 이 경험을 바탕으로 자연스럽게 AI를 위한 데이터를 수집해 보고 싶다는 니즈도 발생했습니다.

이를 위해 데이터 사이언티스트가 효율적으로 사용할 수 있는 AI 플랫폼을 구상하게 되었고, 이를 좀 더 발전시키기 위해 개인적으로는 대학원 공부를 병행하였습니다. 이런 과정을 통해 하나은행의 AI 플랫폼을 개발할 수 있게 되었고, 이런 경험들을 토대로 현재는 데이터 엔지니어의 업무를 수행하고 있습니다.

Q. 다른 데이터 직무와 ‘데이터 엔지니어’의 차이는 무엇이라 보시나요? 타 직무 대비 정보가 적은 편인 것 같습니다.

데이터 엔지니어는 꼭 필요한 직무이지만 비교적 키워내기 어려운 직무라고 생각합니다.

경험과 노력을 토대로 수행할 수밖에 없는 직무이기도 하고요. AI에 대한 관심이 높아져 현재는 전공 등의 교육 과정이 생겼을지 모르지만, 제가 대학, 대학원에서 경험한 바로는 통계나 분석에 대한 과정은 있으나 데이터 엔지니어를 위한 교육 과정은 없었습니다. 취업준비생 분들께서도 데이터 분석, DB, 백엔드, 프론트엔드, 서버, 보안, 네트워크 등에 포커스를 맞추어 준비하셨을 것이고요. 그 정도로 학계 혹은 현업에서 데이터 엔지니어링의 필요성을 뒤늦게 체감하고 있지는 않나 싶습니다.

Q. 가장 기억에 남는 프로젝트는 무엇이었나요?

2013년 즈음 진행했던 한 스포츠 브랜드와의 프로젝트가 기억에 남습니다. 온라인 판매가 활성화되기 전에는 오프라인으로 신발이나 옷을 구매하는 고객에 대한 정보를 알기 어려웠기 때문에, 데이터의 신뢰도는 매우 낮았습니다. 이 때문에 고객의 구매 패턴을 세우거나 구매를 예측할 수 없는 환경이었습니다. 하지만 고객사에는 성과를 꼭 보여주어야 하는 상황이기도 했지요. 이때 마케팅 적중률을 높이기 위해 직접 설문조사할 정도로 고군분투했었습니다. 산업 전반적으로 데이터의 중요성이 잘 알려지지 않았을 시기에 진행했던 프로젝트지만, 고된 만큼 기억에도 남는 프로젝트라고 생각합니다.

Q. ‘데이터 엔지니어’로 커리어 시작을 망설이는 분들께 한마디 부탁드립니다!

종종 ‘일할 기회가 없는데 어떻게 경력을 쌓느냐’고 토로하는 목소리를 듣는데요. 하지만 조금만 생각해 보면 각자의 자리에서도 충분히 경력을 쌓을 수 있다고 생각합니다. 누군가가 경력에 도움이 될 만한 업무를 줄 확률은 어디서나 매우 낮기 때문이죠.

직접 HaDoop Eco 시스템을 설치해보고 오픈데이터셋, 증권사/SNS API 서비스 등을 이용해 데이터를 실시간으로, 일별 또는 월별로 수집해 보세요. 특히 대부분 오픈소스를 활용하고 있기 때문에 기업 밖에서도 충분히 경험할 수 있습니다. 기회는 스스로 만들 수 있습니다. 결국 데이터 엔지니어 직무에 대한 막연한 걱정은 시도해 보고 있지 않은 스스로에 대한 걱정이 아닐까요? 그러니 주저하지 말고, 있는 자리에서 가능한 방법을 도전해 보길 바랍니다.

제로베이스와 함께한 이야기가 더 궁금하다면,