안녕하세요, IT/데이터 영역에서 14년째 밥벌이를 하고 있는 마이크입니다. 개발 부문에 '데이터플랫폼'팀이 생겨서 그 역할이 매우 궁금하실 텐데, 간략히 설명을 드리도록 하겠습니다.

현재 우리 팀의 주요 역할은 발전량 데이터와 날씨 데이터 그리고 그와 관련된 데이터 파이프라인에만 초점을 두어 진행하고 있으며, 그 상세 역할은 아래와 같습니다.

• 발전량 데이터/날씨 데이터 수집 및 관리
• 발전소/인버터 상태 실시간 분석 및 알람 생성
• 주간보고서/전력중개 등 예측 프로세스 개발 및 관리
• 발전여지도 등 분석 프로세스 개발 및 관리

우리 팀은 현재 태양광 관련의 "일부" 데이터만 수집/관리하는 데이터플랫폼을 운영하고 있는데요, 사실 우리 회사에서 생산하는 데이터의 종류는 이보다 훨씬 많을 것으로 생각합니다. 뿐만 아니라, 우리 회사가 태양광을 넘어 모든 에너지 자원을 흡수해야 하는 큰 뜻을 가진 회사인 만큼, 그에 발맞추어 우리 회사도 태양광 관련 데이터뿐만 아니라 사업에 필요한 모든 데이터를 아우를 수 있는 데이터 플랫폼을 구성해야 한다고 생각합니다.

따라서, 우리 팀은 전사에서 관리되는 데이터의 관리 자동화의 간극을 줄여, 전사의 모든 데이터를 통합하여 분석하고 예측하는 플랫폼을 만드는 것을 미션으로 앞으로 달려 나갈 조직이 되어야 한다고 생각합니다. Data Driven Decision! 중요하지만 결코 이루기 어려운 미션입니다. 또한, 우리 회사가 아직 잘하고 있는 부분도 아니라고 냉정하게 개인적으로 생각하고 있습니다. 데이터를 활용하는 데 필수적인 플랫폼을 만들어 도움이 되기 위해 열심히 고민하고 있으니, 비슷한 고민이 있으신 분은 언제든지 우리 팀에 노크하여 주시길 바랍니다.

저희 팀은 저 포함 5명이 운영되고 있습니다. 각각 구성원이 하는 역할은 아래와 같습니다. ( Order by 입사 날짜(=짬밥) )

• 루비: 예전에는 크롤러를 통해 발전 관련 데이터를 수집하는 일들을 주로 했었는데요, 올해부터는 전력중개/주간보고서 등 DS팀과 협업이 필요한 일들을 주로 하고 계십니다. 특히 Airflow라는 일괄 처리 데이터플랫폼의 전문가로 거듭나고 계시는데, 데이터를 주기적으로 일괄 처리 일이 필요하다면 언젠가는 결국 루비의 손길이 필요할 것입니다.

• 루터: 발전왕/발전완비즈가 태양광 발전량 모니터링 서비스를 하기 위해서는 '체커'라고 불리는 거대한 데이터플랫폼 백본이 필요한데요, 현재 루터는 우리 회사에서 가장 중요한 시스템 중의 하나인 '체커'의 마스터입니다. 뿐만 아니라 Kafka라고 불리는 데이터 플랫폼을 도입하여, 우리 회사에 실시간 서비스의 품격을 높여준 분이기도 합니다.

• 마이크: 데이터플랫폼에서 진행 중인 모든 일에 간섭/참견하고 있으며, 부족한 부분을 개선하면서 미래의 플랫폼의 청사진을 그리기 위해 뜬구름만 잡고 있습니다. 타 팀과의 소통도 직접 진행 중이니만큼 데이터플랫폼 관련 의문이 있으면 우선 '마이크'부터 찾아주시길 바랍니다.

• 그루트: 많은 분이 기피하는 크롤러를 통한 발전량 데이터 수집 일을 기꺼이 맡아 주시고 계십니다. 유지만 해 주셔도 매우 고마운데, 크롤러를 한층 더 업그레이드 하는 매우 도전적인 과제도 동시에 현재 수행 중이죠! 또한, 발전여지도도 조만간 개편이 될 예정인데, 그루트의 손이 제일 많이 들어갈 예정이라 이 부분도 기대해 주시면 좋겠습니다!

• 로건: 아직 입사하신 지 얼마 되지 않으셨지만 빠르게 적응 중입니다. Kafka를 통한 실시간 서비스를 앞으로 우리 데이터플랫폼에서 많이 확충할 생각인데요, 앞으로 루터와 함께 우리 회사의 알람, 데이터 실시간 처리 등을 담당해 주실 분입니다!