데이터 플랫폼 엔지니어 · 빗썸

허영대

데이터 엔지니어

국내 대표 암호화폐 거래소를 위한 안전하고 비용 효율적인 데이터 플랫폼을 설계합니다. {{tenure}}간 금융권 수준의 컴플라이언스 아래에서 ETL 파이프라인, AWS 인프라, Databricks 레이크하우스를 운영해 왔습니다.

서울, 대한민국 {{tenure}}
연락하기 LinkedIn

소개

빗썸 데이터 플랫폼 팀에서 IDC와 AWS 하이브리드 데이터 플랫폼을 금융권 규제 및 ISMS-P 컴플라이언스 아래 설계·운영하고 있습니다. 제 작업은 데이터 인프라, 보안, 그리고 FinOps의 교차점에 있습니다 — 레거시 시스템을 최신 레이크하우스(Databricks, Redshift)로 이전하고, 워크로드 최적화로 컴퓨트 비용을 30~70% 절감하며, 금융권 보안 감사를 통과하는 안전한 랜딩 존을 구축합니다. 이전에는 웍스피어 유한책임회사(구 잡코리아 유한책임회사)와 베스핀글로벌에서 데이터 플랫폼을 출시했습니다.

{{tenure}} 총 경력
~60% 평균 ETL 비용 절감
3 재직 회사

스킬

언어

Python SQL PySpark Bash / Shell Terraform (HCL) R

데이터 엔지니어링

Apache Airflow Apache Spark Databricks Delta Lake Unity Catalog ETL / ELT 데이터 모델링 Custom Operators Grafana / Webhook 알림

크립토 & 금융 데이터

거래소 주문 플로우 마켓 데이터 파이프라인 GA4 Appsflyer Braze / CRM 푸시 ISMS-P 컴플라이언스 CSPM / 보안 리뷰 PII 암호화 (SHA-256) DR (재해복구)

클라우드 & 플랫폼

AWS Redshift S3 / Glue / Athena Lambda / EventBridge EMR MWAA (Managed Airflow) SageMaker Step Functions PrivateLink / VPC Vertica Aurora MySQL / Oracle BI MATRIX Linux Git / CodeSeries

ML & NLP

NLP / KoNLPy scikit-learn Pandas / NumPy 비지도학습 분류 Selenium / BS4 크롤링 MongoDB Django matplotlib / Seaborn

경력

어떤 기준으로 경력을 보시겠어요?

회사별 경력

데이터 플랫폼 엔지니어

빗썸 — Data/AI 실, 데이터 플랫폼 팀 · 서울

  • Databricks 기반 AI Agent 플랫폼 전사 확산 — Text-to-SQL, 데이터 분석, Insight Agent 개발 및 현업 교육. 2025.11~12 PoC에서 90% 정확도 달성, 2026.01~04 MvP 구축 및 프로덕션 도입.
  • Braze CRM 도입을 위한 고객 집계 속성 마트 설계 및 파이프라인 개발 — Redshift + S3 기반 개인정보 반출 아키텍처, Redshift Spectrum 조회 환경 구성 (2026.01~04).
  • 금융권 보안 심사를 통과한 AWS PrivateLink 기반 Databricks 워크스페이스 아키텍처 설계 — 망분리 설계, 보안 부문 검토 협의, 개인정보·신용정보 처리 카탈로그 및 데이터 거버넌스 프로세스 구축.
  • IDC + AWS 이원화 분석/정보계 통합 — AWS 신규 계정 IaC 전환(Terraform), VPC/Subnet 설계, Prefect+EMR → Airflow+Glue 파이프라인 전환, SageMaker Unified Studio·Redshift Serverless PoC, 멀티 클러스터 분리로 Redshift 노드 비용 33% 절감 (2025.06~진행중).
  • 플랫폼 전반 보안 운영 담당: CSPM 기반 리뷰, 패치·취약점 관리, 인증서 라이프사이클, ISMS-P 데이터 라이프사이클 문서화 및 감사 인터뷰 수검 (2025.10).
  • 기타 운영 프로젝트: Tomcat 기반 BI MATRIX 이중화(2024.11~2025.06), 재해복구(DR) 전환 구축(2025.04~07), 주문 호가 저장소 이관(2025.06~09), BI 서비스 신용정보보호법 준수 기능 개발(2025.10~12).
  • VERTICA, Redshift, Airflow, Aurora MySQL, EMR, BI MATRIX 핵심 데이터 자산 운영 — 거래 데이터(Oracle, Aurora MySQL), GA4, Appsflyer 수집 파이프라인 개발 및 운영.

데이터 엔지니어, 매니저

웍스피어 유한책임회사(구 잡코리아 유한책임회사) — Data & AI 본부, 데이터 플랫폼 팀 · 서울

  • Self-Insight 데이터 마트 구축 — 전사 셀프서비스 분석 플랫폼 — SparkSQL 최적화로 마트 런타임 5~20% 단축, 중복 프로필 데이터 제거. On-Prem Airflow + Databricks Workflow 하이브리드 파이프라인 구축.
  • Airflow 커스텀 오퍼레이터 설계 — Astro + Databricks 프로바이더 확장, ETL을 All-Purpose에서 Job Compute로 이전. ETL 비용 60~70%, SageMaker-Databricks 비용 50~60% 절감. 자동 Retry 및 Jinja2 Template 렌더링 추가.
  • 데이터 레이크를 AWS EMR에서 Databricks + Delta Lake + Unity Catalog로 마이그레이션 — All-Purpose 클러스터 재사용 오퍼레이터로 DAG 런타임 5~20% 단축, 태스크당 3~5분 자원 할당 오버헤드 제거. EMR Hive Metastore를 Databricks에 연결하여 검증 환경 구성.
  • Onepick — AI 기반 인재 추천 ML 파이프라인 출시: SageMaker용 Python Deferrable 오퍼레이터 작성으로 Airflow 워커 가용성 20%+ 향상, MS Teams 웹훅 기반 성능/오류 모니터링, Grafana 대시보드 구축.
  • Data Coverage — 분석가용 데이터 마트 생성 파이프라인 자동화, Presto 기반 리포트 쿼리를 PySpark로 마이그레이션, 테이블당 5~10% 성능 향상 (2023.05~06).
  • ISMS-P 컴플라이언스와 분석가 생산성을 위한 SHA-256 PII 암호화 모듈 및 Databricks↔AWS Glue Catalog 자동화 모듈 개발.

클라우드 데이터 엔지니어

베스핀글로벌 — DataOps 본부, Data Analytics 팀 · 서울

  • JOBIA 구축 — 웍스피어 유한책임회사(구 잡코리아 유한책임회사)의 AWS 기반 데이터/AI 플랫폼 — 온프레미스 MSSQL SSIS 웨어하우스 및 마트를 Redshift + S3 데이터 레이크로 이전, 파이프라인 런타임 15%+ 단축.
  • 외부 데이터(GA360, AWS Transfer Family 통한 SAP, S3 이벤트 트리거 Lambda 마이크로 ETL 기반 Appsflyer)를 단일 Glue Catalog / Athena 분석 환경으로 통합.
  • 배치 파이프라인 개발 가이드 작성 및 PoC 기간 중 AWS Step Functions + Glue + Spark ETL 패턴으로 고객사 팀 교육 진행.
  • Lambda + CloudTrail 기반 자산 관리 시스템으로 AWS 리소스 거버넌스 개선.

연구 엔지니어 · 공공데이터 인턴

국민대 / 단국대 / 청주대 산학협력단 · 효성ITX (국회도서관)

  • 국민대에서 산림청 '그린쉘터' 연구 과제를 위한 Raspberry Pi 기반 대기질 센서 네트워크 구축 — 실시간 수집 및 시각화 파이프라인 제공.
  • Bio+ City 연구 과제에서 미세먼지 회복 시간 알고리즘 최적화로 분석 런타임 50%+ 단축 — ICLEE 2019 포스터 "PM 2.5 Distribution Trend in an Urban Area" 공동 저자.
  • SPSS/Excel 워크플로우를 대체하는 Ubuntu + JupyterLab + MySQL 분석 환경 구축, 분석가 업무 처리 시간 ~20% 단축.

학력 & 자격

컴퓨터정보공학 학사

청주대학교 · 학점 3.8 / 4.5 (주간)

[캡스톤디자인] SurveyChat: 대화형 챗봇 설문조사 & 응답분석 시스템 — KoNLPy 형태소 분석, scikit-learn 비지도학습 분류, Django API 서버, MongoDB 저장, 카카오톡 챗봇 연동.

자격증

Astronomer Certification for Apache Airflow Fundamentals 2022.05
TOEIC 895점 2019.12
정보처리기사 2019.11
SQL 개발자 (SQLD) 2019.09

수상

2019 지능시스템학회 춘계학술대회 — 우수논문상 2019.04
Young Samsung 대학생 서포터즈 10기 개인우수상 2018.02

논문

Effects of Landscape Patterns on the Concentration and Recovery Time of PM2.5 in South Korea — MDPI Land (2022) 2022.11
PM 2.5 Distribution Trend in an Urban Area — ICLEE 2019 포스터 세션 2019.11
온라인 정보를 활용한 식당 사용자 패턴 분석 — 한국지능시스템학회 (2019) 2019.04

연락처

데이터 플랫폼, 크립토 데이터 인프라, 레이크하우스 아키텍처에 관한 협업에 관심 있으신가요? 아래 링크로 연락 주세요.

LinkedIn GitHub