제로베이스/스터디노트 (1) 썸네일형 리스트형 3주차 데이터 엔지니어 데이터 엔지니어는 앱 또는 웹에서 발생하는 데이터들을 파이프라인을 통해 저장소(Database, S3,...)에 저장합니다. 대용량 데이터를 수집하고 관리하며 유지하는 일을 담당합니다. 주요 업무 여러 서버 클러스터로 빅데이터를 처리 클러스터 관리, 분산 컴퓨팅, 리소스 관리, Load Balancing 관련 문제 해결 ETL(Extract - Transform - Load) DW(Data Warehouse) 구축 BI(Business Intelligence) 구축 Hadoop, Spark, Kafka 등을 사용해 업무 채용 공고에 자주 나오는 자격 요건 리눅스, 쉘 스크립트 데이터 수집 및 가공 Hadoop Spark SQL DW 시스템 설계 및 운영 ETL 파이프라인 개발 BI Too.. 이전 1 다음
