데이터의 민족

하둡 안정적이고 확장성이 높은 저장 및 분석 플랫폼을 제공 범용 하드웨어에서 실행되고 오픈 소스이기에 매우 저렴 데이터 지역성 : 가능하면 계산 노드에 데이터를 함께 배치하여 데이터가 로컬에 있기 때문에 접근도 빠를 수밖에 없음. 좋은 성능을 내는 이유 맵리듀스 한 번의 쿼리로 전체나 상당한 규모의 데이터 셋을 처리한다는 장점 일과 질의 처리기, 전체 데이터 셋을 대상으로 비정형 쿼리를 수행하고 합리적인 시간 내에 결과 도출 대화형 분석에는 적합하지 않음(비공유 아키택처) 입력 포맷, 또는 데이터셋을 스플릿으로 조각내는 방법 하둡 에코시스템 분산 컴퓨팅과 대규모 데이터 처리를 위한 기반 시설 오픈 소스 S.W 프로젝트 커뮤니티의 지원을 담당하고 HTTP서버(프로젝트 이름으로 시작하는 도메인을 가짐. 예를..

데이터 자체와 데이터를 둘러싼 시스템을 책임 데이터 관리, 수집/보관/처리 시스템 개발/구조 설계 파이프 라인 구축, 관리 및 유지보수 관리 데이터 파이프 라인 관리, AWS/애저/GCP 등 클라우드 백엔드 개발, 하둡, 스파크 등을 이용한 대용량 데이터 분산 처리 시스템 개발 컴퓨터의 동작과 분산 처리의 원리, 네트워크/클라우드 시스템 ,파일 시스템과 관련 지식 코딩 능력 머신러닝 개발 지식 Google certified professional data engineer 자격증 공부 권유