< 데이터 파이프라인 / 클라우드 >

< 데이터 파이프라인>

• 데이터의 중요도가 증가하면서 이동 환경에 대한 중요성이 대두
• ETL, 효율적인 설계 필요
  • 1-1   데이터의 유입 방식 / 변동가능성 주의
    • 바운디드 데이터 : 변화가 없음
    • 언바운디드 데이터 : 데이터가 추가될 가능성 있음
  • 1-2   데이터 처리 방식
    • 배치 방식 : 일정한 주기에 따라 데이터를 모으고 처리
    • 스트리밍 방식 : 연속적으로 처리
    • 람다 아키텍처 : 모두 적용
  • 1-3   데이터 저장 방식
    • 데이터 레이크 / 데이터 웨어하우스 선택
    • 분산 시스템 선택
    • 데이터 베이스 선택

 

< 클라우드 >

• IT 자원이 필요할 때마다 인터넷을 원격으로 외부 자원을 사용할 수 있는 서비스
  • 온프레미스 : 기업이 자체적으로 가지고 있음
  • 온디멘드 : 외부 설비를 필요할 때마다 사용
• 아마존의 AWS / 마이크로소프트의 애저 / 구글 GCP
• 종류
  • 퍼블릭 클라우드 : 여러 사용자에게 공개
  • 프라이빗 클라우드 : 특정 사용자, 기업
  • 하이브리드 클라우드 : 퍼블릭 + 프라이빗
  • 멀티 클라우드 : 여러 클라우드 서비스를 동시에 이용