데이터의 민족

몽고DB 데이터의 기본 단위는 도큐먼트이며, 이는 관계형 데이터베이스의 행과 유사 같은 맥락에서 컬렉션은 동적 스키마가 없는 테이블과 같음 단일 인스턴스는 자체적인 컬렉션을 갖는 여러 개의 독립적인 데이터베이스 호스팅 모든 도큐먼트는 컬렉션 내에서 고유한 특수키인 '_id'를 보유 몽고 DB는 몽고 셸이라는 간단하지만 강력한 도구와 함께 배포 몽고 셸은 몽고DB 인스턴스를 관리하고 몽고DB 쿼리 언어로 조작하기 위해 내장 지원을 제공 사용자가 다양한 목적으로 자신의 스크립트를 만들고 로드할 수 있는 완전한 기능의 자바스크립트 해석가 1. 도큐먼트 'greeting'이라는 키와 연결된 'Hello world!'라는 값 {"greeting" : "Hello, world!"} 도큐먼트의 값은 단지 blob형이..

1 - 1. 손쉬운 사용 관계형 데이터베이스가 아닌 도큐먼트 지향 데이터베이스 관계형을 사용하지 않는 이유는 분산 확장을 쉽게 하기 위함 내장 도큐먼트와 배열을 허용함으로써 도큐먼트 지향 모델은 복잡한 계층 관계를 하나의 레코드로 표현 가능 또한 몽고DB는 도큐먼트의 키와 값을 미리 정의하지 않음 따라서 고정된 스키마가 없다. 덕분에 개발 과정을 빠르게 반복할 수 있어 개발 속도 향상 1 - 2. 확장 가능한 설계 몽고DB는 분산 확장을 염두 1 - 3. 다양한 기능 1. 인덱싱 일반적으로 보조 인덱스를 지원하며 고유, 복합, 공간 정보, 전문 인덱싱 기능도 제공 중첩된 도큐먼트 및 배열과 같은 계층 구조의 보조 인덱스 지원 2. 집계 데이터 처리 파이프라인 개념을 기반으로 한 집계 프레임워크를 제공 집..

1. MySQL 설치 파일 MySQL customer 설치 파일 2. 설치 과정 참고 티스토리 MySql 설치 방법 https://cdn.mysql.com/archives/mysql-installer/mysql-installer-community-8.0.21.0.msi 위의 링크로 들어가 mysql을 다운받는다. 1. Custom으로 설치 2. 3가지만 Custom 설치 ① [Applications] – [MySQL W.. abcdefgh123123.tistory.com 3. 샤키라 파일 설치 MySQL :: Other MySQL Documentation Other MySQL Documentation This page provides additional docum..

1. 설치 2. 압축 해제 및 이동 3. 환경 설정 4. bashrc 설정 5. 파일 카피 및 환경 설정 6. 마무리 및 확인 vim에 들어가면 1을 입력

1. 링크 접속 설치 2. 압축 해제 3. 경로 이동 4. 파이썬 설치 5. pip3를 사용해 pyspark 설치 및 환경변수 PATH에 추가하고 SPARK_HOME 경로 입력 홈 디렉토리에 밑에 bashrc파일에 넣어주고 활성화 확인 6. 복사본 파일 생성 및 환경 설정 맨 아래에 입력 7. 스파크 디폴트 컴퓨터 파일에 복사본 생성 및 환경 설정 맨 아래에 입력 8. 디렉토리 생성 및 권한 부여 9. 확인 10. 복제후 환경 설정 localhost는 각주하고 노드를 추가 11. 파이썬 환경설정 PATH 추가 bashrc설정 및 상태 저장 참고 자료

1. 하둡을 다운 받을 경로 생성 sudo mkdir /install_dir && cd /install_dir 2. 생성한 경로에 하둡 압축 파일 다운(2022 - 04 기준) sudo get https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.2.3.tar.gz 3. usr/local 경로에 압축 해제 4. 압축 해제한 hadoop 파일 이동 5. 시스템 환경 변수 설정, vim 화면에 PATH 등록 PATH 등록하고 나서 ESC + :wq! 저장 필수!!!(강제 저장 후 종료) 6. 추가 변수 설정 확인 7. HDFS 사이트 변수 설정 참고 자료 빅데이터 분석 환경 구축 - 3강. Hadoop 설치 및 환경설정 작성자 : 김재민 loft..

Ubuntu 설치 1. Virtual Box 다운로드 Windows hosts 다운 Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox binaries By downloading, you agree to the terms and conditions of the respective license. If you're looking for the latest VirtualBox 6.0 packages, see Virt www.virtualbox.org 2. Virtual box에서 Ubuntu 생성하기 메모리 크기는 4096M..

하둡 안정적이고 확장성이 높은 저장 및 분석 플랫폼을 제공 범용 하드웨어에서 실행되고 오픈 소스이기에 매우 저렴 데이터 지역성 : 가능하면 계산 노드에 데이터를 함께 배치하여 데이터가 로컬에 있기 때문에 접근도 빠를 수밖에 없음. 좋은 성능을 내는 이유 맵리듀스 한 번의 쿼리로 전체나 상당한 규모의 데이터 셋을 처리한다는 장점 일과 질의 처리기, 전체 데이터 셋을 대상으로 비정형 쿼리를 수행하고 합리적인 시간 내에 결과 도출 대화형 분석에는 적합하지 않음(비공유 아키택처) 입력 포맷, 또는 데이터셋을 스플릿으로 조각내는 방법 하둡 에코시스템 분산 컴퓨팅과 대규모 데이터 처리를 위한 기반 시설 오픈 소스 S.W 프로젝트 커뮤니티의 지원을 담당하고 HTTP서버(프로젝트 이름으로 시작하는 도메인을 가짐. 예를..