블로그
- HBase Hadoop 기반의 분산형 NoSQL 데이터베이스 대용량 데이터를 실시간으로 저장 및 조회 가능 Hadoop의 HDFS 위에서 동작 Google의 BigTable 논문을 기반으로 개발 "HBase = HDFS 위에서 동작하는 컬럼 기반 NoSQL DB" HBase 특징 1.
- Hadoop 간단 아키텍처와 Disk RAID구성에 대하여 Hadoop 간단 아키텍처와 Disk RAID구성에 대하여By hironlee | 2015-04-16 0 Comment 데이터 저장을 위해 가장 많이 사용하는 오픈소스인 HDFS, HDFS(Hadoop Distributed File System)의 물리적 아키텍처Hadoop Architecture Hadoop은 잘 아시다시피, 블록 단위로 파일을 보관.
- 빅데이터의 핵심기술 - 하둡(Hadoop)이란 하둡(Hadoop)● 하둡 -대용량 데이터를 분산처리 할 수 있는 자반기반의 오픈소스 프레임워크 → 컴퓨터 클러스트 시스템으로 분산처리이다. → 무료로 활용할 수 있는 프레임워크이다 -하둡은 분산시스템 HDFS(Hadoop Distributed File System)에 데이터를 저장하고, 맵리듀스를 이용해 데이터를 처리 ● 하둡 기술 -분산 저장(Hadoop Distributed
- hadoop distcp (/etc/hosts) 3. hadoop distcp를 사용하여 복사한다. (디렉토리, 파일 지정) ex) hadoop distcp hdfs://source hdfs://destination (다른 버전간에 복사를 하려면, hadoop distcp hftp
- (대기업)빅데이터 관련 플랫폼 개발 인력 NO. 01 2016.6.17 (대기업)빅데이터 관련 플랫폼 개발 인력 (1) 담당업무 - 하둡 플랫폼(HDFS/Yarn/Hive/Impala) 등 Big data 인프라(플랫폼) 설계/설치/이슈 분석 (2) 소요스펙 - 전공 : 산업공학/통계학/컴퓨터공학 - 자격요건 ※ 하둡 플랫폼(HDFS/Yarn/Hive/Impala)구축, 운영 경력 ※ SQL on Hadoop
- 하둡 업무 영역과 Architecture Hadoop 업무 영역 HDFS Architecture MapReduce Architecture YARN Architecture
- Hadoop 설치 hadoop 설치 하둡다운로드wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz 자바 설치 설치확인 bin/hadoop jar hadoop-example~.jar wordcount README.txt ~/wordcount-output 의사 분산 모드 설치conf/hadoop-env.sh