블로그
- HBase Hadoop 기반의 분산형 NoSQL 데이터베이스 대용량 데이터를 실시간으로 저장 및 조회 가능 Hadoop의 HDFS 위에서 동작 Google의 BigTable 논문을 기반으로 개발 "HBase = HDFS 위에서 동작하는 컬럼 기반 NoSQL DB" HBase 특징 1.
- 정보처리기사실기기출 20문제 _20년4회 처리할 수 있는 자바 기반의 오픈 소스 프레임 워크이며, 더그 커팅과 마이크 캐퍼렐라가 개발했다.구글 맵 리듀스를 대체한다.HDFS(분산처리파일시스템)과 맵리듀스가 있다 [보충] HDFS
- 메타스토어/카탈로그 (Metastore) 메타스토어 하이브 HDFS(하둡)에 저장된 데이터를 SQL로 쿼리할 수 있게 해주는 데이터 웨어하우스 소프트웨어 단 SQL 쿼리 엔진으로서의 하이브는 요즘 새로 구축하는 시스템에서는
- Hadoop 간단 아키텍처와 Disk RAID구성에 대하여 Hadoop 간단 아키텍처와 Disk RAID구성에 대하여By hironlee | 2015-04-16 0 Comment 데이터 저장을 위해 가장 많이 사용하는 오픈소스인 HDFS, HDFS(Hadoop Distributed File System)의 물리적 아키텍처Hadoop Architecture Hadoop은 잘 아시다시피, 블록 단위로 파일을 보관.
- Hive - 압축, 시퀀스 파일 # hive의 설치된 코덱 확인 [hive@hdfs ~]$ hive -e "set io.compression.codecs" io.compression.codecs= org.apache.hadoop.io.compress.GzipCodec
- 빅데이터의 핵심기술 - 하둡(Hadoop)이란 -하둡은 분산시스템 HDFS(Hadoop Distributed File System)에 데이터를 저장하고, 맵리듀스를 이용해 데이터를 처리 ● 하둡 기술 -분산 저장(Hadoop Distributed
- hadoop distcp hdfs 간 파일을 복사하기 위해서는 distcp를 사용하면 된다. 방법에 대해 정리해보면... 1. (디렉토리, 파일 지정) ex) hadoop distcp hdfs://source hdfs://destination (다른 버전간에 복사를 하려면, hadoop distcp hftp
- (대기업)빅데이터 관련 플랫폼 개발 인력 NO. 01 2016.6.17 (대기업)빅데이터 관련 플랫폼 개발 인력 (1) 담당업무 - 하둡 플랫폼(HDFS/Yarn/Hive/Impala) 등 Big data 인프라(플랫폼) 설계/설치/이슈 분석 (2) 소요스펙 - 전공 : 산업공학/통계학/컴퓨터공학 - 자격요건 ※ 하둡 플랫폼(HDFS/Yarn/Hive/Impala)구축, 운영 경력 ※ SQL on Hadoop
- HDFS architecture(2) 이번 내용은 HDFS를 구성하는 각 노드들의 workflow에 대한 내용이다. ㅋㅋㅋ
- HDFS architecture(1) 하둡 아키텍쳐에 대한 간단한 스케치정도라고 보면 될 것 같다. ㅋㅋㅋㅋㅋㅋㅋ