블로그
- (대기업)빅데이터 관련 플랫폼 개발 인력 NO. 01 2016.6.17 (대기업)빅데이터 관련 플랫폼 개발 인력 (1) 담당업무 - 하둡 플랫폼(HDFS/Yarn/Hive/Impala) 등 Big data 인프라(플랫폼) 설계/설치/이슈 분석 (2) 소요스펙 - 전공 : 산업공학/통계학/컴퓨터공학 - 자격요건 ※ 하둡 플랫폼(HDFS/Yarn/Hive/Impala)구축, 운영 경력 ※ SQL on Hadoop
- Log Collect Architecture Log Collect Architecture Service Server의 로그 데이터를 수집하여 데이터 저장소인 (HDFS or S3) 에 저장하기 위해 Apache Flume과 Zookeeper를 System Architecture Data Source Layer 로그 데이터가 생성 되는 계층 Log Agent서비스 서버에 설치 되며, 서비스 서버에서 발생하는 access log
- Hadoop 설치 hadoop 설치 하둡다운로드wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz 자바 설치 (ubuntu)sudo apt-get install openjdk-6-jdk 환경변수와 PATH 등록~/.bashrc 파일 하단에 등록HADOOP_HOME=하둡 설치 디렉토리PATH