블로그
-
[빅데이터 분석기사 필기] 1과목 빅데이터 분석 기획 | CHAPTER 3. 데이터 수집 및 저장 계획
데이터 수집 및 전환 01 데이터 수집 과정 6단계 절차 순서를 묻는 문제가 출제된다. 흐름대로 한 번 읽어두자. ① 수집 데이터 도출 및 목록화 ② 데이터 소유 기관 확인 및 협의 ③ 데이터 유형 확인 및 분류 ④ 데이터 수집 기술 선정 ⑤ 수집 계획서 작성 및 수집
blog.naver.com · 2026.06.21
-
[de-zoomcamp]week4 / dbt (1)
Analytics Engineering 필요성 ETL 위주 -> ELT 위주로의 패러다임 변화 예전에는 저장 공간이 비싸서 꼭 필요한 데이터만 골라(E) 미리 변형해서(T) 적재 엔지니어(인프라를 만드는 사람)와 데이터 분석가(데이터를.......
blog.naver.com · 2026.02.12
-
AWS re:Invent 2025 - Fast-track to insights: AWS-SAP data strategy (ANT333)
이번 라이트닝 토크에서는 AWS와 SAP가 기업 데이터 통합 문제를 해결하기 위해 개발한 혁신적인 솔루션을 소개합니다. v=tr2ri8I77To 이 발표에서는 SAP와 Amazon SageMaker 간의 제로 ETL 통합을 구현하여 데이터 파이프라인 구축에 소요되는 시간을 줄이고 모든 데이터를 활용한
blog.naver.com · 2026.01.08
-
[AI보안솔루션기업] 데이터 플랫폼/백엔드 개발
주요 담당업무: 데이터 플랫폼(data platform) / 백엔드(back-end) 개발 - 데이터 플랫폼 ETL 파이프라인 개발 및 유지보수 - 데이터 플랫폼 액세스 계층 개발 및 유지보수 - 데이터 태깅, 라벨링 시스템 개발 - 데이터 모델링 및 스키마 설계 지원 - 데이터 파이프라인 성능 최적화 및 모니터링 - 데이터 관련 문제 분석 및 해결 3.
blog.naver.com · 2025.11.13
-
[ADsP/ADP 필기 요약] 2과목 데이터 처리기술
데이터 처리 프로세스 1. 스테이징 테이블에 저장 ③ profiling : 데이터 특성을 식별하고 품질 측정 ④ cleasing : 프로파일링된 데이터 보정 ⑤ integration : 클렌징 데이터 통합
blog.naver.com · 2024.07.27
-
스프링 배치
배치 핵심패턴 * READ : 데이터페이스, 파일, 큐에서 다량의 데이터 조회 * PROCESS : 특정 방법으로 데이터 가공 * Write : 데이터를 수정된 양식으로 다시 저장 READ, PROCESS, WRITE는 DB에서의 ETL(Extract Transferom Load)용어와 거의 동일하게 보면 됨 스프랭 배치 - 아케틱처 https://docs.spring.io
blog.naver.com · 2024.03.02
-
데이터 분석가란 (+ 취뽀하고싶은 회사 채용공고)
데이터 직군 먼저 알아보면 Data Scientist 과거 패턴으로부터 미래 예측 비즈니스에 여러 알고리즘 적용시켜 새로운 분석 모델 및 머신러닝 모델 수정/개발 - 머신러닝, 데이터마이닝 ) 등 Data Analyst 데이터 분석, 처리 및 비즈니스에 유의미한 결과 창출 분석 도구를 활용해서 데이터 보고서 설계 및 작성 (데이터 분석, 인사이트 찾고, 데이터 수집이나
blog.naver.com · 2024.01.24
-
Datadog 내 MSA DB 간Dashboard 구현하기 (6/7)
없지만 1개 이상의 Database 내 Table 간 Join이 필요하다고 하면 쉽지 않는 선택이 필요합니다. 1) API 를 통해 조회한 값과 DB query 한 값을 재조합 2) ETL 과 같은 데이터 동기화 솔루션을 통해 값을 가져와서 Join 쿼리 3) 반정규화 (여기에도 있고 저기에도 있고) 그런데 하물며 Datadog의 Dashboard 상에서 두 개의 D
blog.naver.com · 2023.10.26
-
지티원, 데이터호크 우수상품 IPO 전망은? /지티원주식 /지티원장외주식 / 지티원ipo / 지티원비상장
지티원 '데이터호크(DataHawk)'는 데이터 원천으로부터 ETL, SQL, 온라인, 배치 프로그램 등 데이터 목적지까지 흘러가는 경로와 변환 규칙을 가시화해주는 데이터 계보 관리 데이터 계보 관리란 데이터 원천으로부터 목적지까지 흐름을 가시화하고 관리하는 것이죠. 데이터 계보 관리는 여러 방면에서 유용하게 활용될 수 있는데요.
blog.naver.com · 2023.05.11
-
빅데이터분석기사 - 제 3회 오답
oozie : hdfs에 저장되어있는 데이터에 대해 etl 작업을 실행 sqoop : 관계형 베이스에서 하둡으로 전달하는거 Hbase : 하둡을 위한 비관계형 분산 데이터 데이터 분석시 분석 단계 수행 : 모델평가후 모델검증, 텍스트 데이터 확인 및 추출 후 분석, 탐색적 데이터 분석 후 시각화(데이터수집, 저장, 적합성 검정 - 데이터 준비 단계, 분석x) 분석
blog.naver.com · 2022.09.30
블로그 결과 더보기 →
