블로그
- 인스타그램 데이터 수집 방법, 웹 크롤링 차단과 캡차 우회 해결 가이드 특정 해시태그의 트렌드를 분석하거나 인플루언서 마케팅 피드백을 모니터링하기 위해 인스타그램 데이터를 수집하다 보면, 얼마 지나지 않아 계정이 비활성화되거나 IP가 차단되는 벽에 부딪히게 됩니다. 특히 최근 소셜 플랫폼의 보안 로직이 워낙 강력해진 탓에 단순한 스크립트 작성만으로는 지속적
- 제주어 공공 데이터 포털 활용 (가장 빠르고 확실한 방법) 정부와 지자체가 세금을 들여 구축한 고품질 데이터를 먼저 확보하세요. 가장 가공하기 쉬운 형태입니다. 제주 특화 연구 기관의 아카이브 '크롤링' 제주어 연구자들이 평생 모은 구비전승 데이터들이 웹에 공개되어 있습니다. 제주학.......
- SEO최적화, 할려니까 #5 - Robots.txt는 또 뭐냐 검색엔진이 우리 사이트를 수집하러 올 때 "여기까지만 봐 주세요" 하고 선을 긋는 방법. 그게 바로 robots.txt다. 모든 걸 보여줄 필요는 없다. 관리자 페이지, 비공개 게시판) 중복 콘텐츠나 저품질 페이지가 검색되지 않게 막을 수 있음 크롤링 자원을 효율적으로 분배해 검색엔진이 중요한 페이지에 집중하게 할 수 있음 기본 구조는
- SEO최적화가 뭔지도 몰랐다 #3 - 네이버 웹마스터 도구 건들기 네이버 서치 어드바이저로 할 수 있는 일 사이트 등록 및 소유 확인 사이트맵 제출 및 robots.txt 등록 수집(크롤링) 현황, 색인 현황 확인 검색 유입 키워드/노출 수/클릭 네이버 웹마스터 등록 방법 Step 1. 사이트 등록 네이버 서치 어드바이저 접속 로그인 후 ‘사이트 등록’ 클릭 Step 2.
- [더미의 IT 테크닉] RPA의 강자 UiPath 사용법 1 - uipath와 구글 시트 연동 (UiPath로 크롤링 하는 방법, 생각보다 정말 쉽다. UiPath활용한 크롤링 세션에서 다룬다.) Step 2) 크롤링한 정보를 구글 시트에 입력한다. (이번.......
- 데이터 사이언스 프로세스 프로세스 문제 정의하기 데이터 모으기 데이터 다듬기 데이터 분석하기 데이터 시각화 및 커뮤니케이션 문제 정의하기 해결하고자 하는 문제를 정의하는 단계 목표 설정 기간 설정 평가 방법 설정 필요한 데이터 설정 데이터 모으기 필요한 데이터를 모을 수 있는 방법을 찾는 단계 웹 크롤링 자료 모으기 파일 읽고 쓰기 데이터 다듬기 데이터의 퀄리티를 높여서 의미 있는 분석이
- 크롤링이란..? 웹크롤링/스크래핑 기초 크롤링 크롤링 혹은 스크래핑은 특정 웹페이지를 그대로 가져와서 거기서 데이터를 추출해내는 행위 사람들이 일일이 해당 사이트의 정보를 검색하는 것이 아닌 자동으로 돌아다니며 저장을 하기 위한 방법 필요 기초 상식 HTTP메소드 -- GET : URL과 결합되어 스트링 형태로 서버에 전달되어 있기에 리소스 요청만으로 가능한 방식 -- POST : 스트링 형태 그대로
- 패스트캠퍼스 캐시백 챌린지 33일차 데이터 수집 자동화(파이썬 웹 크롤링) / 테리엇 강의명: 직장인이 진짜 필요한 업무자동화 SUPER팩 초격차 패키지 Online [STUDY] [chapter 1-01. 파이썬 데이터 수집 방법 - 데이터 수집 방법 3가지] * 데이터를 수집 방법 3가지 -> 파이썬 패키지, 오픈 API, 웹크롤링을 이용해서 각각 수집할 수 있다.
- 페이스북 좋아요 횟수 가져 오기 단일 페이지 어플리케이션의 웹 크롤링 (https://blog.naver.com/yoojchul/221333353523) 에 소개된 방법 대로 페이스북도 읽을 수 있습니다.
- [SEO 검색엔진최적화] 구글, 네이버에 검색노출 잘 되게 하는 법(Feat.ROBOTS.TXT) 2편 구글과 네이버에 검색노출 잘 되게하는 방법 1편 이는 검색을 도와주는 검색엔진의 로봇에게 내 사이트를 잘 찾아올 수 있는 지도를 주는 것 입니다! 먼저 본문에 앞서 검색노출이 잘되기 위한 순서는 1.사이트 제어(로봇/사이트맵)2.사이트 색인(크롤링)3.구글 및 네이버 검색노출 입니다.
