Python_ 웹 스크래핑 & 웹 크롤링 정의

---

웹 스크래핑(web scrapping)

웹 사이트의 내용을 가져와 원하는 형태로 가공하는 것 

어디에서 어느 정보를 가져올 것인지 정해야 함 

웹 문서를 모두 가져온 후 원하는 부분만 추출 

 

 

웹 크롤링(web crawling) 

웹 크롤러(web crawler)가 하는 작업

– 웹 크롤러는 조직적, 자동화 된 방법으로 웹을 탐색하는 프로그램 웹 크롤링 혹은 스파이더링(spidering)이라 부름

검색엔진과 같은 여러 사이트에서 사이트의 최신 상태를 유지하기 위해 웹 크롤링을 함 

방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 생성된 페이지를 인덱싱 함 

웹 크롤러는 봇이나 소프트웨어의 한 형태

 

 

---