Python_ 웹 크롤링 정의, 웹 스크래핑과 비교 장단점

---

웹 크롤링(web crawling)

웹 페이지에 있는 정보를 가지고 오는 것을 의미 

selenium 라이브러리의 webdriver를 활용해 웹 브라우저를 조작.

BeautifulSoup 라이브러리를 활용해 웹 페이지 상의 HTML 데이터에서 필요한 정보를 가져 옴.

 

 

 

크롤링 방식의 장단점 비교

	Selenium + BeautifulSoup	Selenium만 이용
웹 페이지 접속	HTML 정보 다운로드 후 브라우저 영향 없음	웹 페이지 연결 유지 필요
웹 페이지 동작	불가능	클릭, 입력 등 조작 가능
크롤링 속도	빠름	느림

BeautifulSoup을 사용하는 경우는 웹 페이지의 정보를 다운로드 받은 뒤 브라우저에서 정보를 가져오지 않고, 다운로드 한 정보 안에서 필요한 내용을 찾는 것이기에 속도가 빠름.

반대로 Selenium만 이용하는 경우 웹 페이지에 계속 접속하고 있기 때문에 필요한 내용을 찾을 때 시간이 걸림. 대신, 클릭, 입력, 삭제 등의 브라우저 조작이 가능.

 

 

---