-
웹 크롤링(web crawling)
웹 페이지에 있는 정보를 가지고 오는 것을 의미
selenium 라이브러리의 webdriver를 활용해 웹 브라우저를 조작.
BeautifulSoup 라이브러리를 활용해 웹 페이지 상의 HTML 데이터에서 필요한 정보를 가져 옴.
크롤링 방식의 장단점 비교
Selenium + BeautifulSoup Selenium만 이용 웹 페이지 접속 HTML 정보 다운로드 후 브라우저 영향 없음 웹 페이지 연결 유지 필요 웹 페이지 동작 불가능 클릭, 입력 등 조작 가능 크롤링 속도 빠름 느림 BeautifulSoup을 사용하는 경우는 웹 페이지의 정보를 다운로드 받은 뒤 브라우저에서 정보를 가져오지 않고, 다운로드 한 정보 안에서 필요한 내용을 찾는 것이기에 속도가 빠름.
반대로 Selenium만 이용하는 경우 웹 페이지에 계속 접속하고 있기 때문에 필요한 내용을 찾을 때 시간이 걸림. 대신, 클릭, 입력, 삭제 등의 브라우저 조작이 가능.
'개발 > Python' 카테고리의 다른 글
Python_ 웹 스크래핑 문법, 정규 표현식 (0) 2021.11.22 Python_ 웹 스크래핑 & 웹 크롤링 정의 (0) 2021.11.22 Python_ 웹 스크래핑, 주식 정보 읽어와보기 (0) 2021.11.18 Numpy_ 개념 및 정의, 배열 생성, 기본 작업, 유니버셜 함수 (0) 2021.11.18 Python_ 쥬피터 노트북 사용법 단축키, Jupyter notebook (0) 2021.11.18 댓글 (비로그인 댓글 허용하지 않습니다.)