맨들맨들 돌덩이

티스토리 생일 : 2020.11.18. 모든 문의 : highcw@naver.com

개발/Python

웹 크롤링(web crawling) 웹 페이지에 있는 정보를 가지고 오는 것을 의미 selenium 라이브러리의 webdriver를 활용해 웹 브라우저를 조작. BeautifulSoup 라이브러리를 활용해 웹 페이지 상의 HTML 데이터에서 필요한 정보를 가져 옴. 크롤링 방식의 장단점 비교 Selenium + BeautifulSoup Selenium만 이용 웹 페이지 접속 HTML 정보 다운로드 후 브라우저 영향 없음 웹 페이지 연결 유지 필요 웹 페이지 동작 불가능 클릭, 입력 등 조작 가능 크롤링 속도 빠름 느림 BeautifulSoup을 사용하는 경우는 웹 페이지의 정보를 다운로드 받은 뒤 브라우저에서 정보를 가져오지 않고, 다운로드 한 정보 안에서 필요한 내용을 찾는 것이기에 속도가 빠름. 반대..

2021. 11. 22.

개발/Python

웹 스크래핑(web scrapping) HTML Parsing 웹 페이지의 HTML을 분석하여 필요한 URL을 추출하는 HTML 파싱 작업이 필요 파싱은 특정 텍스트를 부석하여 그 데이터로부터 필요한 정보를 추출하는 과정 정규 표현식(regular expression, regex) 일종의 문자를 표현하는 공식, 특정 규칙이 있는 문자열 집합을 추출할 때 자주 사용하는 기법 문법 메타문자(meta-characters) : 문자를 설명하기 위한 문자. 문자의 구성을 설명하기 위해 원래의 의미가 아니라 다른 의미로 쓰이는 문자 . ^ $ * + ? { } [ ] \ | ( ) 기본 메타문자 [ ] [ 와 ] 사이의 문자와 매칭하여 해당하는 텍스트가 있는지 찾으라는 뜻. [abc] # before의 b를 검색 ..

2021. 11. 22.

개발/Python

웹 스크래핑(web scrapping) 웹 사이트의 내용을 가져와 원하는 형태로 가공하는 것 어디에서 어느 정보를 가져올 것인지 정해야 함 웹 문서를 모두 가져온 후 원하는 부분만 추출 웹 크롤링(web crawling) 웹 크롤러(web crawler)가 하는 작업 – 웹 크롤러는 조직적, 자동화 된 방법으로 웹을 탐색하는 프로그램 웹 크롤링 혹은 스파이더링(spidering)이라 부름 검색엔진과 같은 여러 사이트에서 사이트의 최신 상태를 유지하기 위해 웹 크롤링을 함 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 생성된 페이지를 인덱싱 함 웹 크롤러는 봇이나 소프트웨어의 한 형태

2021. 11. 22.

개발/Python

읽어올 네이버 국내증시 정보를 보여주는 url 확인 삼성전자 : 네이버 금융 (naver.com) 삼성전자 - 네이버 금융 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com import urllib.request import re url ="http://finance.naver.com/item/main.nhn?code=005930" html = urllib.request.urlopen(url) html_contents =str(html.read().decode("ms949")) # 첫 번째 HTML 패턴 stock_results = re.findall("(\)([\s\S]+?)(\)", html_contents) samsung_stock = stock_re..

2021. 11. 18.

개발/Python

Numpy 파이썬의 기본 데이터 형식과 내장 함수를 이용하는 것보다 다차원 배열 데이터를 효과적으로 처리할 수 있다. 대규모 다차원 배열, 행렬을 쉽게 처리할 수 있도록 지원하는 파이썬의 라이브러리이다. 데이터 구조 외에도 수치 계산을 위해 효율적으로 구현된 기능을 제공한다. Scipy, Pandas, matplotlib 등 다른 Python 패키지와 함께 쓰이는 경우가 많다. 파이썬으로 수치해석, 통계 관련 기능 구현 시 Numpy는 가장 기본이 되는 모듈이다 행렬이나 일반적으로 대규모 다차원 배열을 쉽게 처리 할 수 있도록 지원하는 파이썬의 라이브러리이다. NumPy는 데이터 구조 외에도 수치 계산을 위해 효율적으로 구현된 기능을 제공한다. 배열 생성하기 >>> import numpy as np >>..

2021. 11. 18.

개발/Python

디렉토리 생성하기 cd mypython 해서 디렉토리에 접근해주고 해당 디렉토리 위치에서 쥬피터 노트북 실행 해당 쥬피터 노트북이 열린다. Python3 으로 새로 생성해준다. 입력 설명 Shift+Enter 현재 셀을 수행하고 아래 셀을 선택, 아래에 셀이 없으면 새로운 셀 추가 Alt+Enter 현재 셀을 수행하고 아래에 새로운 셀 추가 Ctrl+Enter 현재 셀 수행. 아래 셀 추가 선택 없음. Ctrl+s 저장 Enter 명령 모드에서 입력 모드로 전환 Esc 입력 모드에서 명령 모드로 전환 M 명령 모드에서 셀 타입을 마크다운으로 전환 Y 명령 모드에서 셀 타입을 코드로 전환 Ctrl+/ 셀 편집 영역에서 선택된 코드 주석 처리 상/하 방향키 명령 모드에서 셀 간의 상/하 이동

2021. 11. 18.

개발/Python

데이터 과학 이란? 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는데 과학적 방법론, 프로세스, 알고 리즘, 시스템을 동원하는 융합분야 데이터를 통해 실제 현상을 이해하고 분석하는데 통계학, 데이터 분석, 기계학습과 연관된 방법론을 통합하는 개념으로 정의되기도 한다. 보통 큰 데이터셋에 대해 어노테이션, 클리닝, 핸들링, 저장, 분석을 하여 그로부터 유용한 지식을 추출하는 것을 말한다. 데이터 과학은 데이터를 연구하는 분야이고, 데이터 자체가 가장 중요한 자원이다. 실제로 데이터 분석 업무의 80~90%는 데이터를 수집하고 정리하는 일이 차지하며, 나머지는 알고리즘을 선택하고, 모델링 결과를 분석하여 데이터로부터 유용한 정보를 얻어내는 분석 프로세스의 몫이다. 데이터 과학자가 ..

2021. 11. 18.