BeautifulSoup - 파이썬 웹 크롤링 라이브러리¶

BeautifulSoup은 파이썬 웹 크롤링에 가장 널리 사용되는 라이브러리이자 툴입니다. (BeautifulSoup 공식 문서)

웹 크롤링(Web crawling) 또는 스크래핑(Scraping)은 웹 페이지들을 긁어와서 데이터를 추출하는 것을 말합니다. 웹 크롤러는 자동화된 방식으로 웹 페이지들을 탐색하는 컴퓨터 프로그램입니다.

파이썬과 BeutifulSoup 라이브러리를 이용하면 프로그래밍에 익숙하지 않은 비전공자나 입문자도 쉽게 크롤링을 할 수 있습니다.

BeautifulSoup 크롤링 예제에서 Requests와 BeautifulSoup 라이브러리를 사용하는데, 기본적으로 아나콘다 통합 패키지에 포함되어 있지만 설치되어 있지 않다면 설치를 진행합니다.

Requests 설치¶

pip install requests

명령 프롬프트에서 명령어를 통해 설치합니다.

pip install beautifulsoup4

마찬가지로 명령 프롬프트에서 위의 명령어를 통해 설치합니다.