웹크롤링2 [파이썬 심화] 웹 크롤링, BeautifulSoup & Requests 활용, 실무 응용 웹 크롤링의 기본 개념과 원리웹 크롤링(Web Crawling)은 인터넷 상의 웹 페이지에서 필요한 데이터를 자동으로 수집하는 기술입니다.사람이 직접 마우스로 정보를 복사하지 않고, 프로그램이 페이지를 요청하고 필요한 정보만 추출하는 방식입니다.대표적인 웹 크롤링 활용 사례는 다음과 같습니다:뉴스 기사나 블로그 제목 수집쇼핑몰에서 상품명, 가격 정보 추출댓글, 리뷰, 공공데이터 자동 수집파이썬에서는 requests 모듈로 웹 페이지의 HTML을 가져오고, BeautifulSoup 모듈로 HTML에서 원하는 부분을 선택해서 추출할 수 있습니다.필수 모듈 설치pip install requestspip install beautifulsoup4설치 후, 다음 단계부터 본격적인 웹 크롤링 예제를 실습해 보겠습니다.. 2025. 4. 5. [파이썬과 웹크롤링] 웹 크롤링의 정의, 크롤러 만들기, 응용 아이디어 웹 크롤링의 정의웹 크롤링(Web Crawling)이란 인터넷 상에 공개된 웹 페이지에서 데이터를 자동으로 수집하는 작업을 말합니다. 예를 들어 뉴스 사이트에서 기사 제목을 가져오거나, 쇼핑몰에서 상품 정보를 모으는 것이 대표적인 활용 예입니다.파이썬은 웹 크롤링을 손쉽게 할 수 있도록 다양한 라이브러리를 제공합니다. 대표적으로 많이 사용하는 두 가지는 requests와 BeautifulSoup입니다.• requests: 웹 페이지의 HTML 코드를 가져오는 데 사용• BeautifulSoup: HTML 코드에서 원하는 데이터를 추출하는 데 사용웹 크롤링은 단순한 코드만으로도 놀라운 자동화를 가능하게 해 주기 때문에 많은 사람들이 활용하고 있습니다. 다만, 웹사이트의 이용 규칙(robots.txt)을 지.. 2025. 4. 2. 이전 1 다음
