웹 크롤링 공부

1️⃣ 웹 크롤링이란?

웹 크롤링(Web Crawling)은 웹사이트에서 데이터를 자동으로 수집하는 기술이에요.
보통 requests와 BeautifulSoup을 활용해 HTML에서 원하는 정보를 추출하죠.

✔ 간단한 웹 크롤링 예제

python

import requests
from bs4 import BeautifulSoup
url = 'https://n.news.naver.com/mnews/article/009/0005447571'
res = requests.get(url)
soup = BeautifulSoup(res.content, 'html.parser')
# 제목 가져오기 
title = soup.find('title').get_text() 
print(title)

 

✅ 출력 결과: 네이버 뉴스 제목이 출력됨

👉 활용 예시: 뉴스, 쇼핑몰, 블로그 데이터를 자동으로 수집 가능!

---

2️⃣ 크롤링한 데이터를 머신러닝에 활용하기

크롤링한 데이터를 가공해서 Scikit-learn을 활용한 분석을 할 수도 있어요.
예를 들어, 쇼핑몰에서 제품 리뷰를 수집한 뒤, 긍정/부정을 예측하는 머신러닝 모델을 만들 수 있어요.