GridSearchCV == 하이퍼파라미터 자동화

📌 GridSearchCV란?

GridSearchCV는 하이퍼파라미터 튜닝을 자동화하는 Scikit-Learn의 도구입니다.
즉, 머신러닝 모델의 최적의 하이퍼파라미터 조합을 찾기 위해 여러 값을 조합하여 탐색하는 방식입니다.

---

🚀 왜 필요할까?

• 머신러닝 모델은 learning_rate, n_estimators, max_depth 등 다양한 하이퍼파라미터를 가짐.
• 사람이 하나하나 직접 실험하면서 최적값을 찾기 어려움.
• GridSearchCV는 모든 조합을 자동으로 탐색하여 최적의 조합을 찾아줌.

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 데이터 준비
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)

# 모델 선택
model = RandomForestClassifier()

# 하이퍼파라미터 후보 설정
param_grid = {
    'n_estimators': [10, 50, 100],   # 트리 개수
    'max_depth': [None, 10, 20],     # 트리 깊이
    'min_samples_split': [2, 5, 10]  # 최소 분할 샘플 수
}

# GridSearchCV 설정 (교차 검증 5폴드)
grid_search = GridSearchCV(model, param_grid, cv=5, scoring='accuracy', n_jobs=-1)

# 학습 및 최적 하이퍼파라미터 탐색
grid_search.fit(X_train, y_train)

# 최적의 하이퍼파라미터 출력
print("Best Parameters:", grid_search.best_params_)
print("Best Score:", grid_search.best_score_)

 

 

📌 주요 개념

✅ param_grid: 튜닝할 하이퍼파라미터의 후보값을 딕셔너리 형태로 지정
✅ cv=5: 5-Fold 교차 검증을 수행하여 성능을 평가
✅ scoring='accuracy': 모델 성능 평가 기준 (회귀 모델은 r2, neg_mean_squared_error 등을 사용)
✅ n_jobs=-1: 모든 CPU 코어를 사용하여 병렬 처리

 

📌 GridSearchCV의 단점

• 시간이 오래 걸림 → 모든 조합을 시도하기 때문에 데이터가 많거나 후보가 많으면 속도가 느려질 수 있음.
• 불필요한 조합도 실행 → 성능이 안 좋은 조합도 시도하기 때문에 비효율적일 수 있음.

✅ 대안: RandomizedSearchCV

• GridSearchCV는 모든 조합을 다 실행하지만, RandomizedSearchCV는 랜덤으로 일부만 선택해서 실행하기 때문에 속도가 빠름.

📌 GridSearchCV vs. RandomizedSearchCV

방법특징장점단점

GridSearchCV	모든 조합을 실행	최적의 조합을 보장	연산량이 많음, 느릴 수 있음
RandomizedSearchCV	랜덤 샘플링	속도가 빠름	최적 조합을 100% 찾는다는 보장 없음

🔥 대규모 데이터에서는 RandomizedSearchCV가 더 적절하고, 작은 데이터에서는 GridSearchCV가 정확한 최적값을 찾는 데 좋음!

---

📌 정리

• GridSearchCV는 모든 하이퍼파라미터 조합을 시도하여 최적의 조합을 찾는 도구.
• 자동으로 교차 검증을 수행하여 일반화 성능이 좋은 모델을 선정할 수 있음.
• 속도가 느릴 수 있으므로, 후보값을 잘 조정하거나 RandomizedSearchCV도 고려해야 함.

📊 즉, 머신러닝 모델을 최적화하는 필수적인 도구! 🚀