공통적으로 자주 등장하는 하이퍼파라미터

✅ 📌 공통적으로 자주 등장하는 하이퍼파라미터

대부분의 모델에서 아래와 같은 하이퍼파라미터가 자주 등장합니다.

1️⃣ 모델 복잡도 조절 관련

하이퍼파라미터의미

n_estimators	앙상블 모델에서 개별 모델(트리)의 개수 (RandomForest, XGBoost 등)
max_depth	트리 기반 모델에서 최대 깊이 (Overfitting 방지)
min_samples_split	노드를 분할하기 위한 최소 샘플 개수 (작을수록 복잡해짐)
min_samples_leaf	리프 노드에 필요한 최소 샘플 개수
max_features	노드 분할 시 고려할 최대 특징 개수

---

2️⃣ 정규화 및 규제 관련 (Overfitting 방지)

하이퍼파라미터의미

alpha	Lasso/L1 규제 계수 (값이 클수록 강한 정규화)
lambda	Ridge/L2 규제 계수
learning_rate	XGBoost, LightGBM 등에서 학습 속도 조절
subsample	트리 모델에서 데이터 샘플링 비율 (과적합 방지)

---

3️⃣ 최적화 및 학습률 관련

하이퍼파라미터의미

learning_rate	경사 하강법(Gradient Descent) 학습률
batch_size	딥러닝에서 배치 크기
momentum	SGD에서 기울기 이동 평균 조절
optimizer	Adam, SGD, RMSprop 등 최적화 알고리즘 선택

---

✅ 📌 모델별 주요 하이퍼파라미터 정리

모델핵심 하이퍼파라미터

랜덤 포레스트 (RandomForest)	n_estimators, max_depth, min_samples_split, min_samples_leaf, max_features
XGBoost	n_estimators, max_depth, learning_rate, subsample, colsample_bytree, gamma
LightGBM	num_leaves, learning_rate, n_estimators, max_depth, min_data_in_leaf, feature_fraction
로지스틱 회귀 (Logistic Regression)	C (규제 강도), penalty (L1/L2), solver
릿지 & 라쏘 회귀 (Ridge/Lasso)	alpha (규제 강도)
신경망 (MLP, 딥러닝)	learning_rate, batch_size, hidden_layers, activation

---

✅ 📌 결론

• 모든 모델에서 자주 등장하는 공통적인 하이퍼파라미터가 많음.
  (예: n_estimators, max_depth, learning_rate, alpha 등)
• 하지만 모델별로 가장 중요한 하이퍼파라미터가 다름.
  (예: XGBoost는 subsample, 신경망은 hidden_layers 등)
• 결국 하이퍼파라미터 튜닝 시, 모델 특성을 고려하는 것이 중요! 🚀

🔥 튜닝할 때 중요도 높은 것부터 조정하는 게 효율적!