[ML] 데이터 분석 기본 프로세스 (feat. 머신러닝, 데이터마이닝)

SKALA 데이터 분석 미니 프로젝트를 진행하면서, 
조원들이 기본적인 데이터 분석 프로세스나 전반적인 흐름을 많이 어려워한다는 것을 알게 되었다. 

 

전공 때 데이터 마이닝을 처음 배우는 내 모습이 생각나며,,,
팀원들을 위해 내가 생각하는 프로세스를 정리해봤다. 

 

데이터 분석을 처음 배우는 사람들에게도 도움이 될 것 같아 보완해서 공유해 본다~!

---

🌊 데이터 분석 및 머신러닝 프로세스 분석 플로우 

⚠️ 참고 : 틀릴 수 있음 주의
아래의 프로세스는 제가 주로 진행하는 분석 흐름입니다. 
데이터의 특성이나 문제 정의에 따라 순서나 기법이 유동적으로 조정하면 됩니다. 
단, train/test 분할 이후에만 해야 할 작업 (샘플링, 스케일링 등)은 명확하게 구분해야 합니다.

 

🎯 전체 순서 개요

1. 데이터 구조 및 기본 정보 확인
2. 탐색적 데이터 분석 (EDA)
3. 결측값 처리
4. 데이터 타입 정리
5. 이상치 탐지 및 처리
6. 인코딩
7. 파생 변수 생성
8. 변수 선택 및 차원 축소
9. 데이터 분할
10. 라벨 불균형 처리
11. 스케일링
12. 교차 검증
13. 모델 학습 및 평가
14. 하이퍼파라미터 튜닝
15. 앙상블 및 성능 향상 기법

 

1. 데이터 구조 및 기본 정보 확인

목적 : 데이터 구조 파악 및 오류 탐색 

 

• 행/열 수, 데이터 타입 확인: `.info()`, `.shape`, `.dtypes`
• 기초 통계 요약: `.describe()`

 

 

2. 탐색적 데이터 분석 (EDA)

목적 : 변수 간 관계나 분포 파악, 이상치 시각화 

• 타겟 분포 확인 
• 데이터 분포 시각화 
• 변수 간 상관관계 분석 
• 타겟 변수와 다른 변수 간 관계 분석 
• 이상치 시각화 (박스플롯, 산점도)

 

3. 결측값 처리

• 결측값 확인 : `.isna().sum()`
• 처리 방법 
  • 대체: 최빈값(`mode()`), 평균값(`mean()`), 중앙값(`median()`)
  • 조건부 대체(Conditional imputation): 특정 그룹별 통계치로 대체
  • 예측 기반 대체: KNN, 회귀 모델을 활용한 예측값으로 대체

 

4. 데이터 타입 정리

목적 : 모델이 데이터를 정확히 해석할 수 있도록 변수 타입 명확히 설정 

• 적절한 데이터 타입으로 변환: `astype()`
• 범주형/연속형 변수 구분
• 날짜형 데이터 변환: `pd.to_datetime()`

 

5. 이상치 탐지 및 처리

• 확인 방법 
  • IQR (box plot)
  • Z-score
  • scatter plot 
• 처리 방법
  • 제거 : 확실한 오류인 경우, 결측값이 너무 많은 열인 경우 
  • winsorizing : 상/하한값으로 대체 
  • 변환 : 로그, 제곱근 등으로 변환하여 영향 축소 
  • flag 변수 추가 : 해당 값이 이상치인지를 나타내는 새로운 변수 (칼럼)을 추가 

여기서 난 의외로 scatter plot을 많이 활용하는 편이다. 
그럼 숫자상으로 보이지 않던 이상치의 의미를 쉽게 파악할 수 있다~!

 

6. 인코딩

목적 : 모델이 이해할 수 있도록 범주형 데이터를 수치형으로 변환

• 범주형 변수 인코딩:
  • One-Hot 인코딩: `pd.get_dummies()`, `OneHotEncoder()`
  • 라벨 인코딩: `LabelEncoder()`
  • 타겟 인코딩: 타겟 변수와의 관계를 반영한 인코딩

 

7. 파생 변수 생성

• 도메인 지식 활용한 새로운 변수 생성
• 수학적 변환: 로그, 제곱, 제곱근, 다항식 특성
• 비율, 차이, 합계 등 변수들 간 조합
• 시계열 데이터의 경우: 시간 기반 특성 추출 (요일, 월, 계절 등)
• 텍스트 데이터: 길이, 단어 수, TF-IDF 등

 

8. 변수 선택 or 차원 축소

목적 : 변수가 너무 많으면 과적합이 발생하거나 모델의 설명력이 떨어진다. 

• 중요도 낮은 변수 제거: 통계 테스트, 상관관계 분석, 모델의 feature importance 활용 
• 다중공선성 처리: VIF(Variance Inflation Factor) 확인
• 차원 축소: PCA, LDA, t-SNE

 

9. 데이터 분할

• 학습/테스트 세트 분리: `train_test_split()`
• 일반적인 비율: 8:2, 7:3 (데이터 크기에 따라 조정)
• 층화 추출(stratified sampling): 불균형 데이터면 `stratify=y` 필수 

 

10. 라벨 불균형 처리 (* train 데이터만) 

• 오버 샘플링:
  • Random Over Sampling: `RandomOverSampler()`
  • SMOTE: `SMOTE()`
  • ADASYN: `ADASYN()`
• 언더 샘플링 (데이터가 충분할 때):
  • Random Under Sampling: `RandomUnderSampler()`
  • NearMiss: `NearMiss()`
• 하이브리드 방법: `SMOTETomek`, `SMOTEENN`
• 비용 가중치 조정: `class_weight` 파라미터 활용

* 개인적으로 오버/언더 샘플링 중에서는 오버 샘플링했을 때 모델 성능이 조금 더 좋은 듯!

 

 

11. 스케일링 (* train 데이터로 fit, test 데이터는 transform만)

• min-max scaling
• standard scaling
• robust scaling
• normal scaling

* 저는 그냥 다 해보고 성능 좋은 거 채택하는 편... (물론 데이터의 특성을 적당히 고려해야 함~!)

🚨 중요: test 데이터에는 `transform()`만 적용해야 함 (데이터 누수 방지)

 

 

12. 교차 검증

목적 : 모델의 일반화 성능을 객관적으로 평가하기 위해 데이터를 반복적으로 나눠 검증 

• 일반적 : K-fold 교차 검증
• 라벨 불균형 대응 : 층화 K-fold 교차 검증
• 시계열 : TimeSeriesSplit
• 소규모 데이터셋 : LOOCV(Leave-One-Out Cross-Validation)

 

13. 모델 학습 및 평가

• Regression model : Linear Regression, Ridge/Lasso Regression 등...
• Classification model : Logistic Regression, Decision Tree, RandomForest, SVM 등...  
• 평가 지표 
  • Regression 평가 지표 : MAE, MSE, RMSE 등...
  • Classification 평가 지표 : Accuracy, Precision, Recall, F1 Score, ROC-AUC 등...

14. 하이퍼파라미터 튜닝

목적 : 모델의 성능을 최적화하기 위해 학습값 조정 

• Grid Search
• Random Search
• BayesianOptimization
• 조기 종료 (Early Stopping) : 과적합 방지 (LightGBM, XGBoost 등에서 내장 지원

 

15. 앙상블 및 성능 향상 기법

목적 : 여러 모델의 예측을 결합해 개별 모델보다 더 높은 예측 정확도와 안정성 확보 

 

• 보팅(Voting): `VotingClassifier()`
• 배깅(Bagging): `BaggingClassifier()`
• 스태킹(Stacking): `StackingClassifier()`
• 블렌딩(Blending): 검증 세트 활용

 

 

⚠️ 데이터 분할 이후 적용 주의사항 

• Sampling : train 분할 이후 
• Scaling : train에서 `fit()` → test에는 `transform()`만
• Encoding : 범주형 처리 시 train 기준으로 맞추고 test도 동일 방식 적용

* 테스트 데이터는 train 데이터를 기준으로 변환해야 함 (데이터 누수 방지)

나는 초반에는 전처리에 큰 힘을 들이지 않고, 
일단 13번까지 빠르게 만들고 7번부터 반복적으로 진행하면서 모델의 성능을 높이는 편이다. 
(아무리 합리적으로 전처리를 해도, 모델의 성능은 왜인지 내가 의도한 대로 나오지 않기 때문...) 

 

✏️ 추가 팁

1) 데이콘, 캐글 활용하기 

내가 하려는 머신러닝 주제 대부분은 아마 데이콘이나 캐글에서 이미 진행한 경우가 많다. 

따라서 나는 이런 대회에서 우승작이나 상위권 사람들이 한 방법을 레퍼런스 삼아 공부하고, 내 프로젝트에 적용해 본다. 

 

2) 유튜브에 데이터 분석 공모전 영상 보기 

유튜브에 보면 다양한 데이터 분석 수상작들이 올라온다. 

데이터 분석 흐름뿐만 아니라 주제의 참신함, 분석 플로우, 피피티 구성, 발표 스킬 등 

얻을 수 있는 것들이 매우 많다. 

 

3) 논문 찾아보기 

내가 아무리 신박한 주제를 찾아도, 논문을 찾아보면 이미 진행된 연구일 확률이 매우 높다. 

1번처럼 레퍼런스 삼아 내 분석 주제를 심화하고 디벨롭시키는데 매우 유용하다!

 

 

🔗 추천 링크 

분류 모델 평가 지표 총정리 (feat. Confusion matrix and Roc Curve)