[메타코드] Spark를 활용한 Data Engineering (feat. 강의 후기)

안녕하세요! 

지난 주 메타코드 "Spark를 활용한 Data Engineering" 강의에  대해 소개드렸는데요.

 

[메타코드] Spark를 활용한 Data Engineering 입문 실습 강의 (feat. 강의 소개 및 중간 후기)

 

오늘은 간단한 수강 후기를 남기고자 합니다. 

 

---

 

✏️ 수강 내용 및 후기

• 2강 : Spark 구성 요소 이해하기 - Databricks 환경 설정
• 3강 : Spark 데이터 종류 및 처리법 - pyspark, spark sql 실습 

1장에는 주로 개념 위주의 설명이었다면, 

2장부터는 Databricks를 활용한 실습을 진행하였는데요. 

 

기존에 Python이나 SQL을 사용해본 경험이 있다면 어렵지 않게 따라갈 수 있는 수준의 실습이었습니다. 

예를 들어, 저희가 흔히 알고 있는 Group by나 Join들의 함수를 spark sql를 활용해 어떻게 사용하는 지를 배웠습니다. 

 

사실 여기까지는 기존 언어와 무엇이 다른지 이해가 잘 안됐는데요. 

Partition이나 Shuffle들도 추가로 배우고, Spark Optimization 정도까지 수강하니

분산해서 처리하는 구나~ 정도를 이해할 수 있었습니다. 

 

(사실 아직 잘 이해하지 못해 추가적인 학습이 필요할 것 같습니다..ㅎㅎ)

 

 

🎯 목표 

사실 저번 주말에 좀 많이 들었어야 했는데, 할머니 구순 잔치 이슈로 강의를 좀 못 따라갔었는데요. 

이번주 주말에 바짝해서 실전 프로젝트까지 끝내는게 목표입니다!

 

 

---

 

Spark 강의가 궁금하신 분은 아래의 메타코드 홈페이지를 참고하세요!

[New] Spark를 활용한 Data Engineering 입문 실습 강의 | 네카라쿠배 현직자 강사