2024/12/26 1

[๋ฉ”ํƒ€์ฝ”๋“œ] Spark๋ฅผ ํ™œ์šฉํ•œ Data Engineering (feat. ๊ฐ•์˜ ํ›„๊ธฐ)

์•ˆ๋…•ํ•˜์„ธ์š”! ์ง€๋‚œ ์ฃผ ๋ฉ”ํƒ€์ฝ”๋“œ "Spark๋ฅผ ํ™œ์šฉํ•œ Data Engineering" ๊ฐ•์˜์—  ๋Œ€ํ•ด ์†Œ๊ฐœ๋“œ๋ ธ๋Š”๋ฐ์š”.  [๋ฉ”ํƒ€์ฝ”๋“œ] Spark๋ฅผ ํ™œ์šฉํ•œ Data Engineering ์ž…๋ฌธ ์‹ค์Šต ๊ฐ•์˜ (feat. ๊ฐ•์˜ ์†Œ๊ฐœ ๋ฐ ์ค‘๊ฐ„ ํ›„๊ธฐ)์•ˆ๋…•ํ•˜์„ธ์š”! ์ด๋ฒˆ์— ๋ฉ”ํƒ€์ฝ”๋“œ์—์„œ ์ง„ํ–‰ํ•˜๋Š”'Spark๋ฅผ ํ™œ์šฉํ•œ Data Engineering ๊ฐ•์˜' ์žฅํ•™์ƒ์œผ๋กœ ์„ ๋ฐœ๋˜์–ด ์†Œ๊ฐœ๋“œ๋ฆฌ๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค.  ๐Ÿ“ ๊ฐ•์˜ ์†Œ๊ฐœ ๋ฐ ์ฃผ์š” ๋‚ด์šฉ ๊ฐ„๋žต ์†Œ๊ฐœ : Spark ์‹ค์Šต ์œ„์ฃผ์˜ ๊ตฌ์„ฑ, ์ตœthswldud.tistory.com ์˜ค๋Š˜์€ ๊ฐ„๋‹จํ•œ ์ˆ˜๊ฐ• ํ›„๊ธฐ๋ฅผ ๋‚จ๊ธฐ๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค.   โœ๏ธ ์ˆ˜๊ฐ• ๋‚ด์šฉ ๋ฐ ํ›„๊ธฐ2๊ฐ• : Spark ๊ตฌ์„ฑ ์š”์†Œ ์ดํ•ดํ•˜๊ธฐ - Databricks ํ™˜๊ฒฝ ์„ค์ •3๊ฐ• : Spark ๋ฐ์ดํ„ฐ ์ข…๋ฅ˜ ๋ฐ ์ฒ˜๋ฆฌ๋ฒ• - pyspark, spark sql ..

Copy