Dataproc ์„ ํƒ์  Zeppelin ๊ตฌ์„ฑ์š”์†Œ

์„ ํƒ์  ๊ตฌ์„ฑ์š”์†Œ ๊ธฐ๋Šฅ์„ ์‚ฌ์šฉํ•˜์—ฌ Dataproc ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“ค ๋•Œ Zeppelin๊ณผ ๊ฐ™์€ ์ถ”๊ฐ€ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ์„ค์น˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ํŽ˜์ด์ง€์—์„œ๋Š” Zeppelin ๊ตฌ์„ฑ์š”์†Œ์— ๋Œ€ํ•ด ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

Zeppelin ๋…ธํŠธ๋ถ ๊ตฌ์„ฑ์š”์†Œ๋Š” ๋Œ€ํ™”ํ˜• ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์œ„ํ•œ ์›น ๊ธฐ๋ฐ˜ ๋…ธํŠธ๋ถ์ž…๋‹ˆ๋‹ค. Zeppelin ์›น UI๋Š” ํด๋Ÿฌ์Šคํ„ฐ์˜ ์ฒซ ๋ฒˆ์งธ ๋งˆ์Šคํ„ฐ ๋…ธ๋“œ์— ์žˆ๋Š” ํฌํŠธ 8080์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ๋ณธ์ ์œผ๋กœ ๋ฉ”๋ชจ์žฅ์€ ์‚ฌ์šฉ์ž๊ฐ€ ์ง€์ •ํ•˜๊ฑฐ๋‚˜ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“ค ๋•Œ ์ž๋™ ์ƒ์„ฑ๋˜๋Š” Cloud Dataproc ์Šคํ…Œ์ด์ง• ๋ฒ„ํ‚ท์˜ Cloud Storage์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค. ์œ„์น˜๋Š” ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“œ๋Š” ์‹œ์ ์— zeppelin:zeppelin.notebook.gcs.dir ์†์„ฑ์„ ํ†ตํ•ด ๋ณ€๊ฒฝํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ตฌ์„ฑ์š”์†Œ ์„ค์น˜

Dataproc ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“ค ๋•Œ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ์„ค์น˜ํ•ฉ๋‹ˆ๋‹ค. ๊ตฌ์„ฑ์š”์†Œ๋Š” Dataproc ๋ฒ„์ „ 1.3 ์ด์ƒ์œผ๋กœ ๋งŒ๋“  ํด๋Ÿฌ์Šคํ„ฐ์— ์ถ”๊ฐ€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฐ Dataproc ์ด๋ฏธ์ง€ ์ถœ์‹œ์— ํฌํ•จ๋œ ๊ตฌ์„ฑ์š”์†Œ ๋ฒ„์ „์€ ์ง€์›๋˜๋Š” Dataproc ๋ฒ„์ „์„ ์ฐธ์กฐํ•˜์„ธ์š”.

gcloud ๋ช…๋ น์–ด

Zeppelin ๊ตฌ์„ฑ์š”์†Œ๊ฐ€ ํฌํ•จ๋œ Dataproc ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“ค๋ ค๋ฉด gcloud dataproc clusters create cluster-name ๋ช…๋ น์–ด๋ฅผ --optional-components ํ”Œ๋ž˜๊ทธ์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Zeppelin ๊ตฌ์„ฑ์š”์†Œ๋Š” SoftwareConfig.Component๋ฅผ clusters.create ์š”์ฒญ์— ์‚ฌ์šฉํ•˜์—ฌ Dataproc API๋ฅผ ํ†ตํ•ด ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ฝ˜์†”

  1. ๊ตฌ์„ฑ์š”์†Œ ๋ฐ ๊ตฌ์„ฑ์š”์†Œ ๊ฒŒ์ดํŠธ์›จ์ด๋ฅผ ์‚ฌ์šฉ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค.
    • Google Cloud ์ฝ˜์†”์—์„œ Dataproc ํด๋Ÿฌ์Šคํ„ฐ ๋งŒ๋“ค๊ธฐ ํŽ˜์ด์ง€๋ฅผ ์—ฝ๋‹ˆ๋‹ค. ํด๋Ÿฌ์Šคํ„ฐ ์„ค์ • ํŒจ๋„์ด ์„ ํƒ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.
    • ๊ตฌ์„ฑ์š”์†Œ ์„น์…˜์—์„œ ๋‹ค์Œ์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค.
      • ์„ ํƒ์  ๊ตฌ์„ฑ์š”์†Œ ์•„๋ž˜์—์„œ ํด๋Ÿฌ์Šคํ„ฐ์— ์„ค์น˜ํ•  Zeppelin ๋ฐ ๊ธฐํƒ€ ์„ ํƒ์ ์ธ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค.
      • ๊ตฌ์„ฑ์š”์†Œ ๊ฒŒ์ดํŠธ์›จ์ด ์•„๋ž˜์—์„œ ๊ตฌ์„ฑ์š”์†Œ ๊ฒŒ์ดํŠธ์›จ์ด ์‚ฌ์šฉ ์„ค์ •์„ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค(๊ตฌ์„ฑ์š”์†Œ ๊ฒŒ์ดํŠธ์›จ์ด URL ๋ณด๊ธฐ ๋ฐ ์•ก์„ธ์Šค ์ฐธ์กฐ).

Zeppelin ๋…ธํŠธ๋ถ ์—ด๊ธฐ

ํด๋Ÿฌ์Šคํ„ฐ ๋งˆ์Šคํ„ฐ ๋…ธ๋“œ์—์„œ ์‹คํ–‰ ์ค‘์ธ Zeppelin ๋…ธํŠธ๋ถ UI๋ฅผ ๋กœ์ปฌ ๋ธŒ๋ผ์šฐ์ €์—์„œ ์—ด๊ธฐ ์œ„ํ•ด Google Cloud ์ฝ˜์†”์—์„œ ๊ตฌ์„ฑ์š”์†Œ ๊ฒŒ์ดํŠธ์›จ์ด ๋งํฌ๋ฅผ ํด๋ฆญํ•˜๋ ค๋ฉด ๊ตฌ์„ฑ์š”์†Œ ๊ฒŒ์ดํŠธ์›จ์ด URL ๋ณด๊ธฐ ๋ฐ ์•ก์„ธ์Šค๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.