Dataproc ํด๋Ÿฌ์Šคํ„ฐ ์ค‘์ง€ ๋ฐ ์‹œ์ž‘

ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“  ํ›„์—๋Š” ์ค‘์ง€ํ•œ ๋’ค ํ•„์š”ํ•  ๋•Œ ๋‹ค์‹œ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์œ ํœด ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ค‘์ง€ํ•˜๋ฉด ๋น„์šฉ์ด ์ฒญ๊ตฌ๋˜์ง€ ์•Š์œผ๋ฉฐ ์œ ํœด ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‚ญ์ œํ•  ํ•„์š”๊ฐ€ ์—†์œผ๋ฏ€๋กœ ๋‚˜์ค‘์— ๋™์ผํ•œ ๊ตฌ์„ฑ์œผ๋กœ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ฐธ๊ณ :

  • ํด๋Ÿฌ์Šคํ„ฐ ์‹œ์ž‘ ๋ฐ ์ค‘์ง€ ๊ธฐ๋Šฅ์€ ๋‹ค์Œ ์ด๋ฏธ์ง€ ๋ฒ„์ „ ์ด์ƒ์œผ๋กœ ์ถœ์‹œ๋œ ์ด๋ฏธ์ง€๋กœ ์ƒ์„ฑ๋œ ํด๋Ÿฌ์Šคํ„ฐ์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • ์ค‘์ง€๋œ VM์˜ ์ƒํƒœ๊ฐ€ ํด๋Ÿฌ์Šคํ„ฐ ์ƒํƒœ์™€ ๋™๊ธฐํ™”๋˜์ง€ ์•Š์•„ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ๊ฐœ๋ณ„ ํด๋Ÿฌ์Šคํ„ฐ ๋…ธ๋“œ๋ฅผ ์ค‘์ง€ํ•˜์ง€ ์•Š๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.

ํด๋Ÿฌ์Šคํ„ฐ ์ค‘์ง€

ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ค‘์ง€ํ•˜๋ฉด ๋ชจ๋“  ํด๋Ÿฌ์Šคํ„ฐ Compute Engine VM์ด ์ค‘์ง€๋ฉ๋‹ˆ๋‹ค. VM์ด ์ค‘์ง€๋œ ๋™์•ˆ์—๋Š” VM ๋น„์šฉ์„ ์ง€๋ถˆํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์˜๊ตฌ ๋””์Šคํฌ์™€ ๊ฐ™์€ ์—ฐ๊ฒฐ๋œ ํด๋Ÿฌ์Šคํ„ฐ ๋ฆฌ์†Œ์Šค์— ๋Œ€ํ•œ ๋น„์šฉ์€ ๊ณ„์† ์ฒญ๊ตฌ๋ฉ๋‹ˆ๋‹ค.

์ฐธ๊ณ :

  • ์‹คํ–‰ ์ค‘์ธ ์ž‘์—…: ํด๋Ÿฌ์Šคํ„ฐ์— ์‹คํ–‰ ์ค‘์ธ ์ž‘์—…(์˜ˆ: ์—…๋ฐ์ดํŠธ ๋˜๋Š” ์ง„๋‹จ ์ž‘์—…)์ด ์žˆ์œผ๋ฉด ์ค‘์ง€ ์š”์ฒญ์ด ์‹คํŒจํ•ฉ๋‹ˆ๋‹ค.
  • ์‹คํ–‰ ์ค‘์ธ ์ž‘์—…: ํด๋Ÿฌ์Šคํ„ฐ์— ์‹คํ–‰ ์ค‘์ธ ์ž‘์—…์ด ์žˆ์œผ๋ฉด ์ค‘์ง€ ์š”์ฒญ์ด ์„ฑ๊ณตํ•˜๊ณ , VM์ด ์ค‘์ง€๋˜๊ณ , ์‹คํ–‰ ์ค‘์ธ ์ž‘์—…์ด ์‹คํŒจํ•ฉ๋‹ˆ๋‹ค.
  • ์ค‘์ง€ ์‘๋‹ต: ์ค‘์ง€ ์š”์ฒญ์ด ์ค‘์ง€ ์ž‘์—…์„ ๋ฐ˜ํ™˜ํ•˜๋ฉด ํด๋Ÿฌ์Šคํ„ฐ๋Š” STOPPING ์ƒํƒœ๊ฐ€ ๋˜๊ณ  ๋” ์ด์ƒ ์ž‘์—…์„ ์ œ์ถœํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค(SubmitJob ์š”์ฒญ์ด ์‹คํŒจํ•จ).
  • ์ž๋™ ํ™•์žฅ: ์ž๋™ ํ™•์žฅ์ด ์‚ฌ์šฉ ์„ค์ •๋œ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ค‘์ง€ํ•˜๋ฉด Dataproc ์ž๋™ ํ™•์žฅ ์ฒ˜๋ฆฌ๊ฐ€ ํด๋Ÿฌ์Šคํ„ฐ ํ™•์žฅ์„ ์ค‘์ง€ํ•ฉ๋‹ˆ๋‹ค. ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ๋‹ค์‹œ ์‹œ์ž‘๋˜๋ฉด ํด๋Ÿฌ์Šคํ„ฐ ํ™•์žฅ์ด ์žฌ๊ฐœ๋ฉ๋‹ˆ๋‹ค. ์ค‘์ง€๋œ ํด๋Ÿฌ์Šคํ„ฐ์—์„œ ์ž๋™ ํ™•์žฅ์„ ์‚ฌ์šฉ ์„ค์ •ํ•˜๋Š” ๊ฒฝ์šฐ ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ์žฌ์‹œ์ž‘๋˜๋ฉด ์ž๋™ ํ™•์žฅ ์ •์ฑ…์ด ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

์ž‘์—… ์ค‘์ง€ ๋ชจ๋‹ˆํ„ฐ๋ง

gcloud dataproc operations describe operation-id๋ฅผ ์‹คํ–‰ํ•˜์—ฌ ์žฅ๊ธฐ ์‹คํ–‰ ํด๋Ÿฌ์Šคํ„ฐ ์ž‘์—… ์ค‘์ง€๋ฅผ ๋ชจ๋‹ˆํ„ฐ๋งํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. gcloud dataproc clusters describe cluster-name ๋ช…๋ น์–ด๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํด๋Ÿฌ์Šคํ„ฐ ์ƒํƒœ๊ฐ€ RUNNING์—์„œ STOPPING, STOPPED๋กœ ์ „ํ™˜๋˜๋Š” ๊ฒƒ์„ ๋ชจ๋‹ˆํ„ฐ๋งํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

์ œํ•œ์‚ฌํ•ญ

  • ๋‹ค์Œ์„ ์ค‘์ง€ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.

  • ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ์ค‘์ง€๋˜๋ฉด ๋‹ค์Œ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.

    • ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์—…๋ฐ์ดํŠธํ•ฉ๋‹ˆ๋‹ค.
    • ํด๋Ÿฌ์Šคํ„ฐ์— ์ž‘์—… ์ œ์ถœ
    • Dataproc ๊ตฌ์„ฑ์š”์†Œ ๊ฒŒ์ดํŠธ์›จ์ด๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํด๋Ÿฌ์Šคํ„ฐ์—์„œ ์‹คํ–‰๋˜๋Š” ๋…ธํŠธ๋ถ์— ์•ก์„ธ์Šค

ํด๋Ÿฌ์Šคํ„ฐ ์‹œ์ž‘

  • ์ค‘์ง€๋œ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋‹ค์‹œ ์‹œ์ž‘ํ•˜๋ฉด ์ดˆ๊ธฐํ™” ์ž‘์—…์ด ๋‹ค์‹œ ์‹คํ–‰๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ดˆ๊ธฐํ™” ์ž‘์—…์€ ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ์ƒ์„ฑ๋  ๋•Œ์™€ ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ํ™•์žฅ๋  ๋•Œ ๋…ธ๋“œ๊ฐ€ ์ถ”๊ฐ€๋˜๋Š” ๊ฒฝ์šฐ์—๋งŒ ํด๋Ÿฌ์Šคํ„ฐ ๋…ธ๋“œ์—์„œ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค.

  • ์‹œ์ž‘ ์ž‘์—…์ด ์™„๋ฃŒ๋œ ํ›„ ์ž‘์—…์„ ์ฆ‰์‹œ ํด๋Ÿฌ์Šคํ„ฐ์— ์ œ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ HDFS ๋ฐ YARN์ด ์ž‘๋™ํ•˜๋ ค๋ฉด ์ด๋Ÿฌํ•œ ์ž‘์—… ์‹คํ–‰์ด ์•ฝ 30์ดˆ ์ •๋„ ์ง€์—ฐ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ค‘์ง€ํ•˜๊ณ  ์‹œ์ž‘ํ•˜๋Š” ๋ฐฉ๋ฒ•

gcloud CLI ๋˜๋Š” Dataproc API๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ Google Cloud ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ค‘์ง€ํ•˜๊ณ  ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Google Cloud ์ฝ˜์†”

Google Cloud ์ฝ˜์†”์˜ Dataproc ํด๋Ÿฌ์Šคํ„ฐ ํŽ˜์ด์ง€์—์„œ ํด๋Ÿฌ์Šคํ„ฐ ์ด๋ฆ„์„ ํด๋ฆญํ•œ ํ›„ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ค‘์ง€ํ•˜๋ ค๋ฉด ์ค‘์ง€๋ฅผ ํด๋ฆญํ•˜๊ณ  ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‹œ์ž‘ํ•˜๋ ค๋ฉด ์‹œ์ž‘์„ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

gcloud CLI

ํด๋Ÿฌ์Šคํ„ฐ ์ค‘์ง€

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

ํด๋Ÿฌ์Šคํ„ฐ ์‹œ์ž‘

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

REST API

ํด๋Ÿฌ์Šคํ„ฐ ์ค‘์ง€

clusters.stop ์š”์ฒญ์„ ์ œ์ถœํ•ฉ๋‹ˆ๋‹ค.

ํด๋Ÿฌ์Šคํ„ฐ ์‹œ์ž‘

clusters.start ์š”์ฒญ์„ ์ œ์ถœํ•ฉ๋‹ˆ๋‹ค.