๋ฐ”๋กœ ์ด๋™
Batch

Batch

Google ์ธํ”„๋ผ์—์„œ ์ผ๊ด„ ์ž‘์—…์„ ์˜ˆ์•ฝ, ํ์— ์ถ”๊ฐ€, ์‹คํ–‰ํ•˜๋Š” ์™„์ „ ๊ด€๋ฆฌํ˜• ์ผ๊ด„ ์„œ๋น„์Šค์ž…๋‹ˆ๋‹ค.

  • ์„œ๋“œ ํŒŒํ‹ฐ ์†”๋ฃจ์…˜์„ ๊ด€๋ฆฌํ•  ํ•„์š” ์—†์ด ์šฉ๋Ÿ‰์„ ํ”„๋กœ๋น„์ €๋‹ ๋ฐ ์ž๋™ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.

  • Google Cloud์™€ ๊ธฐ๋ณธ์ ์œผ๋กœ ํ†ตํ•ฉ๋˜์–ด ์›Œํฌ๋กœ๋“œ๋ฅผ ์‹คํ–‰, ํ™•์žฅ, ๋ชจ๋‹ˆํ„ฐ๋งํ•ฉ๋‹ˆ๋‹ค.

  • ์ŠคํŒŸ ๋จธ์‹ ์œผ๋กœ ์›Œํฌ๋กœ๋“œ ์ปดํ“จํŒ… ๋น„์šฉ ์ ˆ๊ฐ

  • ์ด ๋น ๋ฅธ ์‹œ์ž‘ ๊ฐ€์ด๋“œ๋กœ ์ง€๊ธˆ Batch ์‚ฌ์šฉํ•˜๊ธฐ

์ด์ 

๋น„์ฆˆ๋‹ˆ์Šค์— ์ค‘์š”ํ•œ ์ž‘์—…์— ์ง‘์ค‘

์™„์ „ ๊ด€๋ฆฌํ˜•์˜ ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ์ปดํ“จํŒ… ์ธํ”„๋ผ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์ž‘์—… ์ œ์ถœ์— ์ง‘์ค‘ํ•˜๊ณ  ์ž‘์—… ๊ฒฐ๊ณผ์—์„œ ๋น„์ฆˆ๋‹ˆ์Šค ํ†ต๊ณ„๋ฅผ ์ถ”์ถœํ•˜์„ธ์š”.

์‹คํ–‰ ๋ชจ๋ธ ์ •์˜

์Šคํฌ๋ฆฝํŠธ ๋˜๋Š” ์ปจํ…Œ์ด๋„ˆ์—์„œ ์ •์˜ํ•œ ๋†’์€ ์ฒ˜๋ฆฌ๋Ÿ‰ ๋˜๋Š” ๊ธด๋ฐ€ํ•˜๊ฒŒ ๊ฒฐํ•ฉ๋œ ๊ณ„์‚ฐ์„ ์‹คํ–‰ํ•˜์„ธ์š”.

๊ฐœ๋ฐœ์ž ํ™˜๊ฒฝ ํ–ฅ์ƒ

Batch๋Š” ์›Œํฌ๋กœ๋“œ ๊ฐœ๋ฐœ๊ณผ ์‹คํ–‰์„ ๊ฐ„์†Œํ™”ํ•ฉ๋‹ˆ๋‹ค. Batch ์ž‘์—…์€ ๋ช‡ ๋‹จ๊ณ„ ๋‚ด์— ์ œ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Cloud Storage, Pub/Sub, Cloud Logging ๋ฐ Workflows๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์—”๋“œ ํˆฌ ์—”๋“œ ๊ฐœ๋ฐœ์ž ํ™˜๊ฒฝ์„ ์กฐ์„ฑํ•˜์„ธ์š”.

์ฃผ์š” ํŠน์ง•

์ฃผ์š” ํŠน์ง•

๋™์  ๋ฆฌ์†Œ์Šค ํ”„๋กœ๋น„์ €๋‹ ๋ฐ ์ž๋™ ํ™•์žฅ

ํด๋ผ์šฐ๋“œ ์ปดํ“จํŒ… ๋ฆฌ์†Œ์Šค์—์„œ ํ™•์žฅ ์ผ๊ด„ ์ž‘์—…์„ ์‹คํ–‰ํ•˜์—ฌ ์š”์ฒญ์„ ๋™์‹œ์— ์‹คํ–‰ํ•˜๋ฉด์„œ ์ž‘์—… ๋Œ€๊ธฐ ์‹œ๊ฐ„์„ ์ค„์ด๊ณ  ์ˆ˜๋™ ๊ฐœ์ž… ์—†์ด ๋ฆฌ์†Œ์Šค๋ฅผ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.

์Šคํฌ๋ฆฝํŠธ ๋ฐ ์ปจํ…Œ์ด๋„ˆํ™”๋œ ์›Œํฌ๋กœ๋“œ ์ง€์›

Batch๋Š” VM์—์„œ ์ง์ ‘ ์‹คํ–‰๋˜๋Š” ์Šคํฌ๋ฆฝํŠธ ๊ธฐ๋ฐ˜ ์›Œํฌ๋กœ๋“œ ๋ฐ Docker์˜ ์ปจํ…Œ์ด๋„ˆํ™”๋œ ์›Œํฌ๋กœ๋“œ์— ์ผ๊ด€๋œ ํ™˜๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ๋ณธ ์„œ๋น„์Šค ๋ฐ ์ผ๊ด„ ์ฒ˜๋ฆฌ ๋„๊ตฌ ํ™œ์šฉ

ํผ์ŠคํŠธ ํŒŒํ‹ฐ ์„œ๋น„์Šค๋ฅผ ์‰ฝ๊ฒŒ ๋„์ž…ํ•˜์—ฌ ์‚ฌ์ „ ์ฒ˜๋ฆฌ์—์„œ ํ›„์ฒ˜๋ฆฌ๊นŒ์ง€ ์—”๋“œ ํˆฌ ์—”๋“œ ์ผ๊ด„ ์›Œํฌํ”Œ๋กœ๋ฅผ ์ œ์–ดํ•ฉ๋‹ˆ๋‹ค.

Roivant
Roivant Discovery๋Š” ๋Œ€๊ทœ๋ชจ ์ „์‚ฐ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ํ™œ์šฉํ•˜์—ฌ ์†Œ๋ถ„์ž ํ˜•ํƒœ์˜ ์‹ ์•ฝ ๊ฐœ๋ฐœ์„ ์ด‰์ง„ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ณผํ•™์ž๋“ค์€ ๋น ๋ฅด๊ณ  ๋ฏผ์ฒฉํ•˜๊ฒŒ ๋Œ€๊ทœ๋ชจ๋กœ ์ตœ์ฒจ๋‹จ ์–‘์ž ๋ฌผ๋ฆฌํ•™ ๋ถ„์•ผ์—์„œ ์ž‘์—…ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. Google Batch์˜ ์ „๋ก€ ์—†๋Š” ๋‹จ์ˆœ์„ฑ๊ณผ ์œ ์—ฐ์„ฑ ๋•๋ถ„์— ํ•ญ์ƒ ํ˜์‹ ์— ์ง‘์ค‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋งท ๋งˆ์ด์‚ฌํฌ, Roivant Discovery COO

๋ฌธ์„œ

๋ฌธ์„œ

Quickstart

Batch ๋น ๋ฅธ ์‹œ์ž‘

Batch๋ฅผ ์‹œ์ž‘ํ•˜๋Š” ๋ฐ ํ•„์š”ํ•œ ์‚ฌํ•ญ๊ณผ ์ฝ˜์†”, gcloud, REST API, ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์—์„œ ์–ผ๋งˆ๋‚˜ ์‰ฝ๊ฒŒ ์ผ๊ด„ ์ž‘์—…์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š”์ง€ ์•Œ์•„๋ณด์„ธ์š”.
Google Cloud Basics

๋‹ค์–‘ํ•œ ์œ ํ˜•์˜ ์ผ๊ด„ ์ž‘์—… ๋“ฑ์„ ์ •์˜ํ•ฉ๋‹ˆ๋‹ค.

์ปจํ…Œ์ด๋„ˆํ™”๋œ ์›Œํฌ๋กœ๋“œ ๋ฐ ์Šคํฌ๋ฆฝํŠธ ๊ธฐ๋ฐ˜ ์›Œํฌ๋กœ๋“œ๋ฅผ ์ œ์ถœํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ด…๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์ž‘์—…์€ ๋ฐฐ์—ด ์ž‘์—…์ผ ์ˆ˜๋„ ์žˆ๊ณ  MPI ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ฉ€ํ‹ฐ ๋…ธ๋“œ ์ž‘์—…์ผ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.
Google Cloud Basics

์Šคํ† ๋ฆฌ์ง€ ํŒŒ์ผ ์‹œ์Šคํ…œ

Batch์—์„œ ์ง€์›ํ•˜๋Š” ์Šคํ† ๋ฆฌ์ง€ ํŒŒ์ผ ์‹œ์Šคํ…œ๊ณผ ์ด๋ฅผ ์ผ๊ด„ ์ž‘์—…๊ณผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด์„ธ์š”.
Google Cloud Basics

์ž‘์—… ๋ชจ๋‹ˆํ„ฐ๋ง

์ž‘์—… ํƒœ์Šคํฌ์— ๋Œ€ํ•œ ํ†ต๊ณ„๋ฅผ ์ˆ˜์ง‘ํ•˜๊ธฐ ์œ„ํ•ด ๋กœ๊ทธ๋ฅผ ํ™•์ธํ•˜๋Š” ๋ฐฉ๋ฒ•๊ณผ ์ž‘์—…์„ ์„ค๋ช…ํ•˜์—ฌ ์„ธ๋ถ€์ •๋ณด์™€ ์ƒํƒœ๋ฅผ ๊ฒ€์‚ฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ด…๋‹ˆ๋‹ค.
APIs & Libraries

Batch API ์ฐธ์กฐ ์‚ฌ์šฉ

Batch API์—์„œ ์ง€์›ํ•˜๋Š” ๋ชจ๋“  ํ•„๋“œ์™€ ํ•„๋“œ ์‚ฌ์šฉ ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ด…๋‹ˆ๋‹ค.

์›ํ•˜๋Š” ๋‚ด์šฉ์„ ์ฐพ์„ ์ˆ˜ ์—†์œผ์‹ ๊ฐ€์š”?

์‚ฌ์šฉ ์‚ฌ๋ก€

์‚ฌ์šฉ ์‚ฌ๋ก€

์‚ฌ์šฉ ์‚ฌ๋ก€
์ƒ๋ช…๊ณผํ•™: ์œ ์ „์ฒดํ•™ ๋ฐ ์‹ ์•ฝ ๊ฐœ๋ฐœ ํŒŒ์ดํ”„๋ผ์ธ

๊ฒŒ๋†ˆ ๋ฐฐ์—ด, ์˜์•ฝํ’ˆ ๊ฐœ๋ฐœ ๋“ฑ์— ์‚ฌ์šฉ๋˜๋Š” ์žฌํ˜„ ๊ฐ€๋Šฅํ•œ ํŒŒ์ดํ”„๋ผ์ธ์˜ ๋†’์€ ์ฒ˜๋ฆฌ๋Ÿ‰ 

์‚ฌ์šฉ ์‚ฌ๋ก€
๊ธˆ์œต ์„œ๋น„์Šค: ์ •๋Ÿ‰์ , ์œ„ํ—˜ ๋ถ„์„

Monte Carlo ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ์‹คํ–‰ํ•˜๊ณ  ์‹œ์žฅ์—์„œ ๋น„์ฆˆ๋‹ˆ์Šค๋ฅผ ๊ฑฐ๋ž˜ํ•˜๋Š” ๋ฐ ํ•„์š”ํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋น ๋ฅด๊ฒŒ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค.

์‚ฌ์šฉ ์‚ฌ๋ก€
์ œ์กฐ: ์ „์ž ์„ค๊ณ„ ์ž๋™ํ™”

๋‹ค์–‘ํ•œ ์ž…๋ ฅ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ฒ€์ฆ ํ…Œ์ŠคํŠธ ๋ฐ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ์ž๋™ํ™”ํ•˜์—ฌ ๋””์ž์ธ์„ ์ตœ์ ํ™”ํ•˜์„ธ์š”.

์†”๋ฃจ์…˜ ์ƒ์„ฑ
์–ด๋–ค ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋ ค๊ณ  ํ•˜์‹œ๋‚˜์š”?
What you'll get:
๋‹จ๊ณ„๋ณ„ ์•ˆ๋‚ด
์ฐธ์กฐ ์•„ํ‚คํ…์ฒ˜
์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์‚ฌ์ „ ๋นŒ๋“œ ์†”๋ฃจ์…˜
์ด ์„œ๋น„์Šค๋Š” Vertex AI๋กœ ๋นŒ๋“œ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๋งŒ 18์„ธ ์ด์ƒ์ด์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋ฏผ๊ฐํ•œ ์ •๋ณด, ๊ธฐ๋ฐ€ ์ •๋ณด ๋˜๋Š” ๊ฐœ์ธ ์ •๋ณด๋ฅผ ์ž…๋ ฅํ•˜์ง€ ๋งˆ์„ธ์š”.

๋ชจ๋“  ํŠน์ง•

๋ชจ๋“  ๊ธฐ๋Šฅ

์ปจํ…Œ์ด๋„ˆ ๋˜๋Š” ์Šคํฌ๋ฆฝํŠธ ์ง€์›
๊ธฐ๋ณธ์ ์œผ๋กœ Compute Engine VM ์ธ์Šคํ„ด์Šค์—์„œ ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์‹คํ–‰ํ•˜๊ฑฐ๋‚˜ ์™„๋ฃŒ๋  ๋•Œ๊นŒ์ง€ ์‹คํ–‰๋  ์ปจํ…Œ์ด๋„ˆํ™”๋œ ์›Œํฌ๋กœ๋“œ๋ฅผ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค.
Google Cloud ์ปดํ“จํŒ… ํ™œ์šฉ
Batch์—์„œ ์‚ฌ์šฉํ•  ์„œ๋น„์Šค๋กœ ์ œ๊ณต๋˜๋Š” ์ตœ์‹  ์†Œํ”„ํŠธ์›จ์–ด์™€ ํ•˜๋“œ์›จ์–ด๋ฅผ ํ™•๋ณดํ•˜์„ธ์š”.
์ž‘์—… ์šฐ์„ ์ˆœ์œ„ ๋ฐ ์žฌ์‹œ๋„
์ž‘์—…์˜ ์šฐ์„ ์ˆœ์œ„๋ฅผ ์ •์˜ํ•˜๊ณ  ์ž๋™ํ™”๋œ ์žฌ์‹œ๋„ ์ „๋žต์„ ์ˆ˜๋ฆฝํ•ฉ๋‹ˆ๋‹ค.
Batch์šฉ Pub/Sub ์•Œ๋ฆผ
Pub/Sub๋ฅผ Batch์™€ ํ•จ๊ป˜ ๊ตฌ์„ฑํ•˜์—ฌ ๊ตฌ๋…์ž์—๊ฒŒ ๋ฉ”์‹œ์ง€๋ฅผ ๋น„๋™๊ธฐ์‹์œผ๋กœ ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค.
ํ†ตํ•ฉ ๋กœ๊น… ๋ฐ ๋ชจ๋‹ˆํ„ฐ๋ง
stderr ๋ฐ stdout ๋กœ๊ทธ๋ฅผ Cloud Logging์— ์ง์ ‘ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค. ๊ฐ์‚ฌ ๋กœ๊ทธ๋Š” ๋ˆ„๊ฐ€, ์–ธ์ œ, ์–ด๋””์„œ, ๋ฌด์—‡์„ ํ–ˆ๋Š”์ง€์— ๋Œ€ํ•œ ์งˆ๋ฌธ์— ๋‹ตํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. Cloud Monitoring์—์„œ ์‚ฌ์šฉ๋˜๋Š” ๋ฆฌ์†Œ์Šค์™€ ๊ด€๋ จ๋œ ์ธก์ •ํ•ญ๋ชฉ์„ ๋ชจ๋‹ˆํ„ฐ๋งํ•ฉ๋‹ˆ๋‹ค.
Batch๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋‹ค๋ฅธ ๋ฐฉ๋ฒ•
gcloud, REST API, ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๋˜๋Š” Cloud ์ฝ˜์†”์„ ํ†ตํ•ด Batch API๋ฅผ ์ง์ ‘ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ Batch๋Š” ์›Œํฌํ”Œ๋กœ ์—”์ง„ ์ƒํƒœ๊ณ„์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.
ID ๋ฐ ์•ก์„ธ์Šค ๊ด€๋ฆฌ
IAM ๊ถŒํ•œ ๋ฐ VPC ์„œ๋น„์Šค ์ œ์–ด๋กœ ๋ฆฌ์†Œ์Šค ๋ฐ ์„œ๋น„์Šค์˜ ์•ก์„ธ์Šค๋ฅผ ์ œ์–ดํ•ฉ๋‹ˆ๋‹ค.

๊ฐ€๊ฒฉ ์ฑ…์ •

๊ฐ€๊ฒฉ ์ฑ…์ •

Batch ์„œ๋น„์Šค์—๋Š” ์š”๊ธˆ์ด ๋ถ€๊ณผ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ผ๊ด„ ์ž‘์—…์„ ์‹คํ–‰ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋œ Google Cloud ๋ฆฌ์†Œ์Šค์— ๋Œ€ํ•ด์„œ๋งŒ ๋น„์šฉ์„ ์ง€๋ถˆํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค.

ํŒŒํŠธ๋„ˆ

ํŒŒํŠธ๋„ˆ์™€ ํ•จ๊ป˜ ํ˜์‹ ํ•˜๊ธฐ

Batch๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์›Œํฌ๋กœ๋“œ๋ฅผ ์‹คํ–‰ํ•  ์ค€๋น„๊ฐ€ ๋˜์…จ๋‚˜์š”? ์ด ํŒŒํŠธ๋„ˆ๋“ค์ด ๋„์›€์„ ๋“œ๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • Seqera Labs ์›Œํฌํ”Œ๋กœ ์‹œ์Šคํ…œ
  • Nvidia

๋‹ค์Œ ๋‹จ๊ณ„ ์ˆ˜ํ–‰

$300์˜ ๋ฌด๋ฃŒ ํฌ๋ ˆ๋”ง๊ณผ 20์—ฌ ๊ฐœ์˜ ํ•ญ์ƒ ๋ฌด๋ฃŒ ์ œํ’ˆ์œผ๋กœ Google Cloud์—์„œ ๋นŒ๋“œํ•˜์„ธ์š”.

Batch
  • ๋””์ง€ํ„ธ ํ˜์‹  ๊ฐ€์†ํ™”
  • ๋””์ง€ํ„ธ ํ˜์‹ ์„ ์ด์ œ ๋ง‰ ์‹œ์ž‘ํ•œ ๊ธฐ์—…์ด๋“  ์ด๋ฏธ ์ผ์ • ์ˆ˜์ค€์— ๋„๋‹ฌํ•œ ๊ธฐ์—…์ด๋“  Google Cloud๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๊ฐ€์žฅ ๊นŒ๋‹ค๋กœ์šด ๋„์ „๊ณผ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์ถ”์ฒœ ์ œํ’ˆ
  • ํˆฌ๋ช…ํ•œ ๊ฐ€๊ฒฉ ์ฑ…์ • ๋ฐฉ์‹์œผ๋กœ ๋น„์šฉ ์ ˆ๊ฐ
  • Google Cloud๋Š” ์‚ฌ์šฉํ•œ ๋งŒํผ๋งŒ ์ง€๋ถˆํ•˜๋Š” ๊ฐ€๊ฒฉ ์ฑ…์ • ๋ฐฉ์‹์œผ๋กœ ์›”๋ณ„ ์‚ฌ์šฉ๋Ÿ‰๊ณผ ์„ ๋ถˆ ๋ฆฌ์†Œ์Šค์˜ ํ• ์ธ์œจ์„ ๊ธฐ์ค€์œผ๋กœ ์ž๋™ ํ• ์ธ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ง€๊ธˆ Google์— ๋ฌธ์˜ํ•˜์—ฌ ๊ฒฌ์ ์„ ๋ฐ›์•„๋ณด์„ธ์š”.
Google Cloud