ํ…Œ์ด๋ธ” ํ˜•์‹ ์›Œํฌํ”Œ๋กœ์˜ ๊ฐ€๊ฒฉ ์ฑ…์ •

ํ…Œ์ด๋ธ” ํ˜•์‹ ์›Œํฌํ”Œ๋กœ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๋ฉด ์ธํ”„๋ผ ๋ฐ ์ข…์† ์„œ๋น„์Šค์˜ ๋น„์šฉ์„ ๊ธฐ์ค€์œผ๋กœ ์š”๊ธˆ์ด ์ฒญ๊ตฌ๋ฉ๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ถ”๋ก ํ•˜๋ฉด ์ธํ”„๋ผ ๋น„์šฉ์„ ๊ธฐ์ค€์œผ๋กœ ์š”๊ธˆ์ด ์ฒญ๊ตฌ๋ฉ๋‹ˆ๋‹ค.

์ธํ”„๋ผ ๋น„์šฉ์€ ๋‹ค์Œ ์š”์†Œ์— ๋”ฐ๋ผ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค.

  • ์‚ฌ์šฉํ•˜๋Š” ๋จธ์‹  ์ˆ˜. ๋ชจ๋ธ ํ•™์Šต, ์ผ๊ด„ ์ถ”๋ก  ๋˜๋Š” ์˜จ๋ผ์ธ ์ถ”๋ก  ์ค‘์— ๊ด€๋ จ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์‚ฌ์šฉํ•˜๋Š” ๋จธ์‹  ์œ ํ˜•. ๋ชจ๋ธ ํ•™์Šต, ์ผ๊ด„ ์ถ”๋ก  ๋˜๋Š” ์˜จ๋ผ์ธ ์ถ”๋ก  ์ค‘์— ์ด ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋จธ์‹ ์ด ์‚ฌ์šฉ ์ค‘ ์ƒํƒœ์ธ ์‹œ๊ฐ„.
    • ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๊ฑฐ๋‚˜ ์ผ๊ด„ ์ถ”๋ก ์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๊ฒฝ์šฐ ์ด ์‹œ๊ฐ„์€ ์ด ์ž‘์—… ์ฒ˜๋ฆฌ ์‹œ๊ฐ„์ž…๋‹ˆ๋‹ค.
    • ์˜จ๋ผ์ธ ์ถ”๋ก ์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๊ฒฝ์šฐ ์ด ์‹œ๊ฐ„์€ ๋ชจ๋ธ์ด ์—”๋“œํฌ์ธํŠธ์— ๋ฐฐํฌ๋œ ์‹œ๊ฐ„์ž…๋‹ˆ๋‹ค.

ํ…Œ์ด๋ธ” ํ˜•์‹ ์›Œํฌํ”Œ๋กœ๋Š” ์‚ฌ์šฉ์ž๋ฅผ ๋Œ€์‹ ํ•˜์—ฌ ํ”„๋กœ์ ํŠธ์—์„œ ์—ฌ๋Ÿฌ ์ข…์† ์„œ๋น„์Šค(Dataflow, BigQuery, Cloud Storage ,Vertex AI Pipelines ,Vertex AI ํ•™์Šต)๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์„œ๋น„์Šค์—์„œ๋Š” ์ง์ ‘ ์š”๊ธˆ์„ ๋ถ€๊ณผํ•ฉ๋‹ˆ๋‹ค.

ํ•™์Šต ๋น„์šฉ ๊ณ„์‚ฐ ์˜ˆ์‹œ

์˜ˆ 1: CSV ํ˜•์‹์˜ 110MB ๋ฐ์ดํ„ฐ ์„ธํŠธ, ๊ธฐ๋ณธ ํ•˜๋“œ์›จ์–ด ๊ตฌ์„ฑ์œผ๋กœ 1์‹œ๊ฐ„ ๋™์•ˆ ํ•™์Šต.

์•„ํ‚คํ…์ฒ˜ ๊ฒ€์ƒ‰ ๋ฐ ํ•™์Šต์„ ์‚ฌ์šฉํ•˜๋Š” ๊ธฐ๋ณธ ์›Œํฌํ”Œ๋กœ์˜ ๋น„์šฉ ๋ถ„์„์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

์„œ๋น„์Šค ๋น„์šฉ
Dataflow ์˜ˆ์‹œ ๋ฐ ํ†ต๊ณ„ ์ƒ์„ฑ $2(Dataflow ์‹คํ–‰ ์‹œ๊ฐ„ 7๋ถ„)
Dataflow ๋ฐ์ดํ„ฐ ๋ฐ ํŠน์„ฑ ๋ณ€ํ™˜ $3(Dataflow ์‹คํ–‰ ์‹œ๊ฐ„ 10๋ถ„)
Vertex AI Training 0.8์‹œ๊ฐ„ x $20 + 0.2์‹œ๊ฐ„ x $20 + $3.3 SSD ๋น„์šฉ + ํŒŒ์ดํ”„๋ผ์ธ ์ปจํ…Œ์ด๋„ˆ ๋น„์šฉ = $24(์กฐ์ • 48๋ถ„, ํ•™์Šต 12๋ถ„)
Vertex AI Pipelines 1ํšŒ ์‹คํ–‰ x $0.03 = $0.03
๋ชจ๋ธ ์ •์ œ๋ฅผ ์ œ์™ธํ•œ ์ด๋Ÿ‰ $27.03

์›ํ•˜๋Š” ๊ฒฝ์šฐ ๊ฒฐ๊ณผ ๋ชจ๋ธ ์ฆ๋ฅ˜๋ฅผ ์‚ฌ์šฉ ์„ค์ •ํ•˜์—ฌ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋น„์šฉ ๋ถ„์„์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

์„œ๋น„์Šค ๋น„์šฉ
๋ชจ๋ธ ์ •์ œ๋ฅผ ์ œ์™ธํ•œ ์ด๋Ÿ‰ $27.03
๋ชจ๋ธ ์ •์ œ๋ฅผ ์œ„ํ•œ Vertex AI ํ•™์Šต $1
๋ชจ๋ธ ์ •์ œ๋ฅผ ์œ„ํ•œ Dataflow ๋ฐ์ดํ„ฐ, ํŠน์„ฑ ๋ณ€ํ™˜ $3(Dataflow ์‹คํ–‰ ์‹œ๊ฐ„ 10๋ถ„)
๋ชจ๋ธ ์ฆ๋ฅ˜๋ฅผ ์œ„ํ•œ ์ผ๊ด„ ์ถ”๋ก  $7
๋ชจ๋ธ ์ •์ œ๋ฅผ ํฌํ•จํ•œ ํ•ฉ๊ณ„ $38.03

์˜ˆ์‹œ 2: ํ•˜๋“œ์›จ์–ด ์žฌ์ •์˜๋กœ 20์‹œ๊ฐ„ ๋™์•ˆ ํ•™์Šต๋œ BigQuery์˜ 1.84TB ๋ฐ์ดํ„ฐ ์„ธํŠธ.

์ด ์˜ˆ์‹œ์˜ ํ•˜๋“œ์›จ์–ด ๊ตฌ์„ฑ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

ํ•˜๋“œ์›จ์–ด ๊ตฌ์„ฑ ์ด๋ฆ„ ๊ฐ’
stats_and_example_gen_dataflow_machine_type n1-standard-16
stats_and_example_gen_dataflow_max_num_workers 100
stats_and_example_gen_dataflow_disk_size_gb 40
transform_dataflow_machine_type n1-standard-16
transform_dataflow_max_num_workers 100
transform_dataflow_disk_size_gb 200
distill_batch_predict_machine_type n1-standard-2
distill_batch_predict_starting_replica_count 200
distill_batch_predict_max_replica_count 200

์•„ํ‚คํ…์ฒ˜ ๊ฒ€์ƒ‰ ๋ฐ ํ•™์Šต์„ ์‚ฌ์šฉํ•˜๋Š” ๊ธฐ๋ณธ ์›Œํฌํ”Œ๋กœ์˜ ๋น„์šฉ ๋ถ„์„์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

์„œ๋น„์Šค ๋น„์šฉ
Dataflow ์˜ˆ์‹œ ๋ฐ ํ†ต๊ณ„ ์ƒ์„ฑ $518(Dataflow ์‹คํ–‰ ์‹œ๊ฐ„: 6์‹œ๊ฐ„)
Dataflow ๋ฐ์ดํ„ฐ, ํŠน์„ฑ ๋ณ€ํ™˜ $471(Dataflow ์‹คํ–‰ 6์‹œ๊ฐ„)
Vertex AI Training 17์‹œ๊ฐ„ x $20 + 3์‹œ๊ฐ„ x $20 + $41.5 SSD ๋น„์šฉ + ํŒŒ์ดํ”„๋ผ์ธ ์ปจํ…Œ์ด๋„ˆ ๋น„์šฉ = $555(17์‹œ๊ฐ„ ์กฐ์ •, 3์‹œ๊ฐ„ ํ•™์Šต)
Vertex AI Pipelines 1ํšŒ ์‹คํ–‰ x $0.03 = $0.03
ํ•ฉ๊ณ„ $1544.03