Vertex AI Pipelines์šฉ ์ธํ„ฐํŽ˜์ด์Šค

์ด ํŽ˜์ด์ง€์—์„œ๋Š” Vertex AI Pipelines์—์„œ ML ํŒŒ์ดํ”„๋ผ์ธ์„ ์ •์˜ํ•˜๊ณ  ์‹คํ–‰ํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

ํŒŒ์ดํ”„๋ผ์ธ์„ ์ •์˜ํ•˜๋Š” ์ธํ„ฐํŽ˜์ด์Šค

Vertex AI Pipelines๋Š” Kubeflow Pipelines(KFP) SDK ๋˜๋Š” TensorFlow Extended(TFX) SDK๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ •์˜๋œ ML ํŒŒ์ดํ”„๋ผ์ธ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

Kubeflow Pipelines(KFP) SDK

Kubeflow Pipelines ๋กœ๊ณ  ๋Œ€๊ทœ๋ชจ ์ •ํ˜• ๋ฐ์ดํ„ฐ ๋˜๋Š” ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•ด TensorFlow Extended๋ฅผ ์‚ฌ์šฉํ•  ํ•„์š”๊ฐ€ ์—†๋Š” ๋ชจ๋“  ์‚ฌ์šฉ ์‚ฌ๋ก€์— KFP๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

Vertex AI Pipelines๋Š” KFP SDK v1.8 ์ด์ƒ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ Vertex AI Pipelines ๋ฌธ์„œ์˜ ์ฝ”๋“œ ์ƒ˜ํ”Œ์„ ์‚ฌ์šฉํ•˜๋ ค๋ฉด KFP SDK v2๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

KFP SDK๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ์ปค์Šคํ…€ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ๋นŒ๋“œํ•˜๊ฑฐ๋‚˜Google Cloud ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์„ฑ์š”์†Œ์™€ ๊ฐ™์€ ์‚ฌ์ „ ๋นŒ๋“œ๋œ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ์žฌ์‚ฌ์šฉํ•˜์—ฌ ML ์›Œํฌํ”Œ๋กœ๋ฅผ ์ •์˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Google Cloud ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ML ํŒŒ์ดํ”„๋ผ์ธ์—์„œ AutoML๊ณผ ๊ฐ™์€ Vertex AI ์„œ๋น„์Šค๋ฅผ ์‰ฝ๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Vertex AI Pipelines๋Š” Google Cloud ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์„ฑ์š”์†Œ SDK v2 ์ด์ƒ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.Google Cloud ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์„ฑ์š”์†Œ์— ๊ด€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ Google Cloud ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์„ฑ์š”์†Œ ์†Œ๊ฐœ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

Kubeflow Pipelines๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํŒŒ์ดํ”„๋ผ์ธ์„ ๋นŒ๋“œํ•˜๋Š” ๋ฐฉ๋ฒ•์€ ํŒŒ์ดํ”„๋ผ์ธ ๋นŒ๋“œ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”. Kubeflow Pipelines์— ๋Œ€ํ•ด ์ž์„ธํžˆ ์•Œ์•„๋ณด๋ ค๋ฉด Kubeflow Pipelines ๋ฌธ์„œ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

TensorFlow Extended(TFX) SDK

TFX SDK ๋กœ๊ณ  ML ์›Œํฌํ”Œ๋กœ์—์„œ TensorFlow Extended๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ…Œ๋ผ๋ฐ”์ดํŠธ ๊ทœ๋ชจ์˜ ์ •ํ˜• ๋ฐ์ดํ„ฐ ๋˜๋Š” ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ฒฝ์šฐ TFX๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”. Vertex AI Pipelines๋Š” TFX SDK v0.30.0 ์ด์ƒ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

TFX๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ML ํŒŒ์ดํ”„๋ผ์ธ์„ ๋นŒ๋“œํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด๋ ค๋ฉด ํ”„๋กœ๋•์…˜์šฉ TensorFlow Extended ํŠœํ† ๋ฆฌ์–ผ์˜ ์‹œ์ž‘ํ•˜๊ธฐ ํŠœํ† ๋ฆฌ์–ผ ์„น์…˜์„ ์ฐธ์กฐํ•˜์„ธ์š”.

ํŒŒ์ดํ”„๋ผ์ธ์„ ์‹คํ–‰ํ•˜๋Š” ์ธํ„ฐํŽ˜์ด์Šค

ML ํŒŒ์ดํ”„๋ผ์ธ์„ ์ •์˜ํ•œ ํ›„ ๋‹ค์Œ ์ธํ„ฐํŽ˜์ด์Šค ์ค‘ ํ•˜๋‚˜๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ML ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • REST API

  • SDK ํด๋ผ์ด์–ธํŠธ

  • Google Cloud ์ฝ˜์†”

Vertex AI์™€ ์ƒํ˜ธ์ž‘์šฉํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์ธํ„ฐํŽ˜์ด์Šค์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ Vertex AI ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

REST API

REST๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰์„ ๋งŒ๋“ค๋ ค๋ฉด Pipelines ์„œ๋น„์Šค API๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ด API๋Š” projects.locations.pipelineJobs REST ๋ฆฌ์†Œ์Šค๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

SDK ํด๋ผ์ด์–ธํŠธ

Vertex AI Pipelines๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด PVertex AI SDK for Python ๋˜๋Š” ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Python์šฉ Vertex AI SDK

Python์šฉ Vertex AI SDK(aiplatform)๋Š” Pipelines ์„œ๋น„์Šค API๋ฅผ ํ”„๋กœ๊ทธ๋ž˜๋งคํ‹ฑ ๋ฐฉ์‹์œผ๋กœ ์‚ฌ์šฉํ•˜๋Š” ๋ฐ ๊ถŒ์žฅ๋˜๋Š” SDK์ž…๋‹ˆ๋‹ค. ์ด SDK์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ google.cloud.aiplatform.PipelineJob์— ๋Œ€ํ•œ API ์ฐธ๊ณ  ๋ฆฌ์†Œ์Šค๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ

ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ํ”„๋กœ๊ทธ๋ž˜๋งคํ‹ฑ ๋ฐฉ์‹์œผ๋กœ ์ƒ์„ฑ๋œ API ํด๋ผ์ด์–ธํŠธ(GAPIC) SDK์ž…๋‹ˆ๋‹ค. Vertex AI Pipelines๋Š” ๋‹ค์Œ ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

  • Python(aiplatform v1, v1beta1)

  • ์ž๋ฐ”

  • Node.js

  • Go

์ž์„ธํ•œ ๋‚ด์šฉ์€ Vertex AI ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์„ค์น˜๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

Google Cloud ์ฝ˜์†”(GUI)

Google Cloud ์ฝ˜์†”์€ ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰์„ ๊ฒ€ํ† ํ•˜๊ณ  ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๋Š” ๋ฐ ๊ถŒ์žฅ๋˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. Google Cloud ์ฝ˜์†”์„ ์‚ฌ์šฉํ•˜์—ฌ ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰ ๋งŒ๋“ค๊ธฐ, ์‚ญ์ œ, ํด๋ก , ํ…œํ”Œ๋ฆฟ ๊ฐค๋Ÿฌ๋ฆฌ์— ์•ก์„ธ์Šค, ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰์˜ ์ฒญ๊ตฌ ๋ผ๋ฒจ ๊ฐ€์ ธ์˜ค๊ธฐ์™€ ๊ฐ™์€ ๋‹ค๋ฅธ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

Google Cloud ์ฝ˜์†”์—์„œ ํŒŒ์ดํ”„๋ผ์ธ์œผ๋กœ ์ด๋™

๋‹ค์Œ ๋‹จ๊ณ„