์‹คํŒจ ์ •์ฑ… ๊ตฌ์„ฑ

aiplatform.PipelineJob ํด๋ž˜์Šค์˜ failure_policy ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํƒœ์Šคํฌ ์ค‘ ํ•˜๋‚˜๊ฐ€ ์‹คํŒจํ•˜๋ฉด ํŒŒ์ดํ”„๋ผ์ธ์ด ์ฆ‰์‹œ ์‹คํŒจํ•ด์•ผ ํ•˜๋Š”์ง€ ์—ฌ๋ถ€๋ฅผ ๊ตฌ์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ์‹คํŒจ ์ •์ฑ… ๊ตฌ์„ฑ์€ Vertex AI Pipelines์—์„œ ์ง€์›๋ฉ๋‹ˆ๋‹ค.

  • ๋น ๋ฅธ ์‹คํŒจ(failure_policy = 'fast'): ํƒœ์Šคํฌ ์‹คํŒจ ํ›„ ํŒŒ์ดํ”„๋ผ์ธ์ด ์ƒˆ ํƒœ์Šคํฌ ์˜ˆ์•ฝ์„ ์ค‘์ง€ํ•˜๋„๋ก ํ•˜๋ ค๋ฉด ์ด ๊ตฌ์„ฑ์„ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฏธ ์˜ˆ์•ฝ๋œ ํƒœ์Šคํฌ๋Š” ์™„๋ฃŒ๋  ๋•Œ๊นŒ์ง€ ๊ณ„์† ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค.

  • ๋А๋ฆฐ ์‹คํŒจ(failure_policy = 'slow'): ํƒœ์Šคํฌ ์‹คํŒจ ํ›„์—๋„ ํŒŒ์ดํ”„๋ผ์ธ์ด ๊ณ„์† ์‹คํ–‰๋˜๋„๋ก ํ•˜๋ ค๋ฉด ์ด ๊ตฌ์„ฑ์„ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋“  ํƒœ์Šคํฌ๊ฐ€ ์‹คํ–‰๋  ๋•Œ๊นŒ์ง€ ํŒŒ์ดํ”„๋ผ์ธ์ด ๊ณ„์† ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค.

Vertex AI SDK for Python์„ ์‚ฌ์šฉํ•˜์—ฌ ํŒŒ์ดํ”„๋ผ์ธ์˜ ์‹คํŒจ ์ •์ฑ…์„ ๊ตฌ์„ฑํ•˜๋ ค๋ฉด ๋‹ค์Œ ์ฝ”๋“œ ์ƒ˜ํ”Œ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.


job = aiplatform.PipelineJob(display_name = 'DISPLAY_NAME',
                             template_path = 'COMPILED_PIPELINE_PATH',
                             pipeline_root = 'PIPELINE_ROOT',
                             project = 'PROJECT_ID',
                             location = 'LOCATION',
                             failure_policy = 'FAILURE_POLICY')

๋‹ค์Œ์„ ๋ฐ”๊ฟ‰๋‹ˆ๋‹ค.

  • DISPLAY_NAME: ํŒŒ์ดํ”„๋ผ์ธ ์ด๋ฆ„. Google Cloud ์ฝ˜์†”์— ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค.

  • COMPILED_PIPELINE_PATH: ์ปดํŒŒ์ผ๋œ ํŒŒ์ดํ”„๋ผ์ธ YAML ํŒŒ์ผ์˜ ๊ฒฝ๋กœ. ๋กœ์ปฌ ๊ฒฝ๋กœ ๋˜๋Š” Google Cloud Storage URI์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • PIPELINE_ROOT: ํŒŒ์ดํ”„๋ผ์ธ ์„œ๋น„์Šค ๊ณ„์ •์ด ์•ก์„ธ์Šคํ•  ์ˆ˜ ์žˆ๋Š” Cloud Storage URI. ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰์˜ ์•„ํ‹ฐํŒฉํŠธ๋Š” ํŒŒ์ดํ”„๋ผ์ธ ๋ฃจํŠธ ๋‚ด์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค.

  • PROJECT_ID: ์ด ํŒŒ์ดํ”„๋ผ์ธ์ด ์‹คํ–‰๋˜๋Š” Google Cloud ํ”„๋กœ์ ํŠธ

  • LOCATION: ํŒŒ์ดํ”„๋ผ์ธ์ด ์‹คํ–‰๋˜๋Š” ๋ฆฌ์ „. Vertex AI Pipelines๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฆฌ์ „์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ Vertex AI ์œ„์น˜ ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”. ์ด ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์„ค์ •ํ•˜์ง€ ์•Š์œผ๋ฉด aiplatform.init์— ์„ค์ •๋œ ๊ธฐ๋ณธ ์œ„์น˜๊ฐ€ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค.

  • FAILURE_POLICY: ์ „์ฒด ํŒŒ์ดํ”„๋ผ์ธ์˜ ์‹คํŒจ ์ •์ฑ…์„ ์ง€์ •ํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ๊ตฌ์„ฑ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

    • ํƒœ์Šคํฌ ํ•˜๋‚˜๊ฐ€ ์‹คํŒจํ•œ ํ›„ ํŒŒ์ดํ”„๋ผ์ธ์ด ์‹คํŒจํ•˜๋„๋ก ๊ตฌ์„ฑํ•˜๋ ค๋ฉด fast๋ฅผ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค.

    • ํƒœ์Šคํฌ ํ•˜๋‚˜๊ฐ€ ์‹คํŒจํ•œ ํ›„์—๋„ ํƒœ์Šคํฌ๋ฅผ ๊ณ„์† ์˜ˆ์•ฝํ•˜๋„๋ก ํŒŒ์ดํ”„๋ผ์ธ์„ ๊ตฌ์„ฑํ•˜๋ ค๋ฉด slow๋ฅผ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค.

    ์ด ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์„ค์ •ํ•˜์ง€ ์•Š์œผ๋ฉด ์‹คํŒจ ์ •์ฑ… ๊ตฌ์„ฑ์ด ๊ธฐ๋ณธ์ ์œผ๋กœ slow๋กœ ์„ค์ •๋ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ ๋‹จ๊ณ„