์ฃผ์„ ์„ธํŠธ ๋งŒ๋“ค๊ธฐ

์ฃผ์„ ์„ธํŠธ๋Š” ๋ชจ๋ธ ํ•™์Šต์„ ์œ„ํ•ด ๋ฐ์ดํ„ฐ ์„ธํŠธ์˜ ๋ฐ์ดํ„ฐ์— ์ ์šฉํ•˜๋Š” ๋ผ๋ฒจ ์ง‘ํ•ฉ์ž…๋‹ˆ๋‹ค. ์ฃผ์„ ์„ธํŠธ๋Š” ๋ฐ์ดํ„ฐ ์œ ํ˜• ๋ฐ ๋ชจ๋ธ ๋ชฉํ‘œ(์˜ˆ: video/classification)์™€ ๊ด€๋ จ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฏธ์ง€, ํ…์ŠคํŠธ, ๋™์˜์ƒ ๋ฐ์ดํ„ฐ ์œ ํ˜•์— ๋Œ€ํ•ด ์ฃผ์„ ์„ธํŠธ๋ฅผ ๋งŒ๋“ญ๋‹ˆ๋‹ค.

์ฃผ์„ ์„ธํŠธ ๋ผ๋ฒจ์„ ๋ฐ์ดํ„ฐ ์„ธํŠธ์˜ ๋ฐ์ดํ„ฐ์— ์ ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์€ Google Cloud ์ฝ˜์†”์„ ์‚ฌ์šฉํ•˜์—ฌ ๋ผ๋ฒจ ์ง€์ •์„ ์ฐธ๊ณ ํ•˜์„ธ์š”.

์ฃผ์„ ์„ธํŠธ๋ฅผ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ•

Vertex AI์—์„œ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ๋งŒ๋“ค ๋•Œ ๊ฐ€์ ธ์˜จ CSV ๋˜๋Š” JSON Lines ํŒŒ์ผ์— ๋ผ๋ฒจ์ด ํฌํ•จ๋œ ๊ฒฝ์šฐ Vertex AI๊ฐ€ ์ฃผ์„ ์„ธํŠธ๋ฅผ ์ž๋™์œผ๋กœ ๋งŒ๋“ค๊ณ  ๋ฐ์ดํ„ฐ ์„ธํŠธ์— ๋Œ€ํ•ด ์„ ํƒํ•œ ๋ชฉํ‘œ์— ์ด๋ฅผ ํ• ๋‹นํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ๋™์˜์ƒ์„ ๋ฐ์ดํ„ฐ ์œ ํ˜•์œผ๋กœ ์„ ํƒํ•˜๊ณ  ๋ถ„๋ฅ˜๋ฅผ ๋ชฉํ‘œ๋กœ ์„ ํƒํ•œ ๊ฒฝ์šฐ DATASET_NAME\_vcn์ด๋ผ๋Š” ์ฃผ์„ ์„ธํŠธ๊ฐ€ ์ƒ์„ฑ๋ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ 'vcn'์€ '๋™์˜์ƒ ๋ถ„๋ฅ˜'๋ฅผ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ์„ธํŠธ๊ฐ€ ์ด๋ฏธ ์ƒ์„ฑ๋˜์—ˆ๊ณ  ์ฃผ์„ ์„ธํŠธ ๋˜๋Š” ์ถ”๊ฐ€ ์ฃผ์„ ์„ธํŠธ๋ฅผ ์ถ”๊ฐ€ํ•˜๋ ค๋Š” ๊ฒฝ์šฐ, ๋‹ค์Œ ์„น์…˜์— ์„ค๋ช…๋œ ๋Œ€๋กœ Google Cloud ์ฝ˜์†”์—์„œ ์ด๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ƒˆ ์ฃผ์„ ์„ธํŠธ ๋งŒ๋“ค๊ธฐ

Google Cloud ์ฝ˜์†”์—์„œ๋งŒ ๊ธฐ์กด ๋ฐ์ดํ„ฐ ์„ธํŠธ์— ๋Œ€ํ•ด ์ƒˆ ์ฃผ์„ ์„ธํŠธ๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  1. Google Cloud ์ฝ˜์†”์—์„œ Vertex AI ๋ฐ์ดํ„ฐ ์„ธํŠธ ํŽ˜์ด์ง€๋กœ ์ด๋™ํ•ฉ๋‹ˆ๋‹ค.

    ๋ฐ์ดํ„ฐ ์„ธํŠธ๋กœ ์ด๋™

  2. ์ฃผ์„ ์„ธํŠธ๋ฅผ ๋งŒ๋“ค๋ ค๋Š” ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

    ๋ฐ์ดํ„ฐ ์„ธํŠธ๊ฐ€ ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค.

    Vertex AI ๋Œ€์‹œ๋ณด๋“œ

  3. ๋ฐ์ดํ„ฐ ์„ธํŠธ ์ด๋ฆ„ ์˜†์— ์žˆ๋Š” ์„ ํƒ๊ธฐ ์ƒ์ž์—์„œ ์ฃผ์„ ์„ธํŠธ ๋งŒ๋“ค๊ธฐ๋ฅผ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค.

  4. ์ฃผ์„ ์„ธํŠธ ๋งŒ๋“ค๊ธฐ ์ฐฝ์—์„œ ์ฃผ์„ ์„ธํŠธ ์ด๋ฆ„์„ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค.

  5. ๋ชจ๋ธ ๋ชฉํ‘œ๋ฅผ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค.

  6. ๋งŒ๋“ค๊ธฐ๋ฅผ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

    ์ƒˆ ์ฃผ์„ ์„ธํŠธ์™€ ํ•จ๊ป˜ ๋ฐ์ดํ„ฐ ์„ธํŠธ ๋ณด๊ธฐ๊ฐ€ ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค. ์ด์ œ ์„ค์ •๋œ ์ƒˆ ์ฃผ์„ ์„ธํŠธ์˜ ๋ผ๋ฒจ์„ ๋ฐ์ดํ„ฐ์— ์ ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ๋‹จ๊ณ„