Vertex AI์์ BigQuery ML ๋ชจ๋ธ ๊ด๋ฆฌ
Vertex AI Model Registry์ BigQuery ML ๋ชจ๋ธ์ ๋ฑ๋กํ๋ฉด ๋ชจ๋ธ์ ๋ด๋ณด๋ผ ํ์ ์์ด Vertex AI ๋ชจ๋ธ๊ณผ ํจ๊ป ๊ด๋ฆฌํ ์ ์์ต๋๋ค. ๋ชจ๋ธ์ Model Registry์ ํจ๊ป ๋ฑ๋กํ๋ฉด ์๋น ์ปจํ ์ด๋๊ฐ ์์ด๋ ๋จ์ผ ์ธํฐํ์ด์ค๋ฅผ ์ฌ์ฉํ์ฌ ์จ๋ผ์ธ ์์ธก์ฉ ๋ชจ๋ธ์ ๋ฒ์ ๊ด๋ฆฌ, ํ๊ฐ, ๋ฐฐํฌํ ์ ์์ต๋๋ค. Vertex AI์ ์ต์ํ์ง ์๊ณ BigQuery ML๊ณผ ํตํฉํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์์ธํ ์์๋ณด๋ ค๋ฉด BigQuery ์ฌ์ฉ์๋ฅผ ์ํ Vertex AI๋ฅผ ์ฐธ์กฐํ์ธ์.
Vertex AI ์์ธก์ ๋ํ ์์ธํ ๋ด์ฉ์ Vertex AI ์์ธก ์ํ ๊ฐ์๋ฅผ ์ฐธ์กฐํ์ธ์.
Vertex AI Model Registry์์ BigQuery ML ๋ชจ๋ธ์ ๊ด๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ์์๋ณด๋ ค๋ฉด Vertex AI Model Registry ์๊ฐ๋ฅผ ์ฐธ์กฐํ์ธ์.
๊ธฐ๋ณธ ์๊ฑด
BigQuery ML ๋ชจ๋ธ์ Model Registry์ ๋ฑ๋กํ๋ ค๋ฉด ๋ช ๊ฐ์ง ๊ธฐ๋ณธ ์๊ฑด์ ์ถฉ์กฑํด์ผ ํฉ๋๋ค.
Vertex AI API ์ฌ์ฉ ์ค์
BigQuery ML ๋ชจ๋ธ์ Model Registry์ ๋ฑ๋กํ๊ธฐ ์ ์ ํ๋ก์ ํธ์์ Vertex AI API๋ฅผ ์ฌ์ฉ ์ค์ ํด์ผ ํฉ๋๋ค. Google Cloud ์ฝ์์ API ๋ฐ ์๋น์ค ํ์ด์ง๋ฅผ ์ฌ์ฉํ๊ฑฐ๋ ๋ค์ Google Cloud CLI ๋ช ๋ น์ด๋ฅผ ์คํํ๋ฉด ๋ฉ๋๋ค.
gcloud --project PROJECT_ID services enable aiplatform.googleapis.com
IAM ๊ถํ ๋ถ์ฌ
BigQuery ML ๋ชจ๋ธ์ Model Registry์ ๋ฑ๋กํ๋ ๋ฐ ์ฌ์ฉํ๋ ์๋น์ค ๊ณ์ ๋๋ ์ฌ์ฉ์ ๊ณ์ ์ Vertex AI ๊ด๋ฆฌ์(roles/aiplatform.admin
) ์ญํ ์ ๋ถ์ฌํด์ผ ํฉ๋๋ค. Vertex AI ์ญํ ๋ฐ ๊ถํ์ ๋ํ ์์ธํ ๋ด์ฉ์ IAM์ผ๋ก ์ก์ธ์ค ์ ์ด๋ฅผ ์ฐธ์กฐํ์ธ์.
๋ค์ ๋ช ๋ น์ด๋ฅผ ์ฌ์ฉํ์ฌ ์๋น์ค ๊ณ์ ์ Vertex AI ๊ด๋ฆฌ์ ์ญํ ์ ๋ถ์ฌํฉ๋๋ค.
gcloud projects add-iam-policy-binding PROJECT_ID --member=serviceAccount:SERVICE_ACCOUNT_EMAIL --role=roles/aiplatform.admin --condition=None
๋ค์ ๋ช ๋ น์ด๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ์ฉ์ ๊ณ์ ์ Vertex AI ๊ด๋ฆฌ์ ์ญํ ์ ๋ถ์ฌํฉ๋๋ค.
gcloud projects add-iam-policy-binding PROJECT_ID --member=user:USER_ACCOUNT --role=roles/aiplatform.admin --condition=None
๋ชจ๋ธ ๋ฑ๋ก
BigQuery ML ๋ชจ๋ธ์ ๋ง๋ค ๋ CREATE MODEL
๋ฌธ์ MODEL_REGISTRY
์ต์
์ ์ฌ์ฉํ์ฌ ๋ชจ๋ธ์ Model Registry์ ๋ฑ๋กํ ์ ์์ต๋๋ค. CREATE MODEL
๋ฌธ์๋ ๋ชจ๋ธ ID๋ฅผ ์ง์ ํ๋ VERTEX_AI_MODEL_ID
์ต์
๊ณผ ํ๋ ์ด์์ ๋ชจ๋ธ ๋ฒ์ ๋ณ์นญ์ ์ง์ ํ๋ VERTEX_AI_MODEL_VERSION_ALIASES
์ต์
๋ ํฌํจ๋์ด ์์ต๋๋ค. ์ด๋ฌํ ์ต์
์ ์ฌ์ฉํ์ฌ ๋ฐฐํฌ๋ฅผ ๊ฐ์ํํ๊ณ ๋ชจ๋ธ์ ๊ด๋ฆฌํ๊ณ ๋ชจ๋ธ์์ Vertex Explainable AI๋ฅผ ์ฌ์ฉ ์ค์ ํ ์ ์์ต๋๋ค.
๋ชจ๋ธ์ ๋ง๋ค ๋ MODEL_REGISTRY
์ต์
์ ์ค์ ํ๋ฉด BigQuery ML์์ ํ์ต์ ์๋ฃํ๋ฉด ๋ชจ๋ธ์ด Model Registry์ ์๋์ผ๋ก ํ์๋ฉ๋๋ค. Google Cloud ์ฝ์์ Model Registry ํ์ด์ง์ ์๋ ์์ค ์ด์ ์ฌ์ฉํ์ฌ ๋ชจ๋ธ์ ์์ค ์์น๋ฅผ ํ์ธํ ์ ์์ต๋๋ค.
BigQuery ML ๋ชจ๋ธ์ด ๋ฑ๋ก๋๋ฉด ๋ชจ๋ธ์์ Model Registry ๊ธฐ๋ฅ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์๋ํฌ์ธํธ์ ๋ชจ๋ธ ๋ฐฐํฌ, ๋ชจ๋ธ ๋ฒ์ ๋น๊ต, ์์ธก, ๋ชจ๋ธ ๋ชจ๋ํฐ๋ง, ๋ชจ๋ธ ํ๊ฐ ๋ณด๊ธฐ ๋ฑ์ ์ํํ ์ ์์ต๋๋ค. ๋ํ ์์ธก์ ์ํฅ์ ์ฃผ๋ ํน์ฑ์ ๋ํด ์์๋ณด๋ ค๋ฉด Vertex Explainable AI๋ฅผ ์ฌ์ฉํ์ฌ ๋ชจ๋ธ์ ๋ํ ํน์ฑ ๊ธฐ๋ฐ ์ค๋ช ์ ํ๋ํ ์ ์์ต๋๋ค.
BigQuery ML์ ์ฌ์ฉํ์ฌ ์์ฑ๋ ๋ชจ๋ ๋ชจ๋ธ์ Model Registry ๋ฑ๋ก ์ฌ๋ถ์ ๊ด๊ณ์์ด BigQuery ์ฌ์ฉ์ ์ธํฐํ์ด์ค์ ๊ณ์ ํ์๋ฉ๋๋ค.
Vertex AI ๋ชจ๋ธ ID ์ง์
๋ชจ๋ธ์ ๋ ์ฝ๊ฒ ๊ด๋ฆฌํ๋ ค๋ฉด ๋ชจ๋ธ์ ๋ง๋ค ๋ VERTEX_AI_MODEL_ID
์ต์
์ ์ฌ์ฉํ์ฌ Vertex AI ๋ชจ๋ธ ID๋ฅผ ์ง์ ํ์ธ์. ๋ชจ๋ธ ID๋ BigQuery ML ๋ชจ๋ธ๊ณผ ์ฐ๊ฒฐ๋๋ฉฐ Model Registry์์ ํ์ธํ ์ ์์ต๋๋ค.
Vertex AI ๋ชจ๋ธ ID๋ ๋๋ฌธ์๋ฅผ ํ์ฉํ์ง ์์ต๋๋ค. Vertex AI ๋ชจ๋ธ ID๋ฅผ ์ง์ ํ์ง ์์ผ๋ฉด BigQuery ML ๋ชจ๋ธ ID๊ฐ ์ฌ์ฉ๋ฉ๋๋ค. ์ด ๊ฒฝ์ฐ BigQuery ML ๋ชจ๋ธ ID๋ ์๋ฌธ์์ฌ์ผ ํฉ๋๋ค. ๋ชจ๋ธ ID ์๊ตฌ์ฌํญ์ ์ ์ฒด ๋ชฉ๋ก์ ํ์ธํ๋ ค๋ฉด ์ ๋ก๋ ์ฐธ๊ณ ๋ฌธ์์ ์ฌ์์ ์ฐธ์กฐํ์ธ์.
Vertex AI ๋ชจ๋ธ ID๋ฅผ ์
๋ฐ์ดํธํ๋ ค๋ฉด ๋ชจ๋ธ์ ์ญ์ ํ๊ณ ์ฌ๋ฐ๋ฅธ ์ Vertex AI ๋ชจ๋ธ ID๋ก ๋ค์ ๋ง๋ค์ด์ผ ํฉ๋๋ค. ALTER MODEL
๋ช
๋ น์ด๋ฅผ ์ฌ์ฉํ์ฌ Vertex AI ๋ชจ๋ธ ID๋ฅผ ์
๋ฐ์ดํธํ ์๋ ์์ต๋๋ค.
Vertex AI ๋ชจ๋ธ ๋ณ์นญ ์ง์
๋ชจ๋ธ ๋ณ์นญ์ ์ง์ ํ๋ ค๋ฉด ๋ชจ๋ธ์ ๋ง๋ค ๋ VERTEX_AI_MODEL_VERSION_ALIASES
์ต์
์ ์ง์ ํฉ๋๋ค. ๋ชจ๋ธ ๋ณ์นญ์ ํน์ ๋ฒ์ ์ ID๋ฅผ ํ์
ํ ํ์ ์์ด ์ฐธ์กฐ๋ก ํน์ ๋ชจ๋ธ ๋ฒ์ ์ ๊ฐ์ ธ์ค๊ฑฐ๋ ๋ฐฐํฌํ ์ ์์ด์ ์ ์ฉํฉ๋๋ค. ์ด๋ฌํ ์ ์์ ๋ชจ๋ธ ๋ณ์นญ์ Git์ Docker ํ๊ทธ ๋๋ ๋ธ๋์น ์ฐธ์กฐ์ ๋น์ทํ๊ฒ ์๋ํฉ๋๋ค.
Model Registry ๋ณ์นญ์ ์๋ ๋ฐฉ์์ ๋ํ ์์ธํ ๋ด์ฉ์ ๋ชจ๋ธ ๋ฒ์ ๋ณ์นญ ์ฌ์ฉ ๋ฐฉ๋ฒ์ ์ฐธ์กฐํ์ธ์.
์ฌ๋ฌ ๋ฒ์ ์ BigQuery ML ๋ชจ๋ธ ๋ฑ๋ก
๊ธฐ์กด BigQuery ML ๋ชจ๋ธ์ ์ ๋ฒ์ ์ ๋ง๋ค์ด Model Registry์ ์๋ ๋ค๋ฅธ ๋ฒ์ ๊ณผ ๋น๊ตํ๋ ค๋ฉด ๋ชจ๋ธ์ ๋ง๋ค ๋ ๋ค๋ฅธ BigQuery ML ๋ชจ๋ธ ID๋ฅผ ์ง์ ํ ํ ์ด๋ฅผ ์๋ณธ Model Registry ๋ชจ๋ธ ID์ ๋ฑ๋กํด์ผ ํฉ๋๋ค.
BigQuery ML ๋ชจ๋ธ์ ๋ง๋ค๊ฑฐ๋ ๊ต์ฒดํ ๋ ์ด๋ฏธ Model Registry์ ๋ชจ๋ธ๊ณผ ์ฐ๊ฒฐ๋ BigQuery ML ๋ชจ๋ธ ID๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ๊ธฐ์กด Model Registry ๋ชจ๋ธ ๋ฒ์ ์ด ์ญ์ ๋๊ณ ์ ๋ชจ๋ธ๋ก ๊ต์ฒด๋ฉ๋๋ค.
Model Registry์ ๊ธฐ์กด BigQuery ML ๋ชจ๋ธ ๋ฑ๋ก
BigQuery ML ๋ชจ๋ธ์ Model Registry์ ์๋์ผ๋ก ์ถ๊ฐ๋์ง ์์ต๋๋ค. ALTER MODEL
๋ฌธ์ ๋ชจ๋ธ ID๋ฅผ ์ถ๊ฐํ๊ณ ๋ชจ๋ธ์ Model Registry์ ๋ฑ๋กํ ๋ฟ๋ง ์๋๋ผ ๋ชจ๋ธ ์ค๋ช
๋ฐ ๋ผ๋ฒจ๊ณผ ๊ฐ์ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์
๋ฐ์ดํธํ๋ ๋ฐ ์ฌ์ฉํ ์ ์์ต๋๋ค.
BigQuery ML์์ ๋ชจ๋ธ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ ๋ฐ์ดํธํ๋ ๋ฐฉ๋ฒ์ ๊ดํ ์์ธํ ๋ด์ฉ์ ๋ชจ๋ธ ๋ฉํ๋ฐ์ดํฐ ์ ๋ฐ์ดํธ๋ฅผ ์ฐธ์กฐํ์ธ์.
๊ธฐ์กด ๋ชจ๋ธ์ ๋ฑ๋กํ๋ ค๋ฉด ๋ค์ ์๋ด๋ฅผ ๋ฐ๋ฅด์ธ์.
SQL
ALTER MODEL [IF EXISTS] <model_name> SET OPTIONS (vertex_ai_model_id="VERTEX_AI_MODEL_ID");
bq
bq ๋ช
๋ น์ค ๋๊ตฌ๋ก bq update
๋ช
๋ น์ด๋ฅผ ์คํํ๊ณ ๋ชจ๋ธ์ ๋ชจ๋ธ ID๋ฅผ ์ง์ ํ์ฌ ๋ชจ๋ธ์ ์
๋ฐ์ดํธํ ์ ์์ต๋๋ค. vertex_model_id
๋ ์ ID์ด๊ฑฐ๋ ๊ธฐ์กด Model Registry ๋ชจ๋ธ ID์ผ ์ ์์ต๋๋ค.
๊ฐ BigQuery ML ๋ชจ๋ธ์ Model Registry์์ ํ๋์ model_id์๋ง ๋ฑ๋กํ ์ ์์ต๋๋ค.
bq update --model --vertex_ai_model_id "VERTEX_AI_MODEL_ID" PROJECT_ID:DATASET.MODEL
API
- ๋ฉ์๋: models.patch๋ก ์ด๋ํฉ๋๋ค.
- ์์ฒญ ๋งค๊ฐ๋ณ์์ ์์ฒญ ๋ณธ๋ฌธ์ ์ ๋ ฅํฉ๋๋ค.
- EXECUTE ๋ฒํผ์ ํด๋ฆญํฉ๋๋ค.
{
"trainingRuns": [
{
"vertexAiModelId": "VERTEX_AI_MODEL_ID"
}
}
```
๋ชจ๋ธ์ ๋ฑ๋กํ ๋ ์ ๋ชจ๋ธ ID๋ฅผ ์ง์ ํ๋ฉด BigQuery ML ๋ชจ๋ธ์ด Model Registry์ ๋ชจ๋ธ ๋ฒ์ 1๋ก ํ์๋ฉ๋๋ค. ๋ชจ๋ธ์ ๊ธฐ์กด ๋ชจ๋ธ์ ์ ๋ฒ์ ์ผ๋ก ์ถ๊ฐํ๋ ค๋ฉด ๊ธฐ์กด ๋ชจ๋ธ์ ID๋ฅผ ์ง์ ํฉ๋๋ค. ์ด๋ ๊ฒ ํ๋ฉด ์ ๋ชจ๋ธ์ด ๊ธฐ์กด ๋ชจ๋ธ์ ์ต์ ๋ฒ์ ์ผ๋ก ์๋ ๋ฑ๋ก๋ฉ๋๋ค.
๋ฑ๋ก๋ BigQuery ML ๋ชจ๋ธ์ ๋ชจ๋ธ ID ๋ณ๊ฒฝ
BigQuery ML ๋ชจ๋ธ์ด Model Registry์ ๋ฑ๋ก๋๋ฉด VERTEX_AI_MODEL_ID
๊ฐ์ ๋ณ๊ฒฝํ ์ ์์ต๋๋ค. ์ VERTEX_AI_MODEL_ID
์ ๋ชจ๋ธ์ ๋ฑ๋กํ๋ ค๋ฉด ๋ค์ ์ต์
์ค ํ๋๋ฅผ ์ฌ์ฉํฉ๋๋ค.
์ฌํ์ต ๋น์ฉ์ด ํ์ฉ๋๋ ๊ฒฝ์ฐ ๋ชจ๋ธ์ ์ญ์ ํ๊ณ ๋ค์ ๋ง๋ญ๋๋ค.
๋ชจ๋ธ์ ๋ณต์ฌํ ๋ค์
ALTER MODEL
๋ฌธ์ ์ฌ์ฉํ์ฌ ์ ๋ชจ๋ธ์ ์VERTEX_AI_MODEL_ID
๊ฐ์ผ๋ก ๋ฑ๋กํฉ๋๋ค.
์์น ๊ณ ๋ ค์ฌํญ
๋ฉํฐ ๋ฆฌ์ BigQuery ML ๋ชจ๋ธ์ Model Registry์ ๋ฑ๋กํ๋ฉด Vertex AI์์ ๋ชจ๋ธ์ด ๋ฆฌ์ ๋ชจ๋ธ๋ก ๋ณํ๋ฉ๋๋ค. BigQuery ML US ๋ฉํฐ ๋ฆฌ์ ๋ชจ๋ธ์ Vertex AI(us-central1)์ ๋๊ธฐํ๋๊ณ BigQuery ML ๋ฉํฐ ๋ฆฌ์ EU ๋ชจ๋ธ์ Vertex AI(europe-west4)์ ๋๊ธฐํ๋ฉ๋๋ค. ๋จ์ผ ๋ฆฌ์ ๋ชจ๋ธ์ ๊ฒฝ์ฐ ๋ณ๊ฒฝ์ฌํญ์ด ์์ต๋๋ค.
๋ชจ๋ธ ์์น๋ฅผ ์ ๋ฐ์ดํธํ๋ ๋ฐฉ๋ฒ์ ์์น ์ ํ์ ์ฐธ์กฐํ์ธ์.
Model Registry์์ BigQuery ML ๋ชจ๋ธ ์ญ์
Model Registry์์ BigQuery ML ๋ชจ๋ธ์ ์ญ์ ํ๋ ค๋ฉด BigQuery ML์์ ๋ชจ๋ธ์ ์ญ์ ํฉ๋๋ค. ๋ชจ๋ธ์ด Model Registry์์ ์๋์ผ๋ก ์ญ์ ๋ฉ๋๋ค.
BigQuery ML ๋ชจ๋ธ์ ์ญ์ ํ๋ ๋ฐฉ๋ฒ์๋ ์ฌ๋ฌ ๊ฐ์ง๊ฐ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ ๋ชจ๋ธ ์ญ์ ๋ฅผ ์ฐธ์กฐํ์ธ์.
Model Registry์ ๋ฑ๋ก๋๊ณ ์๋ํฌ์ธํธ์ ๋ฐฐํฌ๋ BigQuery ML์ ๋ชจ๋ธ์ ์ญ์ ํ๋ ค๋ฉด ๋จผ์ Model Registry๋ฅผ ์ฌ์ฉํ์ฌ ๋ชจ๋ธ ๋ฐฐํฌ๋ฅผ ์ทจ์ํด์ผ ํฉ๋๋ค. ๊ทธ๋ฐ ๋ค์ BigQuery ML๋ก ๋์๊ฐ์ ๋ชจ๋ธ์ ์ญ์ ํ ์ ์์ต๋๋ค. ๋ชจ๋ธ ๋ฐฐํฌ๋ฅผ ์ทจ์ํ๋ ๋ฐฉ๋ฒ์ ์๋ํฌ์ธํธ ์ญ์ ๋ฅผ ์ฐธ์กฐํ์ธ์.
๋ค์ ๋จ๊ณ
BigQuery ML์ ์ฌ์ฉํ ์จ๋ผ์ธ ์์ธก ๋ ธํธ๋ถ์ ๋ฐ๋ผ BigQuery ML์ ์ฌ์ฉํ์ฌ ๋ชจ๋ธ์ ํ์ต์ํค๊ณ , ๋ชจ๋ธ์ Model Registry์ ๋ฑ๋กํ๊ณ , ์ค์๊ฐ ์์ธก์ ์ํด ์๋ํฌ์ธํธ์ ๋ฐฐํฌํฉ๋๋ค.