์ด ํ์ด์ง์์๋ TabNet์ฉ ํ ์ด๋ธ ํ์ ์ํฌํ๋ก๋ฅผ ์ฌ์ฉํ์ฌ ํ ์ด๋ธ ํ์์ ๋ฐ์ดํฐ ์ธํธ์์ ๋ถ๋ฅ ๋๋ ํ๊ท ๋ชจ๋ธ์ ํ์ต์ํค๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ค๋๋ค.
TabNet์ฉ ํ ์ด๋ธ ํ์ ์ํฌํ๋ก์๋ ๋ ๊ฐ์ง ๋ฒ์ ์ด ์์ต๋๋ค.
- HyperparameterTuningJob์ ๋ชจ๋ธ ํ์ต์ ์ฌ์ฉํ ์ต์ ์ ์ด๋งค๊ฐ๋ณ์ ๊ฐ ์งํฉ์ ๊ฒ์ํฉ๋๋ค.
- CustomJob์ ์ฌ์ฉํ๋ฉด ๋ชจ๋ธ ํ์ต์ ์ฌ์ฉํ ์ด๋งค๊ฐ๋ณ์ ๊ฐ์ ์ง์ ํ ์ ์์ต๋๋ค. ํ์ํ ์ด๋งค๊ฐ๋ณ์ ๊ฐ์ ์ ํํ ์๊ณ ์์ผ๋ฉด ํด๋น ๊ฐ์ ๊ฒ์ํ์ง ์๊ณ ์ง์ ํ๊ณ ํ์ต ๋ฆฌ์์ค์ ์ ์ฅํ ์ ์์ต๋๋ค.
์ด ์ํฌํ๋ก์ ์ฌ์ฉ๋๋ ์๋น์ค ๊ณ์ ์ ๋ํ ์์ธํ ๋ด์ฉ์ ํ ์ด๋ธ ํ์ ์ํฌํ๋ก์ ์๋น์ค ๊ณ์ ์ ์ฐธ์กฐํ์ธ์.
์ํฌํ๋ก API
์ด ์ํฌํ๋ก์์๋ ๋ค์ API๋ฅผ ์ฌ์ฉํฉ๋๋ค.
- Vertex AI
- Dataflow
- Compute Engine
- Cloud Storage
HyperparameterTuningJob์ ์ฌ์ฉํ ๋ชจ๋ธ ํ์ต
๋ค์ ์ํ ์ฝ๋์์๋ HyperparameterTuningJob ํ์ดํ๋ผ์ธ์ ์คํํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ค๋๋ค.
pipeline_job = aiplatform.PipelineJob(
...
template_path=template_path,
parameter_values=parameter_values,
...
)
pipeline_job.run(service_account=SERVICE_ACCOUNT)
pipeline_job.run()
์ ์ ํ์ service_account
๋งค๊ฐ๋ณ์๋ฅผ ์ฌ์ฉํ๋ฉด Vertex AI Pipelines ์๋น์ค ๊ณ์ ์ ์ํ๋ ๊ณ์ ์ผ๋ก ์ค์ ํ ์ ์์ต๋๋ค.
ํ์ดํ๋ผ์ธ๊ณผ ๋งค๊ฐ๋ณ์ ๊ฐ์ ๋ค์ ํจ์๋ก ์ ์๋ฉ๋๋ค. ํ์ต ๋ฐ์ดํฐ๋ Cloud Storage์ CSV ํ์ผ์ด๊ฑฐ๋ BigQuery์ ํ ์ด๋ธ์ผ ์ ์์ต๋๋ค.
template_path, parameter_values = automl_tabular_utils.get_tabnet_hyperparameter_tuning_job_pipeline_and_parameters(...)
๋ค์์ get_tabnet_hyperparameter_tuning_job_pipeline_and_parameters
๋งค๊ฐ๋ณ์์ ํ์ ์งํฉ์
๋๋ค.
๋งค๊ฐ๋ณ์ ์ด๋ฆ | ์ ํ | ์ ์ |
---|---|---|
data_source_csv_filenames |
๋ฌธ์์ด | Cloud Storage์ ์ ์ฅ๋ CSV์ URI์ ๋๋ค. |
data_source_bigquery_table_path |
๋ฌธ์์ด | BigQuery ํ ์ด๋ธ์ URI์ ๋๋ค. |
dataflow_service_account |
๋ฌธ์์ด | (์ ํ์ฌํญ) Dataflow ์์ ์ ์คํํ๊ธฐ ์ํ ์ปค์คํ ์๋น์ค ๊ณ์ ์ ๋๋ค. ๋น๊ณต๊ฐ IP์ ํน์ VPC ์๋ธ๋ท์ ์ฌ์ฉํ๋๋ก Dataflow ์์ ์ ๋น๊ณต๊ฐ IP์ ํน์ VPC ์๋ธ๋ท์ ์ฌ์ฉํ๋๋ก ๊ตฌ์ฑํ ์ ์์ต๋๋ค. ์ด ๋งค๊ฐ๋ณ์๋ ๊ธฐ๋ณธ Dataflow ์์ ์ ์๋น์ค ๊ณ์ ์ ์ฌ์ ์ํ๋ ์ญํ ์ ํฉ๋๋ค. |
study_spec_parameters_override |
List[Dict[๋ฌธ์์ด, ๋ฌด๊ด]] | (์ ํ์ฌํญ) ์ด๋งค๊ฐ๋ณ์ ์กฐ์ ์ ์ฌ์ ์ํฉ๋๋ค. ์ด ๋งค๊ฐ๋ณ์๋ ๋น์ด ์๊ฑฐ๋ ๊ฐ๋ฅํ ์ด๋งค๊ฐ๋ณ์๋ฅผ ํ๋ ์ด์ ํฌํจํ ์ ์์ต๋๋ค. ์ด๋งค๊ฐ๋ณ์ ๊ฐ์ด ์ค์ ๋์ง ์์ ๊ฒฝ์ฐ Vertex AI๋ ์ด๋งค๊ฐ๋ณ์์ ๊ธฐ๋ณธ ์กฐ์ ๋ฒ์๋ฅผ ์ฌ์ฉํฉ๋๋ค. |
study_spec_parameters_override
๋งค๊ฐ๋ณ์๋ฅผ ์ฌ์ฉํ์ฌ ์ด๋งค๊ฐ๋ณ์๋ฅผ ๊ตฌ์ฑํ๋ ค๋ฉด Vertex AI์ ๋์ฐ๋ฏธ ํจ์ get_tabnet_study_spec_parameters_override
๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
์ด ํจ์์ ์
๋ ฅ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
dataset_size_bucket
: ๋ฐ์ดํฐ ์ธํธ ํฌ๊ธฐ์ ๋ฒํท- 'small': ํ 100๋ง๊ฐ ๋ฏธ๋ง
- 'medium': ํ 100๋ง~1์ต ๊ฐ
- 'large': ํ 1์ต๊ฐ ์ด๊ณผ
training_budget_bucket
: ํ์ต ์์ฐ์ ๋ฒํท- 'small': $600 ๋ฏธ๋ง
- 'medium': $600~$2,400
- 'large': $2,400 ์ด๊ณผ
prediction_type
: ์ํ๋ ์ถ๋ก ์ ํ
get_tabnet_study_spec_parameters_override
ํจ์๋ ์ด๋งค๊ฐ๋ณ์์ ๋ฒ์์ ๋ชฉ๋ก์ ๋ฐํํฉ๋๋ค.
๋ค์์ get_tabnet_study_spec_parameters_override
ํจ์๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ ์์์
๋๋ค.
study_spec_parameters_override = automl_tabular_utils.get_tabnet_study_spec_parameters_override(
dataset_size_bucket="small",
prediction_type="classification",
training_budget_bucket="small",
)
CustomJob์ ์ฌ์ฉํ ๋ชจ๋ธ ํ์ต
๋ค์ ์ํ ์ฝ๋์์๋ CustomJob ํ์ดํ๋ผ์ธ์ ์คํํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ค๋๋ค.
pipeline_job = aiplatform.PipelineJob(
...
template_path=template_path,
parameter_values=parameter_values,
...
)
pipeline_job.run(service_account=SERVICE_ACCOUNT)
pipeline_job.run()
์ ์ ํ์ service_account
๋งค๊ฐ๋ณ์๋ฅผ ์ฌ์ฉํ๋ฉด Vertex AI Pipelines ์๋น์ค ๊ณ์ ์ ์ํ๋ ๊ณ์ ์ผ๋ก ์ค์ ํ ์ ์์ต๋๋ค.
ํ์ดํ๋ผ์ธ๊ณผ ๋งค๊ฐ๋ณ์ ๊ฐ์ ๋ค์ ํจ์๋ก ์ ์๋ฉ๋๋ค. ํ์ต ๋ฐ์ดํฐ๋ Cloud Storage์ CSV ํ์ผ์ด๊ฑฐ๋ BigQuery์ ํ ์ด๋ธ์ผ ์ ์์ต๋๋ค.
template_path, parameter_values = automl_tabular_utils.get_tabnet_trainer_pipeline_and_parameters(...)
๋ค์์ get_tabnet_trainer_pipeline_and_parameters
๋งค๊ฐ๋ณ์์ ํ์ ์งํฉ์
๋๋ค.
๋งค๊ฐ๋ณ์ ์ด๋ฆ | ์ ํ | ์ ์ |
---|---|---|
data_source_csv_filenames |
๋ฌธ์์ด | Cloud Storage์ ์ ์ฅ๋ CSV์ URI์ ๋๋ค. |
data_source_bigquery_table_path |
๋ฌธ์์ด | BigQuery ํ ์ด๋ธ์ URI์ ๋๋ค. |
dataflow_service_account |
๋ฌธ์์ด | (์ ํ์ฌํญ) Dataflow ์์ ์ ์คํํ๊ธฐ ์ํ ์ปค์คํ ์๋น์ค ๊ณ์ ์ ๋๋ค. ๋น๊ณต๊ฐ IP์ ํน์ VPC ์๋ธ๋ท์ ์ฌ์ฉํ๋๋ก Dataflow ์์ ์ ๋น๊ณต๊ฐ IP์ ํน์ VPC ์๋ธ๋ท์ ์ฌ์ฉํ๋๋ก ๊ตฌ์ฑํ ์ ์์ต๋๋ค. ์ด ๋งค๊ฐ๋ณ์๋ ๊ธฐ๋ณธ Dataflow ์์ ์ ์๋น์ค ๊ณ์ ์ ์ฌ์ ์ํ๋ ์ญํ ์ ํฉ๋๋ค. |
๋ค์ ๋จ๊ณ
๋ถ๋ฅ ๋๋ ํ๊ท ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ถ๋ก ํ ์ค๋น๊ฐ ๋๋ฉด ๋ค์ ๋ ๊ฐ์ง ์ต์ ์ด ์์ต๋๋ค.
- ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์จ๋ผ์ธ(์ค์๊ฐ) ์ถ๋ก ์ํ
- ๋ชจ๋ธ์์ ์ง์ ์ผ๊ด ์ถ๋ก ๊ฐ์ ธ์ค๊ธฐ
- ๋ชจ๋ธ ํ์ต ๊ฐ๊ฒฉ ์ฑ ์ ์์๋ณด๊ธฐ