์ด ๋ฌธ์์์๋ Dataplex Universal Catalog ๋ ์ดํฌ์ ๋ํ ์ก์ธ์ค๋ฅผ ๋ณดํธํ๊ณ ๊ด๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช ํฉ๋๋ค.
Dataplex Universal Catalog ๋ณด์ ๋ชจ๋ธ์ ์ฌ์ฉํ๋ฉด ๋ค์ ํ์คํฌ์ ๋ํ ์ฌ์ฉ์ ๊ถํ์ ๊ด๋ฆฌํ ์ ์์ต๋๋ค.
- ๋ ์ดํฌ ๊ด๋ฆฌ(์ ์ , ์์ญ, ์ถ๊ฐ ๋ ์ดํฌ ๋ง๋ค๊ธฐ ๋ฐ ์ฐ๊ฒฐ)
- ๋งคํ ์ ์ ์ ํตํด ๋ ์ดํฌ์ ์ฐ๊ฒฐ๋ ๋ฐ์ดํฐ์ ์ก์ธ์ค(Cloud Storage ๋ฒํท ๋ฐ BigQuery ๋ฐ์ดํฐ ์ธํธ์ ๊ฐ์Google Cloud ๋ฆฌ์์ค)
- ๋ ์ดํฌ์ ์ฐ๊ฒฐ๋ ๋ฐ์ดํฐ์ ๊ดํ ๋ฉํ๋ฐ์ดํฐ์ ์ก์ธ์ค
๋ ์ดํฌ ๊ด๋ฆฌ์๋ ๊ธฐ๋ณธ ์ญํ ๊ณผ ์ฌ์ ์ ์๋ ์ญํ ์ ๋ถ์ฌํ์ฌ ๋ ์ดํฌ, ์์ญ, ์ ์ ๊ณผ ๊ฐ์ Dataplex Universal Catalog ๋ฆฌ์์ค์ ๋ํ ์ก์ธ์ค๋ฅผ ์ ์ดํฉ๋๋ค.
๊ธฐ๋ณธ ์ญํ
์ญํ | ์ค๋ช |
---|---|
Dataplex ๋ทฐ์ด ( roles/dataplex.viewer ) |
๋ ์ดํฌ์ ๊ตฌ์ฑ๋ ์์ญ ๋ฐ ์ ์ ์ ๋ณผ ์ ์์ผ๋ฉฐ ์์ ํ ์๋ ์์ต๋๋ค. |
Dataplex ํธ์ง์ ( roles/dataplex.editor ) |
๋ ์ดํฌ๋ฅผ ์์ ํ ์ ์์ต๋๋ค. ๋ ์ดํฌ, ์์ญ, ์ ์ , ํ์คํฌ๋ฅผ ๋ง๋ค๊ณ ๊ตฌ์ฑํ ์ ์์ต๋๋ค. |
Dataplex ๊ด๋ฆฌ์ ( roles/dataplex.administrator ) |
๋ ์ดํฌ๋ฅผ ์์ ํ ๊ด๋ฆฌํ ์ ์์ต๋๋ค. |
Dataplex ๊ฐ๋ฐ์ ( roles/dataplex.developer ) |
๋ ์ดํฌ์์ ๋ฐ์ดํฐ ๋ถ์ ์ํฌ๋ก๋๋ฅผ ์คํํ ์ ์์ต๋๋ค. * |
Spark ์์ ์ ์คํํ๋ ค๋ฉด Dataproc ํด๋ฌ์คํฐ๋ฅผ ๋ง๋ค๊ณ ์ปดํจํ ์ ๋ํด ๊ธฐ์ฌ ๋ถ์ํ ํ๋ก์ ํธ์์ Dataproc ์์ ์ ์ ์ถํฉ๋๋ค.
์ฌ์ ์ ์๋ ์ญํ
Google Cloud ๋ Dataplex Universal Catalog์ ๋ํ ์ธ๋ถํ๋ ์ก์ธ์ค ๊ถํ์ ์ ๊ณตํ๋ ์ฌ์ ์ ์๋ ์ญํ ์ ๊ด๋ฆฌํฉ๋๋ค.
๋ฉํ๋ฐ์ดํฐ ์ญํ
๋ฉํ๋ฐ์ดํฐ ์ญํ ์๋ ํ ์ด๋ธ ์คํค๋ง์ ๊ฐ์ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ๋ณผ ์ ์๋ ๊ธฐ๋ฅ์ด ์์ต๋๋ค.
์ญํ | ์ค๋ช |
---|---|
Dataplex ๋ฉํ๋ฐ์ดํฐ ์์ฑ์ ( roles/dataplex.metadataWriter ) |
ํน์ ๋ฆฌ์์ค์ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ ๋ฐ์ดํธํ ์ ์์ต๋๋ค. |
Dataplex ๋ฉํ๋ฐ์ดํฐ ๋ฆฌ๋ ( roles/dataplex.metadataReader ) |
๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ฝ์ ์ ์์ต๋๋ค(์: ํ ์ด๋ธ ์ฟผ๋ฆฌ). |
๋ฐ์ดํฐ ์ญํ
์ฃผ ๊ตฌ์ฑ์์๊ฒ ๋ฐ์ดํฐ ์ญํ ์ ๋ถ์ฌํ๋ฉด ๋ ์ดํฌ์ ์ ์ ์ด ๊ฐ๋ฆฌํค๋ ๊ธฐ๋ณธ ๋ฆฌ์์ค์์ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ฑฐ๋ ์ธ ์ ์์ต๋๋ค.
Dataplex Universal Catalog๋ Cloud Storage, BigQuery์ ๊ฐ์ ๊ฐ ๊ธฐ๋ณธ ์คํ ๋ฆฌ์ง ๋ฆฌ์์ค์ ๋ฐ์ดํฐ ์ญํ ์ ์ญํ ์ ๋งคํํฉ๋๋ค.
Dataplex Universal Catalog๋ Dataplex Universal Catalog ๋ฐ์ดํฐ ์ญํ ์ ๊ธฐ๋ณธ ์คํ ๋ฆฌ์ง ๋ฆฌ์์ค๋ก ๋ณํํ๊ณ ์ ํํ์ฌ ๊ฐ ์คํ ๋ฆฌ์ง ๋ฆฌ์์ค์ ์ฌ๋ฐ๋ฅธ ์ญํ ์ ์ค์ ํฉ๋๋ค. ๋ ์ดํฌ ๊ณ์ธต ๊ตฌ์กฐ(์: ๋ ์ดํฌ)์์ ๋จ์ผ Dataplex Universal Catalog ๋ฐ์ดํฐ ์ญํ ์ ๋ถ์ฌํ ์ ์๊ณ Dataplex Universal Catalog๋ ํด๋น ๋ ์ดํฌ์ ์ฐ๊ฒฐ๋ ๋ชจ๋ ๋ฆฌ์์ค์ ๋ฐ์ดํฐ์ ๋ํ ์ง์ ๋ ์ก์ธ์ค ๊ถํ์ ์ ์งํ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด Cloud Storage ๋ฒํท๊ณผ BigQuery ๋ฐ์ดํฐ ์ธํธ๋ ๊ธฐ๋ณธ ์์ญ์ ์๋ ์ ์ ์์ ์ฐธ์กฐ๋ฉ๋๋ค.
์๋ฅผ ๋ค์ด ์ฃผ ๊ตฌ์ฑ์์๊ฒ ๋ ์ดํฌ์ ๋ํ dataplex.dataWriter
์ญํ ์ ๋ถ์ฌํ๋ฉด ๋ ์ดํฌ ๋ด์ ๋ชจ๋ ๋ฐ์ดํฐ, ๊ธฐ๋ณธ ์์ญ, ์ ์
์ ๋ํ ์ฐ๊ธฐ ์ก์ธ์ค ๊ถํ์ ์ฃผ ๊ตฌ์ฑ์์๊ฒ ์ ๊ณตํ๊ฒ ๋ฉ๋๋ค. ํ์ ์์ค(์์ญ)์์ ๋ถ์ฌ๋ ๋ฐ์ดํฐ ์ก์ธ์ค ์ญํ ์ ๋ ์ดํฌ ๊ณ์ธต ๊ตฌ์กฐ์์ ๊ธฐ๋ณธ ์ ์
์ ์์๋ฉ๋๋ค.
์ญํ | ์ค๋ช |
---|---|
Dataplex ๋ฐ์ดํฐ ๋ฆฌ๋ ( roles/dataplex.dataReader ) |
์คํ ๋ฆฌ์ง ๋ฒํท ๋ฐ BigQuery ๋ฐ์ดํฐ ์ธํธ(๋ฐ ํด๋น ์ฝํ ์ธ )๋ฅผ ํฌํจํ์ฌ ์ ์ ์ ์ฐ๊ฒฐ๋ ์คํ ๋ฆฌ์ง์์ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ ์ ์์ต๋๋ค. * |
Dataplex ๋ฐ์ดํฐ ์์ฑ์ ( roles/dataplex.dataWriter ) |
์ ์ ์ด ๊ฐ๋ฆฌํค๋ ๊ธฐ๋ณธ ๋ฆฌ์์ค์ ์ธ ์ ์์ต๋๋ค. * |
Dataplex ๋ฐ์ดํฐ ์์ ์ ( roles/dataplex.dataOwner ) |
ํ์ ๋ฆฌ์์ค๋ฅผ ๊ด๋ฆฌํ ์ ์๋ ๊ถํ ๋ฑ ๊ธฐ๋ณธ ๋ฆฌ์์ค์ ๋ํ ์์ ์ ์ญํ ์ ๋ถ์ฌํฉ๋๋ค. ์๋ฅผ ๋ค์ด BigQuery ๋ฐ์ดํฐ ์ธํธ์ ๋ฐ์ดํฐ ์์ ์๋ ๊ธฐ๋ณธ ํ ์ด๋ธ์ ๊ด๋ฆฌํ ์ ์์ต๋๋ค. |
๋ ์ดํฌ ๋ณดํธ
๋ ์ดํฌ ๋ฐ ๋ ์ดํฌ์ ์ฐ๊ฒฐ๋ ๋ฐ์ดํฐ์ ๋ํ ์ก์ธ์ค๋ฅผ ๋ณดํธํ๊ณ ๊ด๋ฆฌํ ์ ์์ต๋๋ค. Google Cloud ์ฝ์์์ ๋ค์ ๋ทฐ ์ค ํ๋๋ฅผ ์ฌ์ฉํฉ๋๋ค.
- ๊ถํ ํญ์ Dataplex Universal Catalog ๊ด๋ฆฌ ๋ทฐ
- Dataplex Universal Catalog ๋ณด์ ๋ทฐ
๊ด๋ฆฌ ๋ทฐ ์ฌ์ฉ
๊ถํ ํญ์ ์ฌ์ฉํ๋ฉด ๋ ์ดํฌ ๋ฆฌ์์ค์ ๋ชจ๋ ๊ถํ์ ๊ด๋ฆฌํ๊ณ ์์๋ ๊ถํ์ ํฌํจํ ๋ชจ๋ ๊ถํ์ ํํฐ๋ง๋์ง ์์ ๋ทฐ๋ก ๋ณผ ์ ์์ต๋๋ค.
๋ ์ดํฌ๋ฅผ ๋ณดํธํ๋ ค๋ฉด ๋ค์ ๋จ๊ณ๋ฅผ ๋ฐ๋ฅด์ธ์.
Google Cloud ์ฝ์์์ Dataplex Universal Catalog๋ก ์ด๋ํฉ๋๋ค.
๊ด๋ฆฌ ๋ทฐ๋ก ์ด๋ํฉ๋๋ค.
๋ง๋ ๋ ์ดํฌ์ ์ด๋ฆ์ ํด๋ฆญํฉ๋๋ค.
๊ถํ ํญ์ ํด๋ฆญํฉ๋๋ค.
์ญํ ๋ณ ๋ทฐ ํญ์ ํด๋ฆญํฉ๋๋ค.
์ถ๊ฐ๋ฅผ ํด๋ฆญํ์ฌ ์๋ก์ด ์ญํ ์ ์ถ๊ฐํฉ๋๋ค. Dataplex ๋ฐ์ดํฐ ๋ฆฌ๋, ๋ฐ์ดํฐ ์์ฑ์, ๋ฐ์ดํฐ ์์ ์ ์ญํ ์ ์ถ๊ฐํฉ๋๋ค.
Dataplex ๋ฐ์ดํฐ ๋ฆฌ๋, ๋ฐ์ดํฐ ์์ฑ์, ๋ฐ์ดํฐ ์์ ์ ์ญํ ์ด ํ์๋๋์ง ํ์ธํฉ๋๋ค.
๋ณด์ ๋ทฐ ์ฌ์ฉ
Google Cloud ์ฝ์์ Dataplex Universal Catalog ๋ณด์ ๋ทฐ๋ ๋ค์์ ์ ๊ณตํฉ๋๋ค.
- ํน์ ๋ฆฌ์์ค ์ค์ฌ์ Dataplex Universal Catalog ์ญํ ๋ง ํํฐ๋งํ ์ ์๋ ๋ทฐ
- ๋ฐ์ดํฐ ์ญํ ๊ณผ ๋ ์ดํฌ ๋ฆฌ์์ค ์ญํ ๋ถ๋ฆฌ


- ํ๋ก์ ํธ์์ Dataplex ๊ด๋ฆฌ์ ์ญํ ์ ์์ํ๋ ์๋น์ค ๊ณ์ .
- ํ๋ก์ ํธ์์ Dataplex ํธ์ง์ ๋ฐ ๋ทฐ์ด ์ญํ ์ ์์ํ๋ ์ฃผ ๊ตฌ์ฑ์(์ด๋ฉ์ผ ์ฃผ์) ๋ค์์ ๋ชจ๋ ๋ฆฌ์์ค์ ์ ์ฉ๋๋ ์ญํ ์ ๋๋ค.
- ํ๋ก์ ํธ์์ Dataplex ๊ด๋ฆฌ์ ์ญํ ์ ์์ํ๋ ์ฃผ ๊ตฌ์ฑ์(์ด๋ฉ์ผ ์ฃผ์)์ ๋๋ค.
์ ์ฑ ๊ด๋ฆฌ
๋ณด์ ์ ์ฑ ์ ์ง์ ํ๋ฉด Dataplex Universal Catalog๋ ๊ด๋ฆฌํ ๋ฆฌ์์ค์ IAM ์ ์ฑ ์ ๊ถํ์ ์ ํํฉ๋๋ค.
๋ ์ดํฌ ์์ค์์ ๊ตฌ์ฑ๋ ๋ณด์ ์ ์ฑ ์ ํด๋น ๋ ์ดํฌ ๋ด์์ ๊ด๋ฆฌ๋๋ ๋ชจ๋ ๋ฆฌ์์ค์ ์ ํ๋ฉ๋๋ค. Dataplex Universal Catalog๋ Dataplex Universal Catalog์ ๊ด๋ฆฌ > ๊ถํ ํญ์์ ์ด๋ฌํ ๋๊ท๋ชจ ์ ํ์ ์ ํ ์ํ์ ๊ฐ์์ฑ์ ์ ๊ณตํฉ๋๋ค. Dataplex Universal Catalog ์ธ๋ถ์ IAM ์ ์ฑ ๋ณ๊ฒฝ์ฌํญ์ด ์๋์ง ๊ด๋ฆฌํ ๋ฆฌ์์ค๋ฅผ ์ง์์ ์ผ๋ก ๋ชจ๋ํฐ๋งํฉ๋๋ค.
๋ฆฌ์์ค์ ๋ํ ๊ถํ์ด ์ด๋ฏธ ์๋ ์ฌ์ฉ์๋ ๋ฆฌ์์ค๊ฐ Dataplex Universal Catalog ๋ ์ดํฌ์ ์ฐ๊ฒฐ๋ ํ์๋ ๊ถํ์ ๊ณ์ ๋ณด์ ํฉ๋๋ค. ๋ง์ฐฌ๊ฐ์ง๋ก Dataplex Universal Catalog์ ๋ฆฌ์์ค๋ฅผ ์ฐ๊ฒฐํ ํ ์์ฑ๋๊ฑฐ๋ ์ ๋ฐ์ดํธ๋ Dataplex Universal Catalog ์ด์ธ์ ์ญํ ๋ฐ์ธ๋ฉ๋ ๋์ผํ๊ฒ ์ ์ง๋ฉ๋๋ค.
์ด ์์ค, ํ ์์ค, ํ ์ด๋ธ ์์ค ์ ์ฑ ์ค์
Cloud Storage ๋ฒํท ์ ์ ์๋ BigQuery ์ธ๋ถ ํ ์ด๋ธ์ด ์ฐ๊ฒฐ๋์ด ์์ต๋๋ค.
Cloud Storage ๋ฒํท ์ ์ ์ ์ ๊ทธ๋ ์ด๋ํ ์ ์์ต๋๋ค. ์ฆ, Dataplex Universal Catalog์์ ์ฐ๊ฒฐ๋ ์ธ๋ถ ํ ์ด๋ธ์ ์ญ์ ํ๊ณ ๋์ BigLake ํ ์ด๋ธ์ ์ฐ๊ฒฐํฉ๋๋ค.
์ธ๋ถ ํ ์ด๋ธ ๋์ BigLake ํ ์ด๋ธ์ ์ฌ์ฉํ์ฌ ํ ์์ค ์ ์ด, ์ด ์์ค ์ ์ด, ์ด ๋ฐ์ดํฐ ๋ง์คํน์ ํฌํจํ ์ธ๋ถํ๋ ์ก์ธ์ค ์ ์ด๋ฅผ ํ ์ ์์ต๋๋ค.
๋ฉํ๋ฐ์ดํฐ ๋ณด์
๋ฉํ๋ฐ์ดํฐ๋ ์ฃผ๋ก ๋ ์ดํฌ์์ ๊ด๋ฆฌํ๋ ๋ฆฌ์์ค์ ์๋ ์ฌ์ฉ์ ๋ฐ์ดํฐ์ ์ฐ๊ฒฐ๋ ์คํค๋ง ์ ๋ณด๋ฅผ ๋ํ๋ ๋๋ค.
Dataplex Universal Catalog ๊ฒ์์ ๊ด๋ฆฌํ ๋ฆฌ์์ค์ ๋ฐ์ดํฐ๋ฅผ ๊ฒ์ฌํ๊ณ ํ ํ์์ ์คํค๋ง ์ ๋ณด๋ฅผ ์ถ์ถํฉ๋๋ค. ์ด๋ฌํ ํ ์ด๋ธ์ BigQuery, Dataproc Metastore, Data Catalog(์ง์ ์ค๋จ๋จ) ์์คํ ์ ๊ฒ์๋ฉ๋๋ค.
BigQuery
๋ฐ๊ฒฌ๋ ๊ฐ ํ ์ด๋ธ์๋ BigQuery์ ๋ฑ๋ก๋ ์ฐ๊ฒฐ๋ ํ ์ด๋ธ์ด ์์ต๋๋ค. ๊ฐ ์์ญ์๋ ์ฐ๊ฒฐ๋ BigQuery ๋ฐ์ดํฐ ์ธํธ๊ฐ ์์ผ๋ฉฐ, ์ด ๋ฐ์ดํฐ ์ธํธ์์ ๊ฒ์๋ ํ ์ด๋ธ๊ณผ ์ฐ๊ฒฐ๋ ๋ชจ๋ ์ธ๋ถ ํ ์ด๋ธ์ด ๋ฑ๋ก๋ฉ๋๋ค.
๋ฐ๊ฒฌ๋ Cloud Storage ํธ์คํ ํ ์ด๋ธ์ ์์ญ์ฉ์ผ๋ก ์์ฑ๋ ๋ฐ์ดํฐ ์ธํธ ์๋์ ๋ฑ๋ก๋ฉ๋๋ค.
Dataproc Metastore
๋ฐ์ดํฐ๋ฒ ์ด์ค์ ํ ์ด๋ธ์ Dataplex Universal Catalog ๋ ์ดํฌ ์ธ์คํด์ค์ ์ฐ๊ฒฐ๋ Dataproc Metastore์์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๊ฐ ๋ฐ์ดํฐ ์์ญ์๋ ์ฐ๊ฒฐ๋ ๋ฐ์ดํฐ๋ฒ ์ด์ค๊ฐ ์์ผ๋ฉฐ ๊ฐ ์ ์ ์๋ ์ฐ๊ฒฐ๋ ํ ์ด๋ธ์ด ํ๋ ์ด์ ์์ ์ ์์ต๋๋ค.
Dataproc Metastore ์๋น์ค์ ๋ฐ์ดํฐ๋ VPC-SC ๋คํธ์ํฌ๋ฅผ ๊ตฌ์ฑํ์ฌ ๋ณดํธ๋ฉ๋๋ค. Dataproc Metastore ์ธ์คํด์ค๋ ๋ ์ดํฌ๋ฅผ ๋ง๋๋ ๋์ Dataplex Universal Catalog์ ์ ๊ณต๋๋ฏ๋ก ์ด๋ฏธ ์ฌ์ฉ์ ๊ด๋ฆฌํ ๋ฆฌ์์ค์ ๋๋ค.
Data Catalog
๋ฐ๊ฒฌ๋ ๊ฐ ํ ์ด๋ธ์๋ ๊ฒ์ ๋ฐ ํ์์ ์ฌ์ฉ ์ค์ ํ๊ธฐ ์ํด Data Catalog(์ง์ ์ค๋จ๋จ)์ ์ฐ๊ฒฐ๋ ํญ๋ชฉ์ด ์์ต๋๋ค.
Data Catalog๋ ํญ๋ชฉ ์์ฑ ์ค์ IAM ์ ์ฑ
์ด๋ฆ์ด ํ์ํฉ๋๋ค. ๋ฐ๋ผ์ Dataplex Universal Catalog๋ ํญ๋ชฉ์ด ์ฐ๊ฒฐ๋์ด์ผ ํ๋ Dataplex Universal Catalog ์ ์
๋ฆฌ์์ค์ IAM ์ ์ฑ
์ด๋ฆ์ ์ ๊ณตํฉ๋๋ค. ๋ฐ๋ผ์ Dataplex Universal Catalog ํญ๋ชฉ์ ๊ถํ์ ์ ์
๋ฆฌ์์ค์ ๊ถํ์ ๋ฐ๋ผ ๊ฒฐ์ ๋ฉ๋๋ค.
์ ์
๋ฆฌ์์ค์ Dataplex ๋ฉํ๋ฐ์ดํฐ ๋ฆฌ๋ ์ญํ (roles/dataplex.metadataReader
) ๋ฐ Dataplex ๋ฉํ๋ฐ์ดํฐ ์์ฑ์ ์ญํ (roles/dataplex.metadataWriter
)์ ๋ถ์ฌํฉ๋๋ค.
๋ค์ ๋จ๊ณ
- Dataplex Universal Catalog IAM ์์ธํ ์์๋ณด๊ธฐ
- Dataplex Universal Catalog IAM ์ญํ ์์ธํ ์์๋ณด๊ธฐ
- Dataplex Universal Catalog IAM ๊ถํ ์์ธํ ์์๋ณด๊ธฐ