๋ ˆ์ดํฌ ๋ณดํ˜ธ

์ด ๋ฌธ์„œ์—์„œ๋Š” Dataplex Universal Catalog ๋ ˆ์ดํฌ์— ๋Œ€ํ•œ ์•ก์„ธ์Šค๋ฅผ ๋ณดํ˜ธํ•˜๊ณ  ๊ด€๋ฆฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

Dataplex Universal Catalog ๋ณด์•ˆ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜๋ฉด ๋‹ค์Œ ํƒœ์Šคํฌ์— ๋Œ€ํ•œ ์‚ฌ์šฉ์ž ๊ถŒํ•œ์„ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ ˆ์ดํฌ ๊ด€๋ฆฌ(์• ์…‹, ์˜์—ญ, ์ถ”๊ฐ€ ๋ ˆ์ดํฌ ๋งŒ๋“ค๊ธฐ ๋ฐ ์—ฐ๊ฒฐ)
  • ๋งคํ•‘ ์• ์…‹์„ ํ†ตํ•ด ๋ ˆ์ดํฌ์— ์—ฐ๊ฒฐ๋œ ๋ฐ์ดํ„ฐ์— ์•ก์„ธ์Šค(Cloud Storage ๋ฒ„ํ‚ท ๋ฐ BigQuery ๋ฐ์ดํ„ฐ ์„ธํŠธ์™€ ๊ฐ™์€Google Cloud ๋ฆฌ์†Œ์Šค)
  • ๋ ˆ์ดํฌ์— ์—ฐ๊ฒฐ๋œ ๋ฐ์ดํ„ฐ์— ๊ด€ํ•œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ์— ์•ก์„ธ์Šค

๋ ˆ์ดํฌ ๊ด€๋ฆฌ์ž๋Š” ๊ธฐ๋ณธ ์—ญํ• ๊ณผ ์‚ฌ์ „ ์ •์˜๋œ ์—ญํ• ์„ ๋ถ€์—ฌํ•˜์—ฌ ๋ ˆ์ดํฌ, ์˜์—ญ, ์• ์…‹๊ณผ ๊ฐ™์€ Dataplex Universal Catalog ๋ฆฌ์†Œ์Šค์— ๋Œ€ํ•œ ์•ก์„ธ์Šค๋ฅผ ์ œ์–ดํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ๋ณธ ์—ญํ• 

์—ญํ•  ์„ค๋ช…
Dataplex ๋ทฐ์–ด
(roles/dataplex.viewer)
๋ ˆ์ดํฌ์™€ ๊ตฌ์„ฑ๋œ ์˜์—ญ ๋ฐ ์• ์…‹์„ ๋ณผ ์ˆ˜ ์žˆ์œผ๋ฉฐ ์ˆ˜์ •ํ•  ์ˆ˜๋Š” ์—†์Šต๋‹ˆ๋‹ค.
Dataplex ํŽธ์ง‘์ž
(roles/dataplex.editor)
๋ ˆ์ดํฌ๋ฅผ ์ˆ˜์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ ˆ์ดํฌ, ์˜์—ญ, ์• ์…‹, ํƒœ์Šคํฌ๋ฅผ ๋งŒ๋“ค๊ณ  ๊ตฌ์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
Dataplex ๊ด€๋ฆฌ์ž
(roles/dataplex.administrator)
๋ ˆ์ดํฌ๋ฅผ ์™„์ „ํžˆ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
Dataplex ๊ฐœ๋ฐœ์ž
(roles/dataplex.developer)
๋ ˆ์ดํฌ์—์„œ ๋ฐ์ดํ„ฐ ๋ถ„์„ ์›Œํฌ๋กœ๋“œ๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. *
* BigQuery ํ…Œ์ด๋ธ”์„ ์ฟผ๋ฆฌํ•˜๋ ค๋ฉด BigQuery ์ž‘์—…์„ ์‹คํ–‰ํ•  ๊ถŒํ•œ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์ž‘์—…์˜ ์ปดํ“จํŒ… ๋น„์šฉ์— ๋Œ€ํ•œ ๊ธฐ์—ฌ๋„๋ฅผ ๋ถ€์—ฌํ•˜๊ฑฐ๋‚˜ ๋น„์šฉ์„ ์ฒญ๊ตฌํ•˜๋ ค๋Š” ํ”„๋กœ์ ํŠธ์—์„œ ์ด ๊ถŒํ•œ์„ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ BigQuery ์‚ฌ์ „ ์ •์˜๋œ ์—ญํ•  ๋ฐ ๊ถŒํ•œ์„ ์ฐธ์กฐํ•˜์„ธ์š”.
Spark ์ž‘์—…์„ ์‹คํ–‰ํ•˜๋ ค๋ฉด Dataproc ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋งŒ๋“ค๊ณ  ์ปดํ“จํŒ…์— ๋Œ€ํ•ด ๊ธฐ์—ฌ ๋ถ„์„ํ•  ํ”„๋กœ์ ํŠธ์—์„œ Dataproc ์ž‘์—…์„ ์ œ์ถœํ•ฉ๋‹ˆ๋‹ค.

์‚ฌ์ „ ์ •์˜๋œ ์—ญํ• 

Google Cloud ๋Š” Dataplex Universal Catalog์— ๋Œ€ํ•œ ์„ธ๋ถ„ํ™”๋œ ์•ก์„ธ์Šค ๊ถŒํ•œ์„ ์ œ๊ณตํ•˜๋Š” ์‚ฌ์ „ ์ •์˜๋œ ์—ญํ• ์„ ๊ด€๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์—ญํ• 

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์—ญํ• ์—๋Š” ํ…Œ์ด๋ธ” ์Šคํ‚ค๋งˆ์™€ ๊ฐ™์€ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ๋ณผ ์ˆ˜ ์žˆ๋Š” ๊ธฐ๋Šฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค.

์—ญํ•  ์„ค๋ช…
Dataplex ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์ž‘์„ฑ์ž
(roles/dataplex.metadataWriter)
ํŠน์ • ๋ฆฌ์†Œ์Šค์˜ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ์—…๋ฐ์ดํŠธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
Dataplex ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ๋ฆฌ๋”
(roles/dataplex.metadataReader)
๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(์˜ˆ: ํ…Œ์ด๋ธ” ์ฟผ๋ฆฌ).

๋ฐ์ดํ„ฐ ์—ญํ• 

์ฃผ ๊ตฌ์„ฑ์›์—๊ฒŒ ๋ฐ์ดํ„ฐ ์—ญํ• ์„ ๋ถ€์—ฌํ•˜๋ฉด ๋ ˆ์ดํฌ์˜ ์• ์…‹์ด ๊ฐ€๋ฆฌํ‚ค๋Š” ๊ธฐ๋ณธ ๋ฆฌ์†Œ์Šค์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ๊ฑฐ๋‚˜ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Dataplex Universal Catalog๋Š” Cloud Storage, BigQuery์™€ ๊ฐ™์€ ๊ฐ ๊ธฐ๋ณธ ์Šคํ† ๋ฆฌ์ง€ ๋ฆฌ์†Œ์Šค์˜ ๋ฐ์ดํ„ฐ ์—ญํ• ์— ์—ญํ• ์„ ๋งคํ•‘ํ•ฉ๋‹ˆ๋‹ค.

Dataplex Universal Catalog๋Š” Dataplex Universal Catalog ๋ฐ์ดํ„ฐ ์—ญํ• ์„ ๊ธฐ๋ณธ ์Šคํ† ๋ฆฌ์ง€ ๋ฆฌ์†Œ์Šค๋กœ ๋ณ€ํ™˜ํ•˜๊ณ  ์ „ํŒŒํ•˜์—ฌ ๊ฐ ์Šคํ† ๋ฆฌ์ง€ ๋ฆฌ์†Œ์Šค์— ์˜ฌ๋ฐ”๋ฅธ ์—ญํ• ์„ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค. ๋ ˆ์ดํฌ ๊ณ„์ธต ๊ตฌ์กฐ(์˜ˆ: ๋ ˆ์ดํฌ)์—์„œ ๋‹จ์ผ Dataplex Universal Catalog ๋ฐ์ดํ„ฐ ์—ญํ• ์„ ๋ถ€์—ฌํ•  ์ˆ˜ ์žˆ๊ณ  Dataplex Universal Catalog๋Š” ํ•ด๋‹น ๋ ˆ์ดํฌ์— ์—ฐ๊ฒฐ๋œ ๋ชจ๋“  ๋ฆฌ์†Œ์Šค์˜ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์ง€์ •๋œ ์•ก์„ธ์Šค ๊ถŒํ•œ์„ ์œ ์ง€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด Cloud Storage ๋ฒ„ํ‚ท๊ณผ BigQuery ๋ฐ์ดํ„ฐ ์„ธํŠธ๋Š” ๊ธฐ๋ณธ ์˜์—ญ์— ์žˆ๋Š” ์• ์…‹์—์„œ ์ฐธ์กฐ๋ฉ๋‹ˆ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด ์ฃผ ๊ตฌ์„ฑ์›์—๊ฒŒ ๋ ˆ์ดํฌ์— ๋Œ€ํ•œ dataplex.dataWriter ์—ญํ• ์„ ๋ถ€์—ฌํ•˜๋ฉด ๋ ˆ์ดํฌ ๋‚ด์˜ ๋ชจ๋“  ๋ฐ์ดํ„ฐ, ๊ธฐ๋ณธ ์˜์—ญ, ์• ์…‹์— ๋Œ€ํ•œ ์“ฐ๊ธฐ ์•ก์„ธ์Šค ๊ถŒํ•œ์„ ์ฃผ ๊ตฌ์„ฑ์›์—๊ฒŒ ์ œ๊ณตํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ํ•˜์œ„ ์ˆ˜์ค€(์˜์—ญ)์—์„œ ๋ถ€์—ฌ๋œ ๋ฐ์ดํ„ฐ ์•ก์„ธ์Šค ์—ญํ• ์€ ๋ ˆ์ดํฌ ๊ณ„์ธต ๊ตฌ์กฐ์—์„œ ๊ธฐ๋ณธ ์• ์…‹์— ์ƒ์†๋ฉ๋‹ˆ๋‹ค.

์—ญํ•  ์„ค๋ช…
Dataplex ๋ฐ์ดํ„ฐ ๋ฆฌ๋”
(roles/dataplex.dataReader)
์Šคํ† ๋ฆฌ์ง€ ๋ฒ„ํ‚ท ๋ฐ BigQuery ๋ฐ์ดํ„ฐ ์„ธํŠธ(๋ฐ ํ•ด๋‹น ์ฝ˜ํ…์ธ )๋ฅผ ํฌํ•จํ•˜์—ฌ ์• ์…‹์— ์—ฐ๊ฒฐ๋œ ์Šคํ† ๋ฆฌ์ง€์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. *
Dataplex ๋ฐ์ดํ„ฐ ์ž‘์„ฑ์ž
(roles/dataplex.dataWriter)
์• ์…‹์ด ๊ฐ€๋ฆฌํ‚ค๋Š” ๊ธฐ๋ณธ ๋ฆฌ์†Œ์Šค์— ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. *
Dataplex ๋ฐ์ดํ„ฐ ์†Œ์œ ์ž
(roles/dataplex.dataOwner)
ํ•˜์œ„ ๋ฆฌ์†Œ์Šค๋ฅผ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ๊ถŒํ•œ ๋“ฑ ๊ธฐ๋ณธ ๋ฆฌ์†Œ์Šค์— ๋Œ€ํ•œ ์†Œ์œ ์ž ์—ญํ• ์„ ๋ถ€์—ฌํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด BigQuery ๋ฐ์ดํ„ฐ ์„ธํŠธ์˜ ๋ฐ์ดํ„ฐ ์†Œ์œ ์ž๋Š” ๊ธฐ๋ณธ ํ…Œ์ด๋ธ”์„ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ ˆ์ดํฌ ๋ณดํ˜ธ

๋ ˆ์ดํฌ ๋ฐ ๋ ˆ์ดํฌ์— ์—ฐ๊ฒฐ๋œ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์•ก์„ธ์Šค๋ฅผ ๋ณดํ˜ธํ•˜๊ณ  ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Google Cloud ์ฝ˜์†”์—์„œ ๋‹ค์Œ ๋ทฐ ์ค‘ ํ•˜๋‚˜๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

  • ๊ถŒํ•œ ํƒญ์˜ Dataplex Universal Catalog ๊ด€๋ฆฌ ๋ทฐ
  • Dataplex Universal Catalog ๋ณด์•ˆ ๋ทฐ

๊ด€๋ฆฌ ๋ทฐ ์‚ฌ์šฉ

๊ถŒํ•œ ํƒญ์„ ์‚ฌ์šฉํ•˜๋ฉด ๋ ˆ์ดํฌ ๋ฆฌ์†Œ์Šค์˜ ๋ชจ๋“  ๊ถŒํ•œ์„ ๊ด€๋ฆฌํ•˜๊ณ  ์ƒ์†๋œ ๊ถŒํ•œ์„ ํฌํ•จํ•œ ๋ชจ๋“  ๊ถŒํ•œ์„ ํ•„ํ„ฐ๋ง๋˜์ง€ ์•Š์€ ๋ทฐ๋กœ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ ˆ์ดํฌ๋ฅผ ๋ณดํ˜ธํ•˜๋ ค๋ฉด ๋‹ค์Œ ๋‹จ๊ณ„๋ฅผ ๋”ฐ๋ฅด์„ธ์š”.

  1. Google Cloud ์ฝ˜์†”์—์„œ Dataplex Universal Catalog๋กœ ์ด๋™ํ•ฉ๋‹ˆ๋‹ค.

    Dataplex Universal Catalog๋กœ ์ด๋™

  2. ๊ด€๋ฆฌ ๋ทฐ๋กœ ์ด๋™ํ•ฉ๋‹ˆ๋‹ค.

  3. ๋งŒ๋“  ๋ ˆ์ดํฌ์˜ ์ด๋ฆ„์„ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

  4. ๊ถŒํ•œ ํƒญ์„ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

  5. ์—ญํ• ๋ณ„ ๋ทฐ ํƒญ์„ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

  6. ์ถ”๊ฐ€๋ฅผ ํด๋ฆญํ•˜์—ฌ ์ƒˆ๋กœ์šด ์—ญํ• ์„ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. Dataplex ๋ฐ์ดํ„ฐ ๋ฆฌ๋”, ๋ฐ์ดํ„ฐ ์ž‘์„ฑ์ž, ๋ฐ์ดํ„ฐ ์†Œ์œ ์ž ์—ญํ• ์„ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

  7. Dataplex ๋ฐ์ดํ„ฐ ๋ฆฌ๋”, ๋ฐ์ดํ„ฐ ์ž‘์„ฑ์ž, ๋ฐ์ดํ„ฐ ์†Œ์œ ์ž ์—ญํ• ์ด ํ‘œ์‹œ๋˜๋Š”์ง€ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

๋ณด์•ˆ ๋ทฐ ์‚ฌ์šฉ

Google Cloud ์ฝ˜์†”์˜ Dataplex Universal Catalog ๋ณด์•ˆ ๋ทฐ๋Š” ๋‹ค์Œ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

  • ํŠน์ • ๋ฆฌ์†Œ์Šค ์ค‘์‹ฌ์˜ Dataplex Universal Catalog ์—ญํ• ๋งŒ ํ•„ํ„ฐ๋งํ•  ์ˆ˜ ์žˆ๋Š” ๋ทฐ
  • ๋ฐ์ดํ„ฐ ์—ญํ• ๊ณผ ๋ ˆ์ดํฌ ๋ฆฌ์†Œ์Šค ์—ญํ•  ๋ถ„๋ฆฌ
์ƒ์œ„ ๋ ˆ์ดํฌ ๋ฆฌ์†Œ์Šค์—์„œ ์ƒ์†๋˜์ง€ ์•Š๋Š” ๋ฐ์ดํ„ฐ ๊ถŒํ•œ์˜ ์˜ˆ์‹œ
๊ทธ๋ฆผ 1: ๋ ˆ์ดํฌ์˜ ์ด ์˜ˆ์‹œ์—๋Š” ๋‘ ์ฃผ ๊ตฌ์„ฑ์› ๋ชจ๋‘์— . Cloud Storage ๋ฐ์ดํ„ฐ(GCS ๋ฐ์ดํ„ฐ)๋ผ๋Š” ์• ์…‹์— ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ ๊ถŒํ•œ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ถŒํ•œ์€ ์ƒ์œ„ ๋ ˆ์ดํฌ ๋ฆฌ์†Œ์Šค์—์„œ ์ƒ์†๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.


์ƒ์œ„ ๋ ˆ์ดํฌ ๋ฆฌ์†Œ์Šค์—์„œ ์ƒ์†๋˜์ง€ ์•Š๋Š” ๊ถŒํ•œ์˜ ์˜ˆ์‹œ
๊ทธ๋ฆผ 2: ์ด ์˜ˆ์—์„œ๋Š” ๋‹ค์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
  1. ํ”„๋กœ์ ํŠธ์—์„œ Dataplex ๊ด€๋ฆฌ์ž ์—ญํ• ์„ ์ƒ์†ํ•˜๋Š” ์„œ๋น„์Šค ๊ณ„์ •.
  2. ํ”„๋กœ์ ํŠธ์—์„œ Dataplex ํŽธ์ง‘์ž ๋ฐ ๋ทฐ์–ด ์—ญํ• ์„ ์ƒ์†ํ•˜๋Š” ์ฃผ ๊ตฌ์„ฑ์›(์ด๋ฉ”์ผ ์ฃผ์†Œ) ๋‹ค์Œ์€ ๋ชจ๋“  ๋ฆฌ์†Œ์Šค์— ์ ์šฉ๋˜๋Š” ์—ญํ• ์ž…๋‹ˆ๋‹ค.
  3. ํ”„๋กœ์ ํŠธ์—์„œ Dataplex ๊ด€๋ฆฌ์ž ์—ญํ• ์„ ์ƒ์†ํ•˜๋Š” ์ฃผ ๊ตฌ์„ฑ์›(์ด๋ฉ”์ผ ์ฃผ์†Œ)์ž…๋‹ˆ๋‹ค.

์ •์ฑ… ๊ด€๋ฆฌ

๋ณด์•ˆ ์ •์ฑ…์„ ์ง€์ •ํ•˜๋ฉด Dataplex Universal Catalog๋Š” ๊ด€๋ฆฌํ˜• ๋ฆฌ์†Œ์Šค์˜ IAM ์ •์ฑ…์— ๊ถŒํ•œ์„ ์ „ํŒŒํ•ฉ๋‹ˆ๋‹ค.

๋ ˆ์ดํฌ ์ˆ˜์ค€์—์„œ ๊ตฌ์„ฑ๋œ ๋ณด์•ˆ ์ •์ฑ…์€ ํ•ด๋‹น ๋ ˆ์ดํฌ ๋‚ด์—์„œ ๊ด€๋ฆฌ๋˜๋Š” ๋ชจ๋“  ๋ฆฌ์†Œ์Šค์— ์ „ํŒŒ๋ฉ๋‹ˆ๋‹ค. Dataplex Universal Catalog๋Š” Dataplex Universal Catalog์˜ ๊ด€๋ฆฌ > ๊ถŒํ•œ ํƒญ์—์„œ ์ด๋Ÿฌํ•œ ๋Œ€๊ทœ๋ชจ ์ „ํŒŒ์˜ ์ „ํŒŒ ์ƒํƒœ์™€ ๊ฐ€์‹œ์„ฑ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. Dataplex Universal Catalog ์™ธ๋ถ€์˜ IAM ์ •์ฑ… ๋ณ€๊ฒฝ์‚ฌํ•ญ์ด ์žˆ๋Š”์ง€ ๊ด€๋ฆฌํ˜• ๋ฆฌ์†Œ์Šค๋ฅผ ์ง€์†์ ์œผ๋กœ ๋ชจ๋‹ˆํ„ฐ๋งํ•ฉ๋‹ˆ๋‹ค.

๋ฆฌ์†Œ์Šค์— ๋Œ€ํ•œ ๊ถŒํ•œ์ด ์ด๋ฏธ ์žˆ๋Š” ์‚ฌ์šฉ์ž๋Š” ๋ฆฌ์†Œ์Šค๊ฐ€ Dataplex Universal Catalog ๋ ˆ์ดํฌ์— ์—ฐ๊ฒฐ๋œ ํ›„์—๋„ ๊ถŒํ•œ์„ ๊ณ„์† ๋ณด์œ ํ•ฉ๋‹ˆ๋‹ค. ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ Dataplex Universal Catalog์— ๋ฆฌ์†Œ์Šค๋ฅผ ์—ฐ๊ฒฐํ•œ ํ›„ ์ƒ์„ฑ๋˜๊ฑฐ๋‚˜ ์—…๋ฐ์ดํŠธ๋œ Dataplex Universal Catalog ์ด์™ธ์˜ ์—ญํ•  ๋ฐ”์ธ๋”ฉ๋„ ๋™์ผํ•˜๊ฒŒ ์œ ์ง€๋ฉ๋‹ˆ๋‹ค.

์—ด ์ˆ˜์ค€, ํ–‰ ์ˆ˜์ค€, ํ…Œ์ด๋ธ” ์ˆ˜์ค€ ์ •์ฑ… ์„ค์ •

Cloud Storage ๋ฒ„ํ‚ท ์• ์…‹์—๋Š” BigQuery ์™ธ๋ถ€ ํ…Œ์ด๋ธ”์ด ์—ฐ๊ฒฐ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

Cloud Storage ๋ฒ„ํ‚ท ์• ์…‹์„ ์—…๊ทธ๋ ˆ์ด๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ฆ‰, Dataplex Universal Catalog์—์„œ ์—ฐ๊ฒฐ๋œ ์™ธ๋ถ€ ํ…Œ์ด๋ธ”์„ ์‚ญ์ œํ•˜๊ณ  ๋Œ€์‹  BigLake ํ…Œ์ด๋ธ”์„ ์—ฐ๊ฒฐํ•ฉ๋‹ˆ๋‹ค.

์™ธ๋ถ€ ํ…Œ์ด๋ธ” ๋Œ€์‹  BigLake ํ…Œ์ด๋ธ”์„ ์‚ฌ์šฉํ•˜์—ฌ ํ–‰ ์ˆ˜์ค€ ์ œ์–ด, ์—ด ์ˆ˜์ค€ ์ œ์–ด, ์—ด ๋ฐ์ดํ„ฐ ๋งˆ์Šคํ‚น์„ ํฌํ•จํ•œ ์„ธ๋ถ„ํ™”๋œ ์•ก์„ธ์Šค ์ œ์–ด๋ฅผ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ๋ณด์•ˆ

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋Š” ์ฃผ๋กœ ๋ ˆ์ดํฌ์—์„œ ๊ด€๋ฆฌํ•˜๋Š” ๋ฆฌ์†Œ์Šค์— ์žˆ๋Š” ์‚ฌ์šฉ์ž ๋ฐ์ดํ„ฐ์™€ ์—ฐ๊ฒฐ๋œ ์Šคํ‚ค๋งˆ ์ •๋ณด๋ฅผ ๋‚˜ํƒ€๋ƒ…๋‹ˆ๋‹ค.

Dataplex Universal Catalog ๊ฒ€์ƒ‰์€ ๊ด€๋ฆฌํ˜• ๋ฆฌ์†Œ์Šค์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฒ€์‚ฌํ•˜๊ณ  ํ‘œ ํ˜•์‹์˜ ์Šคํ‚ค๋งˆ ์ •๋ณด๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ํ…Œ์ด๋ธ”์€ BigQuery, Dataproc Metastore, Data Catalog(์ง€์› ์ค‘๋‹จ๋จ) ์‹œ์Šคํ…œ์— ๊ฒŒ์‹œ๋ฉ๋‹ˆ๋‹ค.

BigQuery

๋ฐœ๊ฒฌ๋œ ๊ฐ ํ…Œ์ด๋ธ”์—๋Š” BigQuery์— ๋“ฑ๋ก๋œ ์—ฐ๊ฒฐ๋œ ํ…Œ์ด๋ธ”์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ ์˜์—ญ์—๋Š” ์—ฐ๊ฒฐ๋œ BigQuery ๋ฐ์ดํ„ฐ ์„ธํŠธ๊ฐ€ ์žˆ์œผ๋ฉฐ, ์ด ๋ฐ์ดํ„ฐ ์„ธํŠธ์—์„œ ๊ฒ€์ƒ‰๋œ ํ…Œ์ด๋ธ”๊ณผ ์—ฐ๊ฒฐ๋œ ๋ชจ๋“  ์™ธ๋ถ€ ํ…Œ์ด๋ธ”์ด ๋“ฑ๋ก๋ฉ๋‹ˆ๋‹ค.

๋ฐœ๊ฒฌ๋œ Cloud Storage ํ˜ธ์ŠคํŒ… ํ…Œ์ด๋ธ”์€ ์˜์—ญ์šฉ์œผ๋กœ ์ƒ์„ฑ๋œ ๋ฐ์ดํ„ฐ ์„ธํŠธ ์•„๋ž˜์— ๋“ฑ๋ก๋ฉ๋‹ˆ๋‹ค.

Dataproc Metastore

๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์™€ ํ…Œ์ด๋ธ”์€ Dataplex Universal Catalog ๋ ˆ์ดํฌ ์ธ์Šคํ„ด์Šค์™€ ์—ฐ๊ฒฐ๋œ Dataproc Metastore์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ ๋ฐ์ดํ„ฐ ์˜์—ญ์—๋Š” ์—ฐ๊ฒฐ๋œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๊ฐ€ ์žˆ์œผ๋ฉฐ ๊ฐ ์• ์…‹์—๋Š” ์—ฐ๊ฒฐ๋œ ํ…Œ์ด๋ธ”์ด ํ•˜๋‚˜ ์ด์ƒ ์žˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Dataproc Metastore ์„œ๋น„์Šค์˜ ๋ฐ์ดํ„ฐ๋Š” VPC-SC ๋„คํŠธ์›Œํฌ๋ฅผ ๊ตฌ์„ฑํ•˜์—ฌ ๋ณดํ˜ธ๋ฉ๋‹ˆ๋‹ค. Dataproc Metastore ์ธ์Šคํ„ด์Šค๋Š” ๋ ˆ์ดํฌ๋ฅผ ๋งŒ๋“œ๋Š” ๋™์•ˆ Dataplex Universal Catalog์— ์ œ๊ณต๋˜๋ฏ€๋กœ ์ด๋ฏธ ์‚ฌ์šฉ์ž ๊ด€๋ฆฌํ˜• ๋ฆฌ์†Œ์Šค์ž…๋‹ˆ๋‹ค.

Data Catalog

๋ฐœ๊ฒฌ๋œ ๊ฐ ํ…Œ์ด๋ธ”์—๋Š” ๊ฒ€์ƒ‰ ๋ฐ ํƒ์ƒ‰์„ ์‚ฌ์šฉ ์„ค์ •ํ•˜๊ธฐ ์œ„ํ•ด Data Catalog(์ง€์› ์ค‘๋‹จ๋จ)์— ์—ฐ๊ฒฐ๋œ ํ•ญ๋ชฉ์ด ์žˆ์Šต๋‹ˆ๋‹ค.

Data Catalog๋Š” ํ•ญ๋ชฉ ์ƒ์„ฑ ์ค‘์— IAM ์ •์ฑ… ์ด๋ฆ„์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ Dataplex Universal Catalog๋Š” ํ•ญ๋ชฉ์ด ์—ฐ๊ฒฐ๋˜์–ด์•ผ ํ•˜๋Š” Dataplex Universal Catalog ์• ์…‹ ๋ฆฌ์†Œ์Šค์˜ IAM ์ •์ฑ… ์ด๋ฆ„์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ Dataplex Universal Catalog ํ•ญ๋ชฉ์˜ ๊ถŒํ•œ์€ ์• ์…‹ ๋ฆฌ์†Œ์Šค์˜ ๊ถŒํ•œ์— ๋”ฐ๋ผ ๊ฒฐ์ •๋ฉ๋‹ˆ๋‹ค. ์• ์…‹ ๋ฆฌ์†Œ์Šค์— Dataplex ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ๋ฆฌ๋” ์—ญํ• (roles/dataplex.metadataReader) ๋ฐ Dataplex ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์ž‘์„ฑ์ž ์—ญํ• (roles/dataplex.metadataWriter)์„ ๋ถ€์—ฌํ•ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ ๋‹จ๊ณ„