Dataplex Universal Catalog ๊ฐœ์š”

Dataplex Universal Catalog๋Š” Google Cloud์˜ ๋ฐ์ดํ„ฐ ๋ฐ AI ์• ์…‹์„ ์œ„ํ•œ ํ†ตํ•ฉ ์ง€๋Šฅํ˜• ๊ฑฐ๋ฒ„๋„Œ์Šค ์†”๋ฃจ์…˜์ž…๋‹ˆ๋‹ค. Dataplex Universal Catalog๋ฅผ ํ†ตํ•ด AI๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ ์ฟผ๋ฆฌ, ํ’ˆ์งˆ ๋ณด์ฆ, ๋น„์ฆˆ๋‹ˆ์Šค ์ธ์‚ฌ์ดํŠธ๋ฅผ ๊ฐ„์†Œํ™”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Dataplex Universal Catalog๋Š” ๋Œ€๊ทœ๋ชจ๋กœ ๊ฑฐ๋ฒ„๋„Œ์Šค๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด Cloud Storage, Spanner, Pub/Sub์— ์ €์žฅ๋œ ๋Œ€๋Ÿ‰์˜ ํŒ๋งค, ์ธ๋ฒคํ† ๋ฆฌ, ๊ณ ๊ฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ƒ์„ฑํ•˜๋Š” ๊ธ€๋กœ๋ฒŒ ์†Œ๋งค์—…์ฒด๊ฐ€ ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๊ฐ€ ์‹œ์Šคํ…œ ์ „๋ฐ˜์— ๋ถ„์‚ฐ๋˜์–ด ์žˆ์œผ๋ฏ€๋กœ ๊ฑฐ๋ฒ„๋„Œ์Šค๋ฅผ ๊ด€๋ฆฌํ•˜๊ณ , ํ’ˆ์งˆ์„ ๋ณด์žฅํ•˜๊ณ , ๊ทœ์ • ์ค€์ˆ˜๋ฅผ ์œ ์ง€ํ•˜๋Š” ๊ฒƒ์ด ๋ณต์žกํ•˜๊ณ  ์‹œ๊ฐ„์ด ์˜ค๋ž˜ ๊ฑธ๋ฆฝ๋‹ˆ๋‹ค. Dataplex Universal Catalog๋Š” ์กฐ์ง์˜ ๋ฐ์ดํ„ฐ ์• ์…‹์„ ํƒ์ƒ‰, ํ”„๋กœํŒŒ์ผ๋ง, ๊ฒ€์ฆํ•˜๊ณ  ๊ณ„๋ณด๋ฅผ ์ถ”์ ํ•˜๊ณ  ์•ก์„ธ์Šค๋ฅผ ์ œ์–ดํ•  ์ˆ˜ ์žˆ๋Š” ์ค‘์•™ ๋ทฐ๋ฅผ ์ œ๊ณตํ•˜์—ฌ ์ด ํ”„๋กœ์„ธ์Šค๋ฅผ ๊ฐ„์†Œํ™”ํ•ฉ๋‹ˆ๋‹ค.

Dataplex Universal Catalog๋ฅผ ์‚ฌ์šฉํ•ด์•ผ ํ•˜๋Š” ์ด์œ 

Dataplex Universal Catalog๋Š” ๋‹ค์Œ ๊ธฐ๋Šฅ์„ ํ†ตํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ๊ด€๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

  • ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ๋ถ„๋ฅ˜. ๋ฐ์ดํ„ฐ ์• ์…‹์˜ ์Šค๋ƒ…์ƒท์„ ์œ„ํ•ด Google Cloud ๋ฆฌ์†Œ์Šค(BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform, Dataproc Metastore) ๋ฐ Dataplex Universal Catalog๋กœ ๊ฐ€์ ธ์˜จ ์„œ๋“œ ํŒŒํ‹ฐ ๋ฆฌ์†Œ์Šค์˜ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ๊ฒ€์ƒ‰ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ฐ์ดํ„ฐ ํƒ์ƒ‰. Cloud Storage ๋ฒ„ํ‚ท์—์„œ ์ •ํ˜• ๋ฐ์ดํ„ฐ์™€ ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ์Šค์บ”ํ•˜์—ฌ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๊ณ  ๋ถ„๋ฅ˜ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ฐ์ดํ„ฐ ์ธ์‚ฌ์ดํŠธ. AI๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ์— ๊ด€ํ•œ ์ž์—ฐ์–ด ์งˆ๋ฌธ์„ ์ƒ์„ฑํ•˜๊ณ , ํŒจํ„ด์„ ํŒŒ์•…ํ•˜๊ณ , ๋ฐ์ดํ„ฐ ํ’ˆ์งˆ์„ ํ‰๊ฐ€ํ•˜๊ณ , ํ†ต๊ณ„ ๋ถ„์„์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ฐ์ดํ„ฐ ํ”„๋กœํŒŒ์ผ๋ง. BigQuery ํ…Œ์ด๋ธ”์˜ ์—ด ๋ฐ์ดํ„ฐ์˜ ์ผ๋ฐ˜์ ์ธ ํŠน์„ฑ(์˜ˆ: ์ผ๋ฐ˜์ ์ธ ๋ฐ์ดํ„ฐ ๊ฐ’, ๋ฐ์ดํ„ฐ ๋ถ„ํฌ, null ๊ฐœ์ˆ˜)์„ ์‹๋ณ„ํ•˜์—ฌ ๋ฐ์ดํ„ฐ ๋ถ„๋ฅ˜ ๋ฐ ํ’ˆ์งˆ ๋ณด์ฆ์— ์ฐธ๊ณ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋ฐ์ดํ„ฐ ํ’ˆ์งˆ. ์กฐ์ง ์ •์ฑ…์— ๋”ฐ๋ผ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฒ€์ฆํ•˜๊ณ  ๋ฐ์ดํ„ฐ๊ฐ€ ํ’ˆ์งˆ ๊ธฐ์ค€์„ ์ถฉ์กฑํ•˜์ง€ ์•Š๋Š” ๊ฒฝ์šฐ ์•Œ๋ฆผ์„ ๋กœ๊น…ํ•˜์—ฌ BigQuery ํ…Œ์ด๋ธ”์˜ ๋ฐ์ดํ„ฐ ํ’ˆ์งˆ์„ ์ •์˜ํ•˜๊ณ  ์ธก์ •ํ•ฉ๋‹ˆ๋‹ค.
  • ๋น„์ฆˆ๋‹ˆ์Šค ์šฉ์–ด์ง‘. ์กฐ์ง ์ „๋ฐ˜์—์„œ ๋น„์ฆˆ๋‹ˆ์Šค ๊ด€๋ จ ์šฉ์–ด ๋ฐ ์ •์˜๋ฅผ ๊ด€๋ฆฌํ•˜๊ณ  ์šฉ์–ด๋ฅผ ํ…Œ์ด๋ธ” ์—ด์— ์—ฐ๊ฒฐํ•˜์—ฌ ๋ฐ์ดํ„ฐ ์‚ฌ์šฉ์— ๋Œ€ํ•œ ์ผ๊ด€๋œ ์ดํ•ด๋ฅผ ์œ ๋„ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ฐ์ดํ„ฐ ๊ณ„๋ณด. ์‹œ์Šคํ…œ์„ ํ†ตํ•ด ๋ฐ์ดํ„ฐ๊ฐ€ ์ด๋™ํ•˜๋Š” ๋ฐฉ์‹, ์ฆ‰ ๋ฐ์ดํ„ฐ์˜ ์ถœ์ฒ˜, ๋ฐ์ดํ„ฐ๊ฐ€ ์ „๋‹ฌ๋˜๋Š” ์œ„์น˜, ๋ฐ์ดํ„ฐ์— ์ ์šฉ๋˜๋Š” ๋ณ€ํ™˜์„ ์ถ”์ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Dataplex Universal Catalog๋Š” ๋ถ„์‚ฐ๋œ ํƒ์ƒ‰์—์„œ ๋น„์ฆˆ๋‹ˆ์Šค ์ธ์‚ฌ์ดํŠธ์— ์ด๋ฅด๊ธฐ๊นŒ์ง€ ์—”๋“œ ํˆฌ ์—”๋“œ ๋ฐ์ดํ„ฐ ์ˆ˜๋ช… ์ฃผ๊ธฐ๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ๊ฑฐ๋ฒ„๋„Œ์Šค ๊ธฐ๋Šฅ์€ BigQuery๋ฅผ ํ†ตํ•ด์„œ๋„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ๋‹จ๊ณ„