BigQuery Omni ์†Œ๊ฐœ

BigQuery Omni๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด BigLake ํ…Œ์ด๋ธ”์„ ์‚ฌ์šฉํ•˜์—ฌ Amazon Simple Storage Service(Amazon S3) ๋˜๋Š” Azure Blob Storage์— ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด BigQuery ๋ถ„์„์„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋งŽ์€ ์กฐ์ง๋“ค์ด ๋ฐ์ดํ„ฐ๋ฅผ ํผ๋ธ”๋ฆญ ํด๋ผ์šฐ๋“œ์— ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ์œ ์šฉํ•œ ์ •๋ณด๋ฅผ ์–ป๋Š” ๊ฒƒ์ด ์–ด๋ ต๊ธฐ ๋•Œ๋ฌธ์— ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ๊ฐ€ ๊ฒฐ๊ตญ ๊ณ ๋ฆฝ๋˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. ์ €๋ ดํ•˜๊ณ , ๋น ๋ฅด๊ณ , ๋ถ„์‚ฐ๋œ ๋ฐ์ดํ„ฐ ๊ฑฐ๋ฒ„๋„Œ์Šค์— ๋”ฐ๋ฅธ ์ถ”๊ฐ€ ์˜ค๋ฒ„ํ—ค๋“œ๋ฅผ ์ผ์œผํ‚ค์ง€ ์•Š๋Š” ๋ฉ€ํ‹ฐ ํด๋ผ์šฐ๋“œ ๋ฐ์ดํ„ฐ ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•ด์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. BigQuery Omni๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ํ†ตํ•ฉ๋œ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ํ†ตํ•ด ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์™ธ๋ถ€ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ BigQuery ๋ถ„์„์„ ์‹คํ–‰ํ•˜๋ ค๋ฉด ๋จผ์ € Amazon S3 ๋˜๋Š” Blob Storage์— ์—ฐ๊ฒฐํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ์ฟผ๋ฆฌํ•˜๋ ค๋ฉด Amazon S3 ๋˜๋Š” Blob Storage ๋ฐ์ดํ„ฐ๋ฅผ ์ฐธ์กฐํ•˜๋Š” BigLake ํ…Œ์ด๋ธ”์„ ๋งŒ๋“ค์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

BigQuery Omni ๋„๊ตฌ

๋‹ค์Œ BigQuery Omni ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ์— BigQuery ๋ถ„์„์„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ํ‘œ์—๋Š” ๊ฐ ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ๋„๊ตฌ์˜ ์ฃผ์š” ๊ธฐ๋Šฅ๊ณผ ๊ธฐ๋Šฅ์ด ๊ฐ„๋žตํžˆ ๋‚˜์™€ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ต์ฐจ ํด๋ผ์šฐ๋“œ ์กฐ์ธ ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ SELECT๋ฅผ ์‚ฌ์šฉํ•œ ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ์ „์†ก LOAD๋ฅผ ์‚ฌ์šฉํ•œ ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ์ „์†ก
์ถ”์ฒœ ์‚ฌ์šฉ๋Ÿ‰ ์ผํšŒ์„ฑ์œผ๋กœ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ์ฟผ๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ด๋•Œ ๋กœ์ปฌ ํ…Œ์ด๋ธ”๊ณผ ์กฐ์ธํ•˜๊ฑฐ๋‚˜ ๋‘ ๊ฐœ์˜ ์„œ๋กœ ๋‹ค๋ฅธ BigQuery Omni ๋ฆฌ์ „(์˜ˆ: AWS ๋ฆฌ์ „๊ณผ Azure Blob Storage ๋ฆฌ์ „ ๊ฐ„์˜ ๋ฐ์ดํ„ฐ ์กฐ์ธ) ๊ฐ„์— ๋ฐ์ดํ„ฐ๋ฅผ ์กฐ์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๊ฐ€ ํฌ์ง€ ์•Š๊ณ  ์บ์‹ฑ์ด ์ฃผ์š” ์š”๊ตฌ์‚ฌํ•ญ์ด ์•„๋‹Œ ๊ฒฝ์šฐ ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ์กฐ์ธ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์บ์‹ฑ์ด ์ค‘์š”ํ•œ ์š”๊ตฌ์‚ฌํ•ญ์ธ ๊ฒฝ์šฐ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ์ ์ง„์ ์œผ๋กœ ์ง€์†์ ์œผ๋กœ ์ „์†กํ•˜๋„๋ก ๋ฐ˜๋ณต ๋˜๋Š” ์˜ˆ์•ฝ๋œ ์ฟผ๋ฆฌ๋ฅผ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ๋Œ€์‹œ๋ณด๋“œ๋ฅผ ์œ ์ง€ ๊ด€๋ฆฌํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ์บ์‹ฑ ๋ฐ ์ฟผ๋ฆฌ ์ตœ์ ํ™”์™€ ๊ฐ™์€ ์ˆ˜๋™ ์ œ์–ด๊ฐ€ ์ฃผ์š” ์š”๊ตฌ์‚ฌํ•ญ์ธ BigQuery Omni ๋ฆฌ์ „์—์„œ BigQuery ๋ฆฌ์ „์œผ๋กœ ์ผํšŒ์„ฑ์œผ๋กœ ์‚ฌ์šฉํ•  ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฅผ ์ฟผ๋ฆฌํ•˜๋Š” ๊ฒฝ์šฐ, ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ์กฐ์ธ ๋˜๋Š” ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ์—์„œ ์ง€์›ํ•˜์ง€ ์•Š๋Š” ๋ณต์žกํ•œ ์ฟผ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ ํ•„ํ„ฐ๋ง ์—†์ด ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ๊ทธ๋Œ€๋กœ ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ํ•˜๊ณ  ์˜ˆ์•ฝ๋œ ์ฟผ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์›์‹œ ๋ฐ์ดํ„ฐ๋ฅผ ์ด๋™
๋ฐ์ดํ„ฐ ์ด๋™ ์ „ ํ•„ํ„ฐ๋ง ์ง€์› ์˜ˆ. ํŠน์ • ์ฟผ๋ฆฌ ์—ฐ์‚ฐ์ž์—๋Š” ํ•œ๋„๊ฐ€ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ๊ต์ฐจ ํด๋ผ์šฐ๋“œ ์กฐ์ธ ์ œํ•œ์‚ฌํ•ญ์„ ์ฐธ๊ณ ํ•˜์„ธ์š”. ์˜ˆ. ์ง‘๊ณ„ ํ•จ์ˆ˜ ๋ฐ UNION ์—ฐ์‚ฐ์ž์™€ ๊ฐ™์€ ํŠน์ • ์ฟผ๋ฆฌ ์—ฐ์‚ฐ์ž์— ํ•œ๋„๊ฐ€ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ์˜ˆ. ์ฟผ๋ฆฌ ์—ฐ์‚ฐ์ž์— ์ œํ•œ์ด ์—†์Œ ์•„๋‹ˆ์š”
์ „์†ก ํฌ๊ธฐ ์ œํ•œ ์ „์†ก๋‹น 60GB(์›๊ฒฉ ๋ฆฌ์ „์˜ ๊ฐ ํ•˜์œ„ ์ฟผ๋ฆฌ๋Š” ์ „์†ก 1๊ฐœ๋ฅผ ์ƒ์„ฑํ•จ) ์ œํ•œ ์—†์Œ ์ „์†ก๋‹น 60GB(์›๊ฒฉ ๋ฆฌ์ „์˜ ๊ฐ ํ•˜์œ„ ์ฟผ๋ฆฌ๋Š” ์ „์†ก 1๊ฐœ๋ฅผ ์ƒ์„ฑํ•จ) ์ œํ•œ ์—†์Œ
๋ฐ์ดํ„ฐ ์ „์†ก ์••์ถ• ์™€์ด์–ด ์••์ถ• ์—ด ํ˜•์‹ ์™€์ด์–ด ์••์ถ• ์™€์ด์–ด ์••์ถ•
์บ์‹ฑ ์ง€์›๋˜์ง€ ์•Š์Œ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ๊ฐ€ ์žˆ๋Š” ์บ์‹œ ์ง€์› ํ…Œ์ด๋ธ”์—์„œ ์ง€์›๋จ ์ง€์›๋˜์ง€ ์•Š์Œ ์ง€์›๋˜์ง€ ์•Š์Œ
์ด๊ทธ๋ ˆ์Šค ๊ฐ€๊ฒฉ ์ฑ…์ • AWS ์ด๊ทธ๋ ˆ์Šค ๋ฐ ๋Œ€๋ฅ™ ๊ฐ„ ๋น„์šฉ AWS ์ด๊ทธ๋ ˆ์Šค ๋ฐ ๋Œ€๋ฅ™ ๊ฐ„ ๋น„์šฉ AWS ์ด๊ทธ๋ ˆ์Šค ๋ฐ ๋Œ€๋ฅ™ ๊ฐ„ ๋น„์šฉ AWS ์ด๊ทธ๋ ˆ์Šค ๋ฐ ๋Œ€๋ฅ™ ๊ฐ„ ๋น„์šฉ
๋ฐ์ดํ„ฐ ์ „์†ก์˜ ์ปดํ“จํŒ… ์‚ฌ์šฉ๋Ÿ‰ ์†Œ์Šค AWS ๋˜๋Š” Azure Blob Storage ๋ฆฌ์ „์˜ ์Šฌ๋กฏ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค(์˜ˆ์•ฝ ๋˜๋Š” ์ฃผ๋ฌธํ˜•). ์‚ฌ์šฉ๋˜์ง€ ์•Š์Œ ์†Œ์Šค AWS ๋˜๋Š” Azure Blob Storage ๋ฆฌ์ „์˜ ์Šฌ๋กฏ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค(์˜ˆ์•ฝ ๋˜๋Š” ์ฃผ๋ฌธํ˜•). ์‚ฌ์šฉ๋˜์ง€ ์•Š์Œ
ํ•„ํ„ฐ๋ง์„ ์œ„ํ•œ ์‚ฌ์šฉ๋Ÿ‰ ๊ณ„์‚ฐ ์†Œ์Šค AWS ๋˜๋Š” Azure Blob Storage ๋ฆฌ์ „์˜ ์Šฌ๋กฏ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค(์˜ˆ์•ฝ ๋˜๋Š” ์ฃผ๋ฌธํ˜•). ๋กœ์ปฌ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ์™€ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ๊ณ„์‚ฐํ•˜๊ธฐ ์œ„ํ•ด ์†Œ์Šค AWS ๋˜๋Š” Azure Blob Storage ๋ฆฌ์ „์˜ ์Šฌ๋กฏ(์˜ˆ์•ฝ ๋˜๋Š” ์ฃผ๋ฌธํ˜•)์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์†Œ์Šค AWS ๋˜๋Š” Azure Blob Storage ๋ฆฌ์ „์˜ ์Šฌ๋กฏ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค(์˜ˆ์•ฝ ๋˜๋Š” ์ฃผ๋ฌธํ˜•). ์‚ฌ์šฉ๋˜์ง€ ์•Š์Œ
์ฆ๋ถ„ ์ „์†ก ์ง€์›๋˜์ง€ ์•Š์Œ ๋น„์ง‘๊ณ„ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ์—์„œ ์ง€์›๋จ ์ง€์›๋˜์ง€ ์•Š์Œ ์ง€์›๋˜์ง€ ์•Š์Œ

Amazon Simple Storage Service(Amazon S3) ๋˜๋Š” Azure Blob Storage์—์„œ Google Cloud๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ „์†กํ•˜๋Š” ๋‹ค์Œ ๋Œ€์•ˆ์„ ๊ณ ๋ คํ•ด ๋ณผ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

  • Storage Transfer Service: Google Cloud ์™€ Amazon Simple Storage Service(Amazon S3) ๋˜๋Š” Azure Blob Storage ๊ฐ„์— ๊ฐ์ฒด ์ €์žฅ์†Œ์™€ ํŒŒ์ผ ์ €์žฅ์†Œ ๊ฐ„์— ๋ฐ์ดํ„ฐ๋ฅผ ์ „์†กํ•ฉ๋‹ˆ๋‹ค.
  • BigQuery Data Transfer Service: ์ •ํ•ด์ง„ ์ผ์ •์— ๋”ฐ๋ผ ๊ด€๋ฆฌ๋˜๋Š” ๋ฐฉ์‹์œผ๋กœ BigQuery๋กœ ์ž๋™ ๋ฐ์ดํ„ฐ ์ „์†ก์„ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ์†Œ์Šค๋ฅผ ์ง€์›ํ•˜๋ฉฐ ๋ฐ์ดํ„ฐ ์ด์ „์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค. BigQuery Data Transfer Service๋Š” ํ•„ํ„ฐ๋ง์„ ์ง€์›ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์•„ํ‚คํ…์ฒ˜

BigQuery ์•„ํ‚คํ…์ฒ˜๋Š” ์Šคํ† ๋ฆฌ์ง€์—์„œ ์ปดํ“จํŒ…์„ ๋ถ„๋ฆฌํ•˜๊ณ  ํ•„์š”์— ๋”ฐ๋ผ ๋Œ€์šฉ๋Ÿ‰ ์›Œํฌ๋กœ๋“œ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•ด BigQuery ์ˆ˜ํ‰ ํ™•์žฅ์„ ํ—ˆ์šฉํ•ฉ๋‹ˆ๋‹ค. BigQuery Omni๋Š” ๋‹ค๋ฅธ ํด๋ผ์šฐ๋“œ์—์„œ BigQuery ์ฟผ๋ฆฌ ์—”์ง„์„ ์‹คํ–‰ํ•˜์—ฌ ์ด ์•„ํ‚คํ…์ฒ˜๋ฅผ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ ๋ฐ์ดํ„ฐ๋ฅผ BigQuery ์Šคํ† ๋ฆฌ์ง€๋กœ ๋ฌผ๋ฆฌ์ ์œผ๋กœ ์ด๋™ํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ์ฒ˜๋ฆฌ ์ž‘์—…์€ ๋ฐ์ดํ„ฐ๊ฐ€ ์ด๋ฏธ ์žˆ๋Š” ์œ„์น˜์—์„œ ์ˆ˜ํ–‰๋ฉ๋‹ˆ๋‹ค.

BigQuery Omni ์•„ํ‚คํ…์ฒ˜

Google Cloud ์ฝ˜์†”์— ํ‘œ์‹œํ•˜๋Š” ๊ฒƒ๊ณผ ๊ฐ™์ด ๋ณด์•ˆ ์—ฐ๊ฒฐ์„ ํ†ตํ•ด ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๋ฅผ Google Cloud ๋กœ ๋ฐ˜ํ™˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜๋Š” ๊ฒฐ๊ณผ๋ฅผ Amazon S3 ๋ฒ„ํ‚ท ๋˜๋Š” Blob Storage์— ์ง์ ‘ ๊ธฐ๋กํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ฒฝ์šฐ ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ์— ๋Œ€ํ•œ ํด๋ผ์šฐ๋“œ ๊ฐ„ ์ด๋™์ด ๋ฐœ์ƒํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

BigQuery Omni๋Š” ํ‘œ์ค€ AWS IAM ์—ญํ•  ๋˜๋Š” Azure Active Directory ์›์น™์„ ์‚ฌ์šฉํ•˜์—ฌ ๊ตฌ๋… ๋ฐ์ดํ„ฐ์— ์•ก์„ธ์Šคํ•ฉ๋‹ˆ๋‹ค. BigQuery Omni์— ์ฝ๊ธฐ ๋˜๋Š” ์“ฐ๊ธฐ ์•ก์„ธ์Šค๋ฅผ ์œ„์ž„ํ•˜๊ณ  ์–ธ์ œ๋“ ์ง€ ์•ก์„ธ์Šค ๊ถŒํ•œ์„ ์ทจ์†Œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ์ฟผ๋ฆฌ ์‹œ์˜ ๋ฐ์ดํ„ฐ ํ๋ฆ„

๋‹ค์Œ ์ด๋ฏธ์ง€๋Š” ๋‹ค์Œ ์ฟผ๋ฆฌ์— ๋Œ€ํ•ด Google Cloud ์™€ AWS ๋˜๋Š” Azure ๊ฐ„์— ๋ฐ์ดํ„ฐ๊ฐ€ ์–ด๋–ป๊ฒŒ ์ด๋™ํ•˜๋Š”์ง€ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

  • SELECT ๋ฌธ
  • CREATE EXTERNAL TABLE ๋ฌธ
 Google Cloud ๊ณผ AWS ๋˜๋Š” Azure ์‚ฌ์ด์˜ ์ฟผ๋ฆฌ์šฉ ๋ฐ์ดํ„ฐ ์ด๋™
๊ทธ๋ฆผ 1: Google Cloud ์™€ AWS ๋˜๋Š” Azure ์‚ฌ์ด์˜ ์ฟผ๋ฆฌ์šฉ ๋ฐ์ดํ„ฐ ์ด๋™
  1. BigQuery ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์€Google Cloud ์ฝ˜์†”, bq ๋ช…๋ น์ค„ ๋„๊ตฌ, API ๋ฉ”์„œ๋“œ, ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ํ†ตํ•ด ์ฟผ๋ฆฌ ์ž‘์—…์„ ์ˆ˜์‹ ํ•ฉ๋‹ˆ๋‹ค.
  2. BigQuery ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•ด ์ฟผ๋ฆฌ ์ž‘์—…์„ AWS ๋˜๋Š” Azure์˜ BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์œผ๋กœ ์ „์†กํ•ฉ๋‹ˆ๋‹ค.
  3. BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์ด VPN ์—ฐ๊ฒฐ์„ ํ†ตํ•ด ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์˜ ์ฟผ๋ฆฌ๋ฅผ ์ˆ˜์‹ ํ•ฉ๋‹ˆ๋‹ค.
  4. BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์€ Amazon S3 ๋ฒ„ํ‚ท ๋˜๋Š” Blob Storage์—์„œ ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์Šต๋‹ˆ๋‹ค.
  5. BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์ด ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ์—์„œ ์ฟผ๋ฆฌ ์ž‘์—…์„ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์ง€์ •๋œ AWS ๋˜๋Š” Azure ๋ฆฌ์ „์—์„œ ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ์ˆ˜ํ–‰๋ฉ๋‹ˆ๋‹ค.
  6. ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๊ฐ€ VPN ์—ฐ๊ฒฐ์„ ํ†ตํ•ด ๋ฐ์ดํ„ฐ ์˜์—ญ์—์„œ ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์œผ๋กœ ์ „์†ก๋ฉ๋‹ˆ๋‹ค
  7. BigQuery ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์€ ์ฟผ๋ฆฌ ์ž‘์—…์— ๋Œ€ํ•œ ์‘๋‹ต์œผ๋กœ ํ‘œ์‹œํ•  ์ฟผ๋ฆฌ ์ž‘์—… ๊ฒฐ๊ณผ๋ฅผ ์ˆ˜์‹ ํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ฐ์ดํ„ฐ๋Š” ์ตœ๋Œ€ 24์‹œ๊ฐ„ ๋™์•ˆ ์ €์žฅ๋ฉ๋‹ˆ๋‹ค.
  8. ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๊ฐ€ ๊ฐœ๋ฐœ์ž์—๊ฒŒ ๋ฐ˜ํ™˜๋ฉ๋‹ˆ๋‹ค.

์ž์„ธํ•œ ๋‚ด์šฉ์€ Amazon S3 ๋ฐ์ดํ„ฐ ๋ฐ Blob Storage ๋ฐ์ดํ„ฐ ์ฟผ๋ฆฌ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

๋ฐ์ดํ„ฐ๋ฅผ ๋‚ด๋ณด๋‚ผ ๋•Œ์˜ ๋ฐ์ดํ„ฐ ํ๋ฆ„

๋‹ค์Œ ์ด๋ฏธ์ง€๋Š” EXPORT DATA ๋ฌธ ์ค‘์— Google Cloud ์™€ AWS ๋˜๋Š” Azure ๊ฐ„์— ๋ฐ์ดํ„ฐ๊ฐ€ ์–ด๋–ป๊ฒŒ ์ด๋™ํ•˜๋Š”์ง€ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

 Google Cloud ์™€ AWS ๋˜๋Š” Azure ์‚ฌ์ด์˜ ๋‚ด๋ณด๋‚ด๊ธฐ ์ฟผ๋ฆฌ์šฉ ๋ฐ์ดํ„ฐ ์ด๋™
๊ทธ๋ฆผ2: Google Cloud ์™€ AWS ๋˜๋Š” Azure ์‚ฌ์ด์˜ ๋‚ด๋ณด๋‚ด๊ธฐ ์ฟผ๋ฆฌ์šฉ ๋ฐ์ดํ„ฐ ์ด๋™
  1. BigQuery ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์€ Google Cloud ์ฝ˜์†”, bq ๋ช…๋ น์ค„ ๋„๊ตฌ, API ๋ฉ”์„œ๋“œ, ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ํ†ตํ•ด ๋‚ด๋ณด๋‚ด๊ธฐ ์ฟผ๋ฆฌ ์ž‘์—…์„ ์ˆ˜์‹ ํ•ฉ๋‹ˆ๋‹ค. ์ฟผ๋ฆฌ์—๋Š” Amazon S3 ๋ฒ„ํ‚ท ๋˜๋Š” Blob Storage์˜ ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ์— ๋Œ€ํ•œ ๋Œ€์ƒ ๊ฒฝ๋กœ๊ฐ€ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค.
  2. BigQuery ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•ด ๋‚ด๋ณด๋‚ด๊ธฐ ์ฟผ๋ฆฌ ์ž‘์—…์„ AWS ๋˜๋Š” Azure์˜ BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์œผ๋กœ ์ „์†กํ•ฉ๋‹ˆ๋‹ค.
  3. BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์€ VPN ์—ฐ๊ฒฐ์„ ํ†ตํ•ด ์ปจํŠธ๋กค ํ”Œ๋ ˆ์ธ์œผ๋กœ๋ถ€ํ„ฐ ๋‚ด๋ณด๋‚ด๊ธฐ ์ฟผ๋ฆฌ๋ฅผ ์ˆ˜์‹ ํ•ฉ๋‹ˆ๋‹ค.
  4. BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์€ Amazon S3 ๋ฒ„ํ‚ท ๋˜๋Š” Blob Storage์—์„œ ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์Šต๋‹ˆ๋‹ค.
  5. BigQuery ๋ฐ์ดํ„ฐ ์˜์—ญ์ด ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ์—์„œ ์ฟผ๋ฆฌ ์ž‘์—…์„ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์ง€์ •๋œ AWS ๋˜๋Š” Azure ๋ฆฌ์ „์—์„œ ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ์ˆ˜ํ–‰๋ฉ๋‹ˆ๋‹ค.
  6. BigQuery๋Š” ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๋ฅผ Amazon S3 ๋ฒ„ํ‚ท ๋˜๋Š” Blob Storage์— ์ง€์ •๋œ ๋Œ€์ƒ ๊ฒฝ๋กœ์— ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค.

์ž์„ธํ•œ ๋‚ด์šฉ์€ Amazon S3 ๋ฐ Blob Storage๋กœ ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ ๋‚ด๋ณด๋‚ด๊ธฐ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

์ด์ 

์„ฑ๋Šฅ. ๋ฐ์ดํ„ฐ๋ฅผ ํด๋ผ์šฐ๋“œ ๊ฐ„์— ๋ณต์‚ฌํ•˜์ง€ ์•Š๊ณ  ๋ฐ์ดํ„ฐ๊ฐ€ ์žˆ๋Š” ๋ฆฌ์ „๊ณผ ๋™์ผํ•œ ๋ฆฌ์ „์—์„œ ์ฟผ๋ฆฌ๊ฐ€ ์‹คํ–‰๋˜์–ด ๋”์šฑ ๋น ๋ฅด๊ฒŒ ์œ ์šฉํ•œ ์ •๋ณด๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋น„์šฉ. ๋ฐ์ดํ„ฐ๊ฐ€ ์ด๋™ํ•˜์ง€ ์•Š์œผ๋ฏ€๋กœ ์•„์›ƒ๋ฐ”์šด๋“œ ๋ฐ์ดํ„ฐ ์ „์†ก ๋น„์šฉ์ด ์ ˆ์•ฝ๋ฉ๋‹ˆ๋‹ค. Google์—์„œ ๊ด€๋ฆฌ๋˜๋Š” ํด๋Ÿฌ์Šคํ„ฐ์—์„œ ์ฟผ๋ฆฌ๊ฐ€ ์‹คํ–‰๋˜๊ธฐ ๋•Œ๋ฌธ์— BigQuery Omni ๋ถ„์„๊ณผ ๊ด€๋ จ๋œ AWS ๋˜๋Š” Azure ๊ณ„์ •์— ์ถ”๊ฐ€ ๋น„์šฉ์ด ๋ฐœ์ƒํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. BigQuery ๊ฐ€๊ฒฉ ์ฑ…์ • ๋ชจ๋ธ์— ๋”ฐ๋ผ ์ฟผ๋ฆฌ ์‹คํ–‰์— ๋Œ€ํ•ด์„œ๋งŒ ๋น„์šฉ์ด ์ฒญ๊ตฌ๋ฉ๋‹ˆ๋‹ค.

๋ณด์•ˆ ๋ฐ ๋ฐ์ดํ„ฐ ๊ฑฐ๋ฒ„๋„Œ์Šค. ์ž์ฒด AWS ๋˜๋Š” Azure ๊ตฌ๋…์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๊ด€๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ํผ๋ธ”๋ฆญ ํด๋ผ์šฐ๋“œ ๋ฐ”๊นฅ์œผ๋กœ ์›์‹œ ๋ฐ์ดํ„ฐ๋ฅผ ์ด๋™ํ•˜๊ฑฐ๋‚˜ ๋ณต์‚ฌํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ๊ณ„์‚ฐ์€ ๋ฐ์ดํ„ฐ์™€ ๋™์ผํ•œ ๋ฆฌ์ „ ๋‚ด์—์„œ ์‹คํ–‰๋˜๋Š” BigQuery ๋ฉ€ํ‹ฐ ํ…Œ๋„ŒํŠธ ์„œ๋น„์Šค์—์„œ ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค.

์„œ๋ฒ„๋ฆฌ์Šค ์•„ํ‚คํ…์ฒ˜. ๋‚˜๋จธ์ง€ BigQuery์™€ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ BigQuery Omni๋Š” ์„œ๋ฒ„๋ฆฌ์Šค ์ œํ’ˆ์ž…๋‹ˆ๋‹ค. Google์€ BigQuery Omni๋ฅผ ์‹คํ–‰ํ•˜๋Š” ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๋ฐฐํฌํ•˜๊ณ  ๊ด€๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๋ฆฌ์†Œ์Šค๋ฅผ ํ”„๋กœ๋น„์ €๋‹ํ•˜๊ฑฐ๋‚˜ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๊ด€๋ฆฌํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.

๊ด€๋ฆฌ ์šฉ์ด์„ฑ. BigQuery Omni๋Š” Google Cloud๋ฅผ ํ†ตํ•ด ํ†ตํ•ฉ๋œ ๊ด€๋ฆฌ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. BigQuery Omni๋Š” ๊ธฐ์กด Google Cloud ๊ณ„์ • ๋ฐ BigQuery ํ”„๋กœ์ ํŠธ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Google Cloud ์ฝ˜์†”์—์„œ GoogleSQL ์ฟผ๋ฆฌ๋ฅผ ์ž‘์„ฑํ•˜์—ฌ AWS ๋˜๋Š” Azure์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ฟผ๋ฆฌํ•˜๊ณ  Google Cloud ์ฝ˜์†”์— ํ‘œ์‹œ๋œ ๊ฒฐ๊ณผ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ต์ฐจ ํด๋ผ์šฐ๋“œ ์ „์†ก. S3 ๋ฒ„ํ‚ท ๋ฐ Blob Storage์—์„œ ํ‘œ์ค€ BigQuery ํ…Œ์ด๋ธ”๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๋กœ๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ Amazon S3 ๋ฐ์ดํ„ฐ ๋ฐ Blob Storage ๋ฐ์ดํ„ฐ๋ฅผ BigQuery๋กœ ์ „์†ก์„ ์ฐธ์กฐํ•˜์„ธ์š”.

์„ฑ๋Šฅ์„ ์œ„ํ•œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ

์บ์‹œ๋œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ Amazon S3 ๋ฐ์ดํ„ฐ๋ฅผ ์ฐธ์กฐํ•˜๋Š” BigLake ํ…Œ์ด๋ธ”์˜ ์ฟผ๋ฆฌ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค. ์ด ๋ฐฉ๋ฒ•์€ ๋งŽ์€ ํŒŒ์ผ๋กœ ์ž‘์—…ํ•˜๊ฑฐ๋‚˜ ๋ฐ์ดํ„ฐ๊ฐ€ Apache Hive๋กœ ๋ถ„ํ• ๋˜๋Š” ๊ฒฝ์šฐ์— ํŠนํžˆ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.

BigQuery๋Š” CMETA๋ฅผ ๋ถ„์‚ฐ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์‹œ์Šคํ…œ์œผ๋กœ ์‚ฌ์šฉํ•˜์—ฌ ๋Œ€๊ทœ๋ชจ ํ…Œ์ด๋ธ”์„ ํšจ์œจ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. CMETA๋Š” ์‹œ์Šคํ…œ ํ…Œ์ด๋ธ”์„ ํ†ตํ•ด ์•ก์„ธ์Šคํ•  ์ˆ˜ ์žˆ๋Š” ์—ด ๋ฐ ๋ธ”๋ก ์ˆ˜์ค€์˜ ์„ธ๋ถ„ํ™”๋œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ด ์‹œ์Šคํ…œ์€ ๋ฐ์ดํ„ฐ ์•ก์„ธ์Šค ๋ฐ ์ฒ˜๋ฆฌ๋ฅผ ์ตœ์ ํ™”ํ•˜์—ฌ ์ฟผ๋ฆฌ ์„ฑ๋Šฅ์„ ๊ฐœ์„ ํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. ๋Œ€์šฉ๋Ÿ‰ ํ…Œ์ด๋ธ”์—์„œ ์ฟผ๋ฆฌ ์„ฑ๋Šฅ์„ ๋”์šฑ ๊ฐ€์†ํ™”ํ•˜๊ธฐ ์œ„ํ•ด BigQuery๋Š” ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ๋ฅผ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. CMETA ์ƒˆ๋กœ๊ณ ์นจ ์ž‘์—…์€ ์ด ์บ์‹œ๋ฅผ ์ตœ์‹  ์ƒํƒœ๋กœ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ์—๋Š” ํŒŒ์ผ ์ด๋ฆ„, ํŒŒํ‹ฐ์…”๋‹ ์ •๋ณด, ํ–‰ ์ˆ˜์™€ ๊ฐ™์€ ํŒŒ์ผ์˜ ๋ฌผ๋ฆฌ์  ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๊ฐ€ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. ํ…Œ์ด๋ธ”์—์„œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์„ ์‚ฌ์šฉ ์„ค์ •ํ• ์ง€ ์—ฌ๋ถ€๋ฅผ ์„ ํƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํŒŒ์ผ ์ˆ˜๊ฐ€ ๋” ๋งŽ๊ณ  Apache Hive ํŒŒํ‹ฐ์…˜ ํ•„ํ„ฐ๊ฐ€ ํฌํ•จ๋œ ์ฟผ๋ฆฌ๋Š” ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์˜ ์ด์ ์„ ๊ทน๋Œ€ํ™”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์„ ์‚ฌ์šฉ ์„ค์ •ํ•˜์ง€ ์•Š์œผ๋ฉด ํ…Œ์ด๋ธ”์˜ ์ฟผ๋ฆฌ์—์„œ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ ์†Œ์Šค๋ฅผ ์ฝ์–ด ๊ฐ์ฒด ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์™€์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์œผ๋ฉด ์ฟผ๋ฆฌ ์ง€์—ฐ ์‹œ๊ฐ„์ด ๋Š˜์–ด๋‚˜๋ฏ€๋กœ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ ์†Œ์Šค์—์„œ ์ˆ˜๋ฐฑ๋งŒ ๊ฐœ์˜ ํŒŒ์ผ์„ ๋‚˜์—ดํ•˜๋Š” ๋ฐ ๋ช‡ ๋ถ„ ์ •๋„ ๊ฑธ๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์„ ์‚ฌ์šฉ ์„ค์ •ํ•˜๋ฉด ์ฟผ๋ฆฌ๊ฐ€ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ ์†Œ์Šค์—์„œ ํŒŒ์ผ์„ ๋‚˜์—ดํ•˜์ง€ ์•Š๊ณ  ํŒŒํ‹ฐ์…˜๊ณผ ํŒŒ์ผ ํ”„๋ฃจ๋‹์„ ๋” ๋น ๋ฅด๊ฒŒ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์€ Cloud Storage ๊ฐ์ฒด ๋ฒ„์ „ ๊ด€๋ฆฌ์™€๋„ ํ†ตํ•ฉ๋ฉ๋‹ˆ๋‹ค. ์บ์‹œ๊ฐ€ ์ฑ„์›Œ์ง€๊ฑฐ๋‚˜ ์ƒˆ๋กœ๊ณ ์นจ๋˜๋ฉด ๋‹น์‹œ์˜ Cloud Storage ๊ฐ์ฒด์˜ ๋ผ์ด๋ธŒ ๋ฒ„์ „์„ ๊ธฐ๋ฐ˜์œผ๋กœ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๊ฐ€ ์บก์ฒ˜๋ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์ด ์‚ฌ์šฉ ์„ค์ •๋œ ์ฟผ๋ฆฌ๋Š” Cloud Storage์—์„œ ์ตœ์‹  ๋ฒ„์ „์ด ๋ผ์ด๋ธŒ๊ฐ€ ๋˜๋”๋ผ๋„ ์บ์‹œ๋œ ํŠน์ • ๊ฐ์ฒด ๋ฒ„์ „์— ํ•ด๋‹นํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ์Šต๋‹ˆ๋‹ค. Cloud Storage์—์„œ ์ดํ›„์— ์—…๋ฐ์ดํŠธ๋œ ๊ฐ์ฒด ๋ฒ„์ „์˜ ๋ฐ์ดํ„ฐ์— ์•ก์„ธ์Šคํ•˜๋ ค๋ฉด ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ๋ฅผ ์ƒˆ๋กœ๊ณ ์นจํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

์ด ๊ธฐ๋Šฅ์„ ์ œ์–ดํ•˜๋Š” ๋‘ ๊ฐ€์ง€ ์†์„ฑ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  • ์ตœ๋Œ€ ๋น„ํ™œ์„ฑ์€ ์ฟผ๋ฆฌ์—์„œ ์บ์‹œ๋œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์‹œ์ ์„ ์ง€์ •ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ ๋ชจ๋“œ๋Š” ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๊ฐ€ ์ˆ˜์ง‘๋˜๋Š” ๋ฐฉ์‹์„ ์ง€์ •ํ•ฉ๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์„ ์‚ฌ์šฉ ์„ค์ •ํ–ˆ์œผ๋ฉด ํ…Œ์ด๋ธ” ์ž‘์—…์— ํ—ˆ์šฉ๋˜๋Š” ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ๋น„ํ™œ์„ฑ ๊ฐ„๊ฒฉ์„ ์ตœ๋Œ€ํ•œ์œผ๋กœ ์ง€์ •ํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด 1์‹œ๊ฐ„ ๊ฐ„๊ฒฉ์„ ์ง€์ •ํ•˜๋ฉด ์ด์ „ ํ•œ ์‹œ๊ฐ„ ๋‚ด์— ์ƒˆ๋กœ๊ณ ์นจ๋œ ๊ฒฝ์šฐ ํ…Œ์ด๋ธ” ์ž‘์—…์— ์บ์‹œ๋œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๊ฐ€ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์บ์‹œ๋œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๊ฐ€ ์ด๋ณด๋‹ค ์˜ค๋ž˜๋œ ๊ฒฝ์šฐ ์ž‘์—…์€ ๋Œ€์‹  Amazon S3์—์„œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ๊ฒ€์ƒ‰ํ•˜๋„๋ก ๋˜๋Œ์•„๊ฐ‘๋‹ˆ๋‹ค. ๋น„ํ™œ์„ฑ ๊ฐ„๊ฒฉ์€ 30๋ถ„๋ถ€ํ„ฐ 7์ผ๊นŒ์ง€๋กœ ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

BigLake ๋˜๋Š” ๊ฐ์ฒด ํ…Œ์ด๋ธ”์— ๋Œ€ํ•ด ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์„ ์‚ฌ์šฉ ์„ค์ •ํ•˜๋ฉด BigQuery์—์„œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์ƒ์„ฑ ์ƒˆ๋กœ๊ณ ์นจ ์ž‘์—…์„ ํŠธ๋ฆฌ๊ฑฐํ•ฉ๋‹ˆ๋‹ค. ์บ์‹œ๋ฅผ ์ž๋™ ๋˜๋Š” ์ˆ˜๋™์œผ๋กœ ์ƒˆ๋กœ๊ณ ์นจํ•˜๋„๋ก ์„ ํƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์ž๋™ ์ƒˆ๋กœ๊ณ ์นจ์˜ ๊ฒฝ์šฐ ์ผ๋ฐ˜์ ์œผ๋กœ 30๋ถ„์—์„œ 60๋ถ„ ์‚ฌ์ด๋กœ ์‹œ์Šคํ…œ์—์„œ ์ •์˜๋œ ๊ฐ„๊ฒฉ์œผ๋กœ ์บ์‹œ๊ฐ€ ์ƒˆ๋กœ๊ณ ์นจ๋ฉ๋‹ˆ๋‹ค. Amazon S3์˜ ํŒŒ์ผ์ด ๋ฌด์ž‘์œ„ ๊ฐ„๊ฒฉ์œผ๋กœ ์ถ”๊ฐ€, ์‚ญ์ œ, ์ˆ˜์ •๋  ๊ฒฝ์šฐ์—๋Š” ์บ์‹œ๋ฅผ ์ž๋™์œผ๋กœ ์ƒˆ๋กœ๊ณ ์นจํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. ์ถ”์ถœ-๋ณ€ํ™˜-๋กœ๋“œ ์ž‘์—…์ด ๋๋‚  ๋•Œ ์ƒˆ๋กœ๊ณ ์นจ์„ ํŠธ๋ฆฌ๊ฑฐํ•  ๋•Œ์™€ ๊ฐ™์ด ์ƒˆ๋กœ๊ณ ์นจ ์‹œ๊ฐ„์„ ์ œ์–ดํ•ด์•ผ ํ•  ๊ฒฝ์šฐ์—๋Š” ์ˆ˜๋™ ์ƒˆ๋กœ๊ณ ์นจ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ์ˆ˜๋™ ์ƒˆ๋กœ๊ณ ์นจ์˜ ๊ฒฝ์šฐ BQ.REFRESH_EXTERNAL_METADATA_CACHE ์‹œ์Šคํ…œ ํ”„๋กœ์‹œ์ €๋ฅผ ์‹คํ–‰ํ•˜์—ฌ ์š”๊ตฌ์‚ฌํ•ญ์„ ์ถฉ์กฑํ•˜๋Š” ์ผ์ •์— ๋”ฐ๋ผ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ๋ฅผ ์ƒˆ๋กœ๊ณ ์นจํ•ฉ๋‹ˆ๋‹ค. Amazon S3์˜ ํŒŒ์ผ์ด ํŒŒ์ดํ”„๋ผ์ธ ์ถœ๋ ฅ๊ณผ ๊ฐ™์ด ์•Œ๋ ค์ง„ ๊ฐ„๊ฒฉ์œผ๋กœ ์ถ”๊ฐ€, ์‚ญ์ œ, ์ˆ˜์ •๋  ๊ฒฝ์šฐ์—๋Š” ์บ์‹œ๋ฅผ ์ˆ˜๋™์œผ๋กœ ์ƒˆ๋กœ๊ณ ์นจํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.

    ์—ฌ๋Ÿฌ ๋ฒˆ์˜ ์ˆ˜๋™ ์ƒˆ๋กœ๊ณ ์นจ์„ ๋™์‹œ์— ์ˆ˜ํ–‰ํ•˜๋ฉด ํ•˜๋‚˜๋งŒ ์„ฑ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ๋Š” ์ƒˆ๋กœ๊ณ ์นจ๋˜์ง€ ์•Š์„ ๊ฒฝ์šฐ 7์ผ ํ›„ ๋งŒ๋ฃŒ๋ฉ๋‹ˆ๋‹ค.

์ˆ˜๋™ ๋ฐ ์ž๋™ ์บ์‹œ ์ƒˆ๋กœ๊ณ ์นจ ๋ชจ๋‘ INTERACTIVE ์ฟผ๋ฆฌ ์šฐ์„ ์ˆœ์œ„๋กœ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค.

BACKGROUND ์˜ˆ์•ฝ ์‚ฌ์šฉ

์ž๋™ ์ƒˆ๋กœ๊ณ ์นจ์„ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ ์ƒˆ๋กœ๊ณ ์นจ ์ž‘์—…์„ ์‹คํ–‰ํ•˜๋Š” ํ”„๋กœ์ ํŠธ์— ๋Œ€ํ•ด ์˜ˆ์•ฝ์„ ๋งŒ๋“  ํ›„ BACKGROUND ์ž‘์—… ์œ ํ˜•์œผ๋กœ ํ• ๋‹น์„ ๋งŒ๋“œ๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. BACKGROUND ์˜ˆ์•ฝ์„ ์‚ฌ์šฉํ•˜๋ฉด ์ƒˆ๋กœ๊ณ ์นจ ์ž‘์—…์ด ์ „์šฉ ๋ฆฌ์†Œ์Šค ํ’€์„ ์‚ฌ์šฉํ•˜๋ฏ€๋กœ ์ƒˆ๋กœ๊ณ ์นจ ์ž‘์—…์ด ์‚ฌ์šฉ์ž ์ฟผ๋ฆฌ์™€ ๊ฒฝ์Ÿํ•˜์ง€ ์•Š์œผ๋ฉฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฆฌ์†Œ์Šค๊ฐ€ ์ถฉ๋ถ„ํ•˜์ง€ ์•Š์€ ๊ฒฝ์šฐ ์ž‘์—…์ด ์‹คํŒจํ•  ๊ฐ€๋Šฅ์„ฑ์„ ์ค„์—ฌ์ค๋‹ˆ๋‹ค.

๊ณต์œ  ์Šฌ๋กฏ ํ’€์„ ์‚ฌ์šฉํ•ด๋„ ์ถ”๊ฐ€ ๋น„์šฉ์ด ๋“ค์ง€ ์•Š์ง€๋งŒ ๋Œ€์‹  BACKGROUND ์˜ˆ์•ฝ์„ ์‚ฌ์šฉํ•˜๋ฉด ์ „์šฉ ๋ฆฌ์†Œ์Šค ํ’€์„ ํ• ๋‹นํ•˜์—ฌ ๋” ์ผ๊ด€๋œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•˜๊ณ  BigQuery์—์„œ ์ƒˆ๋กœ๊ณ ์นจ ์ž‘์—…์˜ ์•ˆ์ •์„ฑ๊ณผ ์ „๋ฐ˜์ ์ธ ์ฟผ๋ฆฌ ํšจ์œจ์„ฑ์„ ๊ฐœ์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์„ค์ •ํ•˜๊ธฐ ์ „ ๋น„ํ™œ์„ฑ ๊ฐ„๊ฒฉ ๋ฐ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ ๋ชจ๋“œ ๊ฐ’์ด ์ƒํ˜ธ์ž‘์šฉํ•˜๋Š” ๋ฐฉ์‹์„ ๊ณ ๋ คํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์Œ ์˜ˆ๋ฅผ ๊ณ ๋ คํ•˜์„ธ์š”.

  • ํ…Œ์ด๋ธ”์— ๋Œ€ํ•ด ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ๋ฅผ ์ˆ˜๋™์œผ๋กœ ์ƒˆ๋กœ๊ณ ์นจํ•  ๋•Œ ๋น„ํ™œ์„ฑ ๊ฐ„๊ฒฉ์„ 2์ผ๋กœ ์„ค์ •ํ•˜๋ฉด ํ…Œ์ด๋ธ” ์ž‘์—…์— ์บ์‹œ๋œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๊ฐ€ ์‚ฌ์šฉ๋˜๋„๋ก ํ•˜๋ ค๋ฉด BQ.REFRESH_EXTERNAL_METADATA_CACHE ์‹œ์Šคํ…œ ํ”„๋กœ์‹œ์ €๋ฅผ 2์ผ ์ด๋‚ด ๊ฐ„๊ฒฉ์œผ๋กœ ์‹คํ–‰ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
  • ํ…Œ์ด๋ธ”์˜ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ๋ฅผ ์ž๋™์œผ๋กœ ์ƒˆ๋กœ๊ณ ์นจํ•˜๊ณ  ๋น„ํ™œ์„ฑ ๊ฐ„๊ฒฉ์„ 30๋ถ„์œผ๋กœ ์„ค์ •ํ•œ ๊ฒฝ์šฐ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ ์ƒˆ๋กœ๊ณ ์นจ์ด ์ผ๋ฐ˜์ ์ธ 30๋ถ„~60๋ถ„ ๊ธฐ๊ฐ„๋ณด๋‹ค ๊ธธ์–ด์ง€๋ฉด ํ…Œ์ด๋ธ”์— ๋Œ€ํ•œ ์ผ๋ถ€ ์ž‘์—…์ด Amazon S3์—์„œ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์ƒˆ๋กœ๊ณ ์นจ ์ž‘์—…์— ๋Œ€ํ•œ ์ •๋ณด๋ฅผ ๋ณด๋ ค๋ฉด ๋‹ค์Œ ์˜ˆ์‹œ์— ํ‘œ์‹œ๋œ ๊ฒƒ์ฒ˜๋Ÿผ INFORMATION_SCHEMA.JOBS ๋ทฐ๋ฅผ ์ฟผ๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

SELECT *
FROM `region-us.INFORMATION_SCHEMA.JOBS_BY_PROJECT`
WHERE job_id LIKE '%metadata_cache_refresh%'
AND creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 6 HOUR)
ORDER BY start_time DESC
LIMIT 10;

์ž์„ธํ•œ ๋‚ด์šฉ์€ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹ฑ์„ ์ฐธ์กฐํ•˜์„ธ์š”.

๊ตฌ์ฒดํ™”๋œ ๋ทฐ๊ฐ€ ์žˆ๋Š” ์บ์‹œ ์ง€์› ํ…Œ์ด๋ธ”

Amazon S3์— ์ €์žฅ๋œ ์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ์ฟผ๋ฆฌํ•  ๋•Œ Amazon Simple Storage Service(Amazon S3) ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ์บ์‹œ ์ง€์› ํ…Œ์ด๋ธ”์„ ํ†ตํ•ด ๊ตฌ์ฒดํ™”๋œ ๋ทฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์„ฑ๋Šฅ๊ณผ ํšจ์œจ์„ฑ์„ ๊ฐœ์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ๋Š” ์ž๋™ ์ƒˆ๋กœ๊ณ ์นจ ๋ฐ ์Šค๋งˆํŠธ ์กฐ์ •์˜ ์ด์ ์„ ํฌํ•จํ•˜์—ฌ BigQuery ๊ด€๋ฆฌํ˜• ์Šคํ† ๋ฆฌ์ง€ ํ…Œ์ด๋ธ”์„ ํ†ตํ•œ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ์ฒ˜๋Ÿผ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค.

์กฐ์ธ์— ์ง€์›๋˜๋Š” BigQuery ๋ฆฌ์ „์—์„œ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ์˜ Amazon S3 ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋ ค๋ฉด ๊ตฌ์ฒดํ™”๋œ ๋ทฐ์˜ ๋ณต์ œ๋ณธ์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ์Šน์ธ๋œ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ๋ฅผ ํ†ตํ•ด์„œ๋งŒ ๊ตฌ์ฒดํ™”๋œ ๋ทฐ ๋ณต์ œ๋ณธ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ œํ•œ์‚ฌํ•ญ

BigLake ํ…Œ์ด๋ธ” ์ œํ•œ์‚ฌํ•ญ ์™ธ์—๋„ Amazon S3 ๋ฐ Blob Storage ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋Š” BigLake ํ…Œ์ด๋ธ”์ด ํฌํ•จ๋œ BigQuery Omni์—๋Š” ๋‹ค์Œ ์ œํ•œ์‚ฌํ•ญ์ด ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

  • BigQuery Omni ๋ฆฌ์ „์—์„œ์˜ ๋ฐ์ดํ„ฐ ์ž‘์—…์€ Standard ๋ฐ Enterprise Plus ๋ฒ„์ „์—์„œ ์ง€์›๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฒ„์ „์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ BigQuery ๋ฒ„์ „ ์†Œ๊ฐœ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.
  • Amazon S3 ๋ฐ Blob Storage ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” BigLake ํ…Œ์ด๋ธ”์—๋Š” OBJECT_PRIVILEGES, STREAMING_TIMELINE_BY_*, TABLE_SNAPSHOTS, TABLE_STORAGE, TABLE_CONSTRAINTS, KEY_COLUMN_USAGE, CONSTRAINT_COLUMN_USAGE, PARTITIONS INFORMATION_SCHEMA ๋ทฐ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.
  • Blob ์Šคํ† ๋ฆฌ์ง€์—๋Š” ๊ตฌ์ฒดํ™”๋œ ๋ทฐ๊ฐ€ ์ง€์›๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • JavaScript UDF๋Š” ์ง€์›๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ๋‹ค์Œ SQL ๋ฌธ์ด ์ง€์›๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

  • ๋Œ€์ƒ ์ž„์‹œ ํ…Œ์ด๋ธ” ์ฟผ๋ฆฌ ๋ฐ ์ฝ๊ธฐ์—๋Š” ๋‹ค์Œ ์ œํ•œ์‚ฌํ•ญ์ด ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

    • SELECT ๋ฌธ์„ ํฌํ•จํ•˜๋Š” ๋Œ€์ƒ ์ž„์‹œ ํ…Œ์ด๋ธ” ์ฟผ๋ฆฌ๋Š” ์ง€์›๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ์˜ˆ์•ฝ๋œ ์ฟผ๋ฆฌ๋Š” API ๋˜๋Š” CLI ๋ฉ”์„œ๋“œ๋ฅผ ํ†ตํ•ด์„œ๋งŒ ์ง€์›๋ฉ๋‹ˆ๋‹ค. ์ฟผ๋ฆฌ์—๋Š” ๋Œ€์ƒ ํ…Œ์ด๋ธ” ์˜ต์…˜์ด ์‚ฌ์šฉ ์ค‘์ง€๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. EXPORT DATA ์ฟผ๋ฆฌ๋งŒ ํ—ˆ์šฉ๋ฉ๋‹ˆ๋‹ค.

  • BigQuery Storage API๋ฅผ BigQuery Omni ๋ฆฌ์ „์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.

  • ์ฟผ๋ฆฌ์—์„œ ORDER BY ์ ˆ์„ ์‚ฌ์šฉํ•˜๊ณ  ๊ฒฐ๊ณผ ํฌ๊ธฐ๊ฐ€ 256MB๋ณด๋‹ค ํฌ๋ฉด ์ฟผ๋ฆฌ๊ฐ€ ์‹คํŒจํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋ ค๋ฉด ๊ฒฐ๊ณผ ํฌ๊ธฐ๋ฅผ ์ค„์ด๊ฑฐ๋‚˜ ์ฟผ๋ฆฌ์—์„œ ORDER BY ์ ˆ์„ ์‚ญ์ œํ•ฉ๋‹ˆ๋‹ค. BigQuery Omni ํ• ๋‹น๋Ÿ‰์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ํ• ๋‹น๋Ÿ‰ ๋ฐ ํ•œ๋„๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

  • ๋ฐ์ดํ„ฐ ์„ธํŠธ ๋ฐ ์™ธ๋ถ€ ํ…Œ์ด๋ธ”๊ณผ ํ•จ๊ป˜ ๊ณ ๊ฐ ๊ด€๋ฆฌ ์•”ํ˜ธํ™” ํ‚ค(CMEK)๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.

๊ฐ€๊ฒฉ ์ฑ…์ •

BigQuery Omni์˜ ๊ฐ€๊ฒฉ ์ฑ…์ • ๋ฐ ๊ธฐ๊ฐ„ ํ•œ์ • ํ˜œํƒ์— ๋Œ€ํ•ด์„œ๋Š” BigQuery Omni ๊ฐ€๊ฒฉ ์ฑ…์ •์„ ์ฐธ์กฐํ•˜์„ธ์š”.

ํ• ๋‹น๋Ÿ‰ ๋ฐ ํ•œ๋„

BigQuery Omni ํ• ๋‹น๋Ÿ‰์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ํ• ๋‹น๋Ÿ‰ ๋ฐ ํ•œ๋„๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๊ฐ€ 20GiB๋ณด๋‹ค ํฌ๋ฉด ๊ฒฐ๊ณผ๋ฅผ Amazon S3 ๋˜๋Š” Blob Storage๋กœ ๋‚ด๋ณด๋‚ด๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. BigQuery Connection API์˜ ํ• ๋‹น๋Ÿ‰์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ BigQuery Connection API๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

์œ„์น˜

BigQuery Omni๋Š” ์ฟผ๋ฆฌ ์ค‘์ธ ํ…Œ์ด๋ธ”์ด ํฌํ•จ๋œ ๋ฐ์ดํ„ฐ ์„ธํŠธ์™€ ๋™์ผํ•œ ์œ„์น˜์— ์žˆ๋Š” ์ฟผ๋ฆฌ๋ฅผ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ๋งŒ๋“  ํ›„์—๋Š” ์ด ์œ„์น˜๋ฅผ ๋ณ€๊ฒฝํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๋Š” ์ž์ฒด AWS ๋˜๋Š” Azure ๊ณ„์ • ๋‚ด์— ์žˆ์Šต๋‹ˆ๋‹ค. BigQuery Omni ๋ฆฌ์ „์€ Enterprise ๋ฒ„์ „ ์˜ˆ์•ฝ๊ณผ ์ฃผ๋ฌธํ˜• ์ปดํ“จํŒ…(๋ถ„์„) ๊ฐ€๊ฒฉ ์ฑ…์ •์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ๋ฒ„์ „์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ BigQuery ๋ฒ„์ „ ์†Œ๊ฐœ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

๋ฆฌ์ „ ์„ค๋ช… ๋ฆฌ์ „ ์ด๋ฆ„ ๊ฐ™์€ ์œ„์น˜์— ๋ฐฐ์น˜๋œ BigQuery ๋ฆฌ์ „
AWS
AWS - ๋ฏธ๊ตญ ๋™๋ถ€(๋ถ ๋ฒ„์ง€๋‹ˆ์•„) aws-us-east-1 us-east4
AWS ๋ฏธ๊ตญ ์„œ๋ถ€(์˜ค๋ฆฌ๊ฑด) aws-us-west-2 us-west1
AWS - ์•„์‹œ์•„ ํƒœํ‰์–‘(์„œ์šธ) aws-ap-northeast-2 asia-northeast3
AWS - ์•„์‹œ์•„ ํƒœํ‰์–‘(์‹œ๋“œ๋‹ˆ) aws-ap-southeast-2 australia-southeast1
AWS - ์œ ๋Ÿฝ(์•„์ผ๋žœ๋“œ) aws-eu-west-1 europe-west1
AWS - ์œ ๋Ÿฝ(ํ”„๋ž‘ํฌํ‘ธ๋ฅดํŠธ) aws-eu-central-1 europe-west3
Azure
Azure - ๋ฏธ๊ตญ ๋™๋ถ€ 2 azure-eastus2 us-east4

๋‹ค์Œ ๋‹จ๊ณ„