BigQuery Omni ์๊ฐ
BigQuery Omni๋ฅผ ์ฌ์ฉํ๋ฉด BigLake ํ ์ด๋ธ์ ์ฌ์ฉํ์ฌ Amazon Simple Storage Service(Amazon S3) ๋๋ Azure Blob Storage์ ์ ์ฅ๋ ๋ฐ์ดํฐ์ ๋ํด BigQuery ๋ถ์์ ์คํํ ์ ์์ต๋๋ค.
๋ง์ ์กฐ์ง๋ค์ด ๋ฐ์ดํฐ๋ฅผ ํผ๋ธ๋ฆญ ํด๋ผ์ฐ๋์ ์ ์ฅํฉ๋๋ค. ํ์ง๋ง ๋ชจ๋ ๋ฐ์ดํฐ๋ก๋ถํฐ ์ ์ฉํ ์ ๋ณด๋ฅผ ์ป๋ ๊ฒ์ด ์ด๋ ต๊ธฐ ๋๋ฌธ์ ์ด๋ฌํ ๋ฐ์ดํฐ๊ฐ ๊ฒฐ๊ตญ ๊ณ ๋ฆฝ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ์ ๋ ดํ๊ณ , ๋น ๋ฅด๊ณ , ๋ถ์ฐ๋ ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค์ ๋ฐ๋ฅธ ์ถ๊ฐ ์ค๋ฒํค๋๋ฅผ ์ผ์ผํค์ง ์๋ ๋ฉํฐ ํด๋ผ์ฐ๋ ๋ฐ์ดํฐ ๋๊ตฌ๋ฅผ ์ฌ์ฉํด์ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ ์ ์์ด์ผ ํฉ๋๋ค. BigQuery Omni๋ฅผ ์ฌ์ฉํ๋ฉด ํตํฉ๋ ์ธํฐํ์ด์ค๋ฅผ ํตํด ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ์ค์ผ ์ ์์ต๋๋ค.
์ธ๋ถ ๋ฐ์ดํฐ์ ๋ํ BigQuery ๋ถ์์ ์คํํ๋ ค๋ฉด ๋จผ์ Amazon S3 ๋๋ Blob Storage์ ์ฐ๊ฒฐํด์ผ ํฉ๋๋ค. ์ธ๋ถ ๋ฐ์ดํฐ๋ฅผ ์ฟผ๋ฆฌํ๋ ค๋ฉด Amazon S3 ๋๋ Blob Storage ๋ฐ์ดํฐ๋ฅผ ์ฐธ์กฐํ๋ BigLake ํ ์ด๋ธ์ ๋ง๋ค์ด์ผ ํฉ๋๋ค.
BigQuery Omni ๋๊ตฌ
๋ค์ BigQuery Omni ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ์ธ๋ถ ๋ฐ์ดํฐ์ BigQuery ๋ถ์์ ์คํํ ์ ์์ต๋๋ค.
- ๊ต์ฐจ ํด๋ผ์ฐ๋ ์กฐ์ธ: BigQuery Omni ๋ฆฌ์ ์ ๋ฐ์ดํฐ๋ฅผ ์กฐ์ธํ ์ ์๋ BigQuery ๋ฆฌ์ ์์ ์ง์ ์ฟผ๋ฆฌ๋ฅผ ์คํํฉ๋๋ค.
- ๊ต์ฐจ ํด๋ผ์ฐ๋ ๊ตฌ์ฒดํ๋ ๋ทฐ: ๊ตฌ์ฒดํ๋ ๋ทฐ ๋ณต์ ๋ณธ์ ์ฌ์ฉํ์ฌ BigQuery Omni ๋ฆฌ์ ์ ๋ฐ์ดํฐ๋ฅผ ์ง์์ ์ผ๋ก ๋ณต์ ํฉ๋๋ค. ๋ฐ์ดํฐ ํํฐ๋ง์ ์ง์ํฉ๋๋ค.
SELECT
๋ฅผ ์ฌ์ฉํ ๊ต์ฐจ ํด๋ผ์ฐ๋ ์ ์ก: BigQuery Omni ๋ฆฌ์ ์์CREATE TABLE AS SELECT
๋๋INSERT INTO SELECT
๋ฌธ์ ์ฌ์ฉํ์ฌ ์ฟผ๋ฆฌ๋ฅผ ์คํํ๊ณ ๊ฒฐ๊ณผ๋ฅผ BigQuery ๋ฆฌ์ ์ผ๋ก ์ด๋ํฉ๋๋ค.LOAD
๋ฅผ ์ฌ์ฉํ ๊ต์ฐจ ํด๋ผ์ฐ๋ ์ ์ก:LOAD DATA
๋ฌธ์ ์ฌ์ฉํ์ฌ Amazon Simple Storage Service(Amazon S3) ๋๋ Azure Blob Storage์์ BigQuery๋ก ์ง์ ๋ฐ์ดํฐ๋ฅผ ๋ก๋ํฉ๋๋ค.
๋ค์ ํ์๋ ๊ฐ ๊ต์ฐจ ํด๋ผ์ฐ๋ ๋๊ตฌ์ ์ฃผ์ ๊ธฐ๋ฅ๊ณผ ๊ธฐ๋ฅ์ด ๊ฐ๋ตํ ๋์ ์์ต๋๋ค.
๊ต์ฐจ ํด๋ผ์ฐ๋ ์กฐ์ธ | ๊ต์ฐจ ํด๋ผ์ฐ๋ ๊ตฌ์ฒดํ๋ ๋ทฐ | SELECT ๋ฅผ ์ฌ์ฉํ ๊ต์ฐจ ํด๋ผ์ฐ๋ ์ ์ก |
LOAD ๋ฅผ ์ฌ์ฉํ ๊ต์ฐจ ํด๋ผ์ฐ๋ ์ ์ก |
|
---|---|---|---|---|
์ถ์ฒ ์ฌ์ฉ๋ | ์ผํ์ฑ์ผ๋ก ์ธ๋ถ ๋ฐ์ดํฐ๋ฅผ ์ฟผ๋ฆฌํฉ๋๋ค. ์ด๋ ๋ก์ปฌ ํ ์ด๋ธ๊ณผ ์กฐ์ธํ๊ฑฐ๋ ๋ ๊ฐ์ ์๋ก ๋ค๋ฅธ BigQuery Omni ๋ฆฌ์ (์: AWS ๋ฆฌ์ ๊ณผ Azure Blob Storage ๋ฆฌ์ ๊ฐ์ ๋ฐ์ดํฐ ์กฐ์ธ) ๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ์กฐ์ธํ ์ ์์ต๋๋ค. ๋ฐ์ดํฐ๊ฐ ํฌ์ง ์๊ณ ์บ์ฑ์ด ์ฃผ์ ์๊ตฌ์ฌํญ์ด ์๋ ๊ฒฝ์ฐ ๊ต์ฐจ ํด๋ผ์ฐ๋ ์กฐ์ธ์ ์ฌ์ฉํฉ๋๋ค. | ์บ์ฑ์ด ์ค์ํ ์๊ตฌ์ฌํญ์ธ ๊ฒฝ์ฐ ์ธ๋ถ ๋ฐ์ดํฐ๋ฅผ ์ ์ง์ ์ผ๋ก ์ง์์ ์ผ๋ก ์ ์กํ๋๋ก ๋ฐ๋ณต ๋๋ ์์ฝ๋ ์ฟผ๋ฆฌ๋ฅผ ์ค์ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด ๋์๋ณด๋๋ฅผ ์ ์ง ๊ด๋ฆฌํ๋ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค. | ์บ์ฑ ๋ฐ ์ฟผ๋ฆฌ ์ต์ ํ์ ๊ฐ์ ์๋ ์ ์ด๊ฐ ์ฃผ์ ์๊ตฌ์ฌํญ์ธ BigQuery Omni ๋ฆฌ์ ์์ BigQuery ๋ฆฌ์ ์ผ๋ก ์ผํ์ฑ์ผ๋ก ์ฌ์ฉํ ์ธ๋ถ ๋ฐ์ดํฐ๋ฅผ ์ฟผ๋ฆฌํ๋ ๊ฒฝ์ฐ, ๊ต์ฐจ ํด๋ผ์ฐ๋ ์กฐ์ธ ๋๋ ๊ต์ฐจ ํด๋ผ์ฐ๋ ๊ตฌ์ฒดํ๋ ๋ทฐ์์ ์ง์ํ์ง ์๋ ๋ณต์กํ ์ฟผ๋ฆฌ๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ | ํํฐ๋ง ์์ด ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๊ทธ๋๋ก ๋ง์ด๊ทธ๋ ์ด์ ํ๊ณ ์์ฝ๋ ์ฟผ๋ฆฌ๋ฅผ ์ฌ์ฉํ์ฌ ์์ ๋ฐ์ดํฐ๋ฅผ ์ด๋ |
๋ฐ์ดํฐ ์ด๋ ์ ํํฐ๋ง ์ง์ | ์. ํน์ ์ฟผ๋ฆฌ ์ฐ์ฐ์์๋ ํ๋๊ฐ ์ ์ฉ๋ฉ๋๋ค. ์์ธํ ๋ด์ฉ์ ๊ต์ฐจ ํด๋ผ์ฐ๋ ์กฐ์ธ ์ ํ์ฌํญ์ ์ฐธ๊ณ ํ์ธ์. | ์. ์ง๊ณ ํจ์ ๋ฐ UNION ์ฐ์ฐ์์ ๊ฐ์ ํน์ ์ฟผ๋ฆฌ ์ฐ์ฐ์์ ํ๋๊ฐ ์ ์ฉ๋ฉ๋๋ค. |
์. ์ฟผ๋ฆฌ ์ฐ์ฐ์์ ์ ํ์ด ์์ | ์๋์ |
์ ์ก ํฌ๊ธฐ ์ ํ | ์ ์ก๋น 60GB(์๊ฒฉ ๋ฆฌ์ ์ ๊ฐ ํ์ ์ฟผ๋ฆฌ๋ ์ ์ก 1๊ฐ๋ฅผ ์์ฑํจ) | ์ ํ ์์ | ์ ์ก๋น 60GB(์๊ฒฉ ๋ฆฌ์ ์ ๊ฐ ํ์ ์ฟผ๋ฆฌ๋ ์ ์ก 1๊ฐ๋ฅผ ์์ฑํจ) | ์ ํ ์์ |
๋ฐ์ดํฐ ์ ์ก ์์ถ | ์์ด์ด ์์ถ | ์ด ํ์ | ์์ด์ด ์์ถ | ์์ด์ด ์์ถ |
์บ์ฑ | ์ง์๋์ง ์์ | ๊ตฌ์ฒดํ๋ ๋ทฐ๊ฐ ์๋ ์บ์ ์ง์ ํ ์ด๋ธ์์ ์ง์๋จ | ์ง์๋์ง ์์ | ์ง์๋์ง ์์ |
์ด๊ทธ๋ ์ค ๊ฐ๊ฒฉ ์ฑ ์ | AWS ์ด๊ทธ๋ ์ค ๋ฐ ๋๋ฅ ๊ฐ ๋น์ฉ | AWS ์ด๊ทธ๋ ์ค ๋ฐ ๋๋ฅ ๊ฐ ๋น์ฉ | AWS ์ด๊ทธ๋ ์ค ๋ฐ ๋๋ฅ ๊ฐ ๋น์ฉ | AWS ์ด๊ทธ๋ ์ค ๋ฐ ๋๋ฅ ๊ฐ ๋น์ฉ |
๋ฐ์ดํฐ ์ ์ก์ ์ปดํจํ ์ฌ์ฉ๋ | ์์ค AWS ๋๋ Azure Blob Storage ๋ฆฌ์ ์ ์ฌ๋กฏ์ ์ฌ์ฉํฉ๋๋ค(์์ฝ ๋๋ ์ฃผ๋ฌธํ). | ์ฌ์ฉ๋์ง ์์ | ์์ค AWS ๋๋ Azure Blob Storage ๋ฆฌ์ ์ ์ฌ๋กฏ์ ์ฌ์ฉํฉ๋๋ค(์์ฝ ๋๋ ์ฃผ๋ฌธํ). | ์ฌ์ฉ๋์ง ์์ |
ํํฐ๋ง์ ์ํ ์ฌ์ฉ๋ ๊ณ์ฐ | ์์ค AWS ๋๋ Azure Blob Storage ๋ฆฌ์ ์ ์ฌ๋กฏ์ ์ฌ์ฉํฉ๋๋ค(์์ฝ ๋๋ ์ฃผ๋ฌธํ). | ๋ก์ปฌ ๊ตฌ์ฒดํ๋ ๋ทฐ์ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ๊ณ์ฐํ๊ธฐ ์ํด ์์ค AWS ๋๋ Azure Blob Storage ๋ฆฌ์ ์ ์ฌ๋กฏ(์์ฝ ๋๋ ์ฃผ๋ฌธํ)์ ์ฌ์ฉํฉ๋๋ค. | ์์ค AWS ๋๋ Azure Blob Storage ๋ฆฌ์ ์ ์ฌ๋กฏ์ ์ฌ์ฉํฉ๋๋ค(์์ฝ ๋๋ ์ฃผ๋ฌธํ). | ์ฌ์ฉ๋์ง ์์ |
์ฆ๋ถ ์ ์ก | ์ง์๋์ง ์์ | ๋น์ง๊ณ ๊ตฌ์ฒดํ๋ ๋ทฐ์์ ์ง์๋จ | ์ง์๋์ง ์์ | ์ง์๋์ง ์์ |
Amazon Simple Storage Service(Amazon S3) ๋๋ Azure Blob Storage์์ Google Cloud๋ก ๋ฐ์ดํฐ๋ฅผ ์ ์กํ๋ ๋ค์ ๋์์ ๊ณ ๋ คํด ๋ณผ ์๋ ์์ต๋๋ค.
- Storage Transfer Service: Google Cloud ์ Amazon Simple Storage Service(Amazon S3) ๋๋ Azure Blob Storage ๊ฐ์ ๊ฐ์ฒด ์ ์ฅ์์ ํ์ผ ์ ์ฅ์ ๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ์ ์กํฉ๋๋ค.
- BigQuery Data Transfer Service: ์ ํด์ง ์ผ์ ์ ๋ฐ๋ผ ๊ด๋ฆฌ๋๋ ๋ฐฉ์์ผ๋ก BigQuery๋ก ์๋ ๋ฐ์ดํฐ ์ ์ก์ ์ค์ ํฉ๋๋ค. ๋ค์ํ ์์ค๋ฅผ ์ง์ํ๋ฉฐ ๋ฐ์ดํฐ ์ด์ ์ ์ ํฉํฉ๋๋ค. BigQuery Data Transfer Service๋ ํํฐ๋ง์ ์ง์ํ์ง ์์ต๋๋ค.
์ํคํ ์ฒ
BigQuery ์ํคํ ์ฒ๋ ์คํ ๋ฆฌ์ง์์ ์ปดํจํ ์ ๋ถ๋ฆฌํ๊ณ ํ์์ ๋ฐ๋ผ ๋์ฉ๋ ์ํฌ๋ก๋๋ฅผ ์ฒ๋ฆฌํ๊ธฐ ์ํด BigQuery ์ํ ํ์ฅ์ ํ์ฉํฉ๋๋ค. BigQuery Omni๋ ๋ค๋ฅธ ํด๋ผ์ฐ๋์์ BigQuery ์ฟผ๋ฆฌ ์์ง์ ์คํํ์ฌ ์ด ์ํคํ ์ฒ๋ฅผ ํ์ฅํฉ๋๋ค. ๊ทธ ๊ฒฐ๊ณผ ๋ฐ์ดํฐ๋ฅผ BigQuery ์คํ ๋ฆฌ์ง๋ก ๋ฌผ๋ฆฌ์ ์ผ๋ก ์ด๋ํ ํ์๊ฐ ์์ต๋๋ค. ์ฒ๋ฆฌ ์์ ์ ๋ฐ์ดํฐ๊ฐ ์ด๋ฏธ ์๋ ์์น์์ ์ํ๋ฉ๋๋ค.
Google Cloud ์ฝ์์ ํ์ํ๋ ๊ฒ๊ณผ ๊ฐ์ด ๋ณด์ ์ฐ๊ฒฐ์ ํตํด ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๋ฅผ Google Cloud ๋ก ๋ฐํํ ์ ์์ต๋๋ค. ๋๋ ๊ฒฐ๊ณผ๋ฅผ Amazon S3 ๋ฒํท ๋๋ Blob Storage์ ์ง์ ๊ธฐ๋กํ ์ ์์ต๋๋ค. ์ด ๊ฒฝ์ฐ ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ์ ๋ํ ํด๋ผ์ฐ๋ ๊ฐ ์ด๋์ด ๋ฐ์ํ์ง ์์ต๋๋ค.
BigQuery Omni๋ ํ์ค AWS IAM ์ญํ ๋๋ Azure Active Directory ์์น์ ์ฌ์ฉํ์ฌ ๊ตฌ๋ ๋ฐ์ดํฐ์ ์ก์ธ์คํฉ๋๋ค. BigQuery Omni์ ์ฝ๊ธฐ ๋๋ ์ฐ๊ธฐ ์ก์ธ์ค๋ฅผ ์์ํ๊ณ ์ธ์ ๋ ์ง ์ก์ธ์ค ๊ถํ์ ์ทจ์ํ ์ ์์ต๋๋ค.
๋ฐ์ดํฐ ์ฟผ๋ฆฌ ์์ ๋ฐ์ดํฐ ํ๋ฆ
๋ค์ ์ด๋ฏธ์ง๋ ๋ค์ ์ฟผ๋ฆฌ์ ๋ํด Google Cloud ์ AWS ๋๋ Azure ๊ฐ์ ๋ฐ์ดํฐ๊ฐ ์ด๋ป๊ฒ ์ด๋ํ๋์ง ์ค๋ช ํฉ๋๋ค.
SELECT
๋ฌธCREATE EXTERNAL TABLE
๋ฌธ
- BigQuery ์ปจํธ๋กค ํ๋ ์ธ์Google Cloud ์ฝ์, bq ๋ช ๋ น์ค ๋๊ตฌ, API ๋ฉ์๋, ํด๋ผ์ด์ธํธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํตํด ์ฟผ๋ฆฌ ์์ ์ ์์ ํฉ๋๋ค.
- BigQuery ์ปจํธ๋กค ํ๋ ์ธ์ด ์ฒ๋ฆฌ๋ฅผ ์ํด ์ฟผ๋ฆฌ ์์ ์ AWS ๋๋ Azure์ BigQuery ๋ฐ์ดํฐ ์์ญ์ผ๋ก ์ ์กํฉ๋๋ค.
- BigQuery ๋ฐ์ดํฐ ์์ญ์ด VPN ์ฐ๊ฒฐ์ ํตํด ์ปจํธ๋กค ํ๋ ์ธ์ ์ฟผ๋ฆฌ๋ฅผ ์์ ํฉ๋๋ค.
- BigQuery ๋ฐ์ดํฐ ์์ญ์ Amazon S3 ๋ฒํท ๋๋ Blob Storage์์ ํ ์ด๋ธ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ต๋๋ค.
- BigQuery ๋ฐ์ดํฐ ์์ญ์ด ํ ์ด๋ธ ๋ฐ์ดํฐ์์ ์ฟผ๋ฆฌ ์์ ์ ์คํํฉ๋๋ค. ์ง์ ๋ AWS ๋๋ Azure ๋ฆฌ์ ์์ ํ ์ด๋ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๊ฐ ์ํ๋ฉ๋๋ค.
- ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๊ฐ VPN ์ฐ๊ฒฐ์ ํตํด ๋ฐ์ดํฐ ์์ญ์์ ์ปจํธ๋กค ํ๋ ์ธ์ผ๋ก ์ ์ก๋ฉ๋๋ค
- BigQuery ์ปจํธ๋กค ํ๋ ์ธ์ ์ฟผ๋ฆฌ ์์ ์ ๋ํ ์๋ต์ผ๋ก ํ์ํ ์ฟผ๋ฆฌ ์์ ๊ฒฐ๊ณผ๋ฅผ ์์ ํฉ๋๋ค. ์ด ๋ฐ์ดํฐ๋ ์ต๋ 24์๊ฐ ๋์ ์ ์ฅ๋ฉ๋๋ค.
- ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๊ฐ ๊ฐ๋ฐ์์๊ฒ ๋ฐํ๋ฉ๋๋ค.
์์ธํ ๋ด์ฉ์ Amazon S3 ๋ฐ์ดํฐ ๋ฐ Blob Storage ๋ฐ์ดํฐ ์ฟผ๋ฆฌ๋ฅผ ์ฐธ์กฐํ์ธ์.
๋ฐ์ดํฐ๋ฅผ ๋ด๋ณด๋ผ ๋์ ๋ฐ์ดํฐ ํ๋ฆ
๋ค์ ์ด๋ฏธ์ง๋ EXPORT DATA
๋ฌธ ์ค์ Google Cloud ์ AWS ๋๋ Azure ๊ฐ์ ๋ฐ์ดํฐ๊ฐ ์ด๋ป๊ฒ ์ด๋ํ๋์ง ์ค๋ช
ํฉ๋๋ค.
- BigQuery ์ปจํธ๋กค ํ๋ ์ธ์ Google Cloud ์ฝ์, bq ๋ช ๋ น์ค ๋๊ตฌ, API ๋ฉ์๋, ํด๋ผ์ด์ธํธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํตํด ๋ด๋ณด๋ด๊ธฐ ์ฟผ๋ฆฌ ์์ ์ ์์ ํฉ๋๋ค. ์ฟผ๋ฆฌ์๋ Amazon S3 ๋ฒํท ๋๋ Blob Storage์ ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ์ ๋ํ ๋์ ๊ฒฝ๋ก๊ฐ ํฌํจ๋ฉ๋๋ค.
- BigQuery ์ปจํธ๋กค ํ๋ ์ธ์ด ์ฒ๋ฆฌ๋ฅผ ์ํด ๋ด๋ณด๋ด๊ธฐ ์ฟผ๋ฆฌ ์์ ์ AWS ๋๋ Azure์ BigQuery ๋ฐ์ดํฐ ์์ญ์ผ๋ก ์ ์กํฉ๋๋ค.
- BigQuery ๋ฐ์ดํฐ ์์ญ์ VPN ์ฐ๊ฒฐ์ ํตํด ์ปจํธ๋กค ํ๋ ์ธ์ผ๋ก๋ถํฐ ๋ด๋ณด๋ด๊ธฐ ์ฟผ๋ฆฌ๋ฅผ ์์ ํฉ๋๋ค.
- BigQuery ๋ฐ์ดํฐ ์์ญ์ Amazon S3 ๋ฒํท ๋๋ Blob Storage์์ ํ ์ด๋ธ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ต๋๋ค.
- BigQuery ๋ฐ์ดํฐ ์์ญ์ด ํ ์ด๋ธ ๋ฐ์ดํฐ์์ ์ฟผ๋ฆฌ ์์ ์ ์คํํฉ๋๋ค. ์ง์ ๋ AWS ๋๋ Azure ๋ฆฌ์ ์์ ํ ์ด๋ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๊ฐ ์ํ๋ฉ๋๋ค.
- BigQuery๋ ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๋ฅผ Amazon S3 ๋ฒํท ๋๋ Blob Storage์ ์ง์ ๋ ๋์ ๊ฒฝ๋ก์ ๊ธฐ๋กํฉ๋๋ค.
์์ธํ ๋ด์ฉ์ Amazon S3 ๋ฐ Blob Storage๋ก ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ ๋ด๋ณด๋ด๊ธฐ๋ฅผ ์ฐธ์กฐํ์ธ์.
์ด์
์ฑ๋ฅ. ๋ฐ์ดํฐ๋ฅผ ํด๋ผ์ฐ๋ ๊ฐ์ ๋ณต์ฌํ์ง ์๊ณ ๋ฐ์ดํฐ๊ฐ ์๋ ๋ฆฌ์ ๊ณผ ๋์ผํ ๋ฆฌ์ ์์ ์ฟผ๋ฆฌ๊ฐ ์คํ๋์ด ๋์ฑ ๋น ๋ฅด๊ฒ ์ ์ฉํ ์ ๋ณด๋ฅผ ์ป์ ์ ์์ต๋๋ค.
๋น์ฉ. ๋ฐ์ดํฐ๊ฐ ์ด๋ํ์ง ์์ผ๋ฏ๋ก ์์๋ฐ์ด๋ ๋ฐ์ดํฐ ์ ์ก ๋น์ฉ์ด ์ ์ฝ๋ฉ๋๋ค. Google์์ ๊ด๋ฆฌ๋๋ ํด๋ฌ์คํฐ์์ ์ฟผ๋ฆฌ๊ฐ ์คํ๋๊ธฐ ๋๋ฌธ์ BigQuery Omni ๋ถ์๊ณผ ๊ด๋ จ๋ AWS ๋๋ Azure ๊ณ์ ์ ์ถ๊ฐ ๋น์ฉ์ด ๋ฐ์ํ์ง ์์ต๋๋ค. BigQuery ๊ฐ๊ฒฉ ์ฑ ์ ๋ชจ๋ธ์ ๋ฐ๋ผ ์ฟผ๋ฆฌ ์คํ์ ๋ํด์๋ง ๋น์ฉ์ด ์ฒญ๊ตฌ๋ฉ๋๋ค.
๋ณด์ ๋ฐ ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค. ์์ฒด AWS ๋๋ Azure ๊ตฌ๋ ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ๊ด๋ฆฌํฉ๋๋ค. ํผ๋ธ๋ฆญ ํด๋ผ์ฐ๋ ๋ฐ๊นฅ์ผ๋ก ์์ ๋ฐ์ดํฐ๋ฅผ ์ด๋ํ๊ฑฐ๋ ๋ณต์ฌํ ํ์๊ฐ ์์ต๋๋ค. ๋ชจ๋ ๊ณ์ฐ์ ๋ฐ์ดํฐ์ ๋์ผํ ๋ฆฌ์ ๋ด์์ ์คํ๋๋ BigQuery ๋ฉํฐ ํ ๋ํธ ์๋น์ค์์ ๋ฐ์ํฉ๋๋ค.
์๋ฒ๋ฆฌ์ค ์ํคํ ์ฒ. ๋๋จธ์ง BigQuery์ ๋ง์ฐฌ๊ฐ์ง๋ก BigQuery Omni๋ ์๋ฒ๋ฆฌ์ค ์ ํ์ ๋๋ค. Google์ BigQuery Omni๋ฅผ ์คํํ๋ ํด๋ฌ์คํฐ๋ฅผ ๋ฐฐํฌํ๊ณ ๊ด๋ฆฌํฉ๋๋ค. ๋ฆฌ์์ค๋ฅผ ํ๋ก๋น์ ๋ํ๊ฑฐ๋ ํด๋ฌ์คํฐ๋ฅผ ๊ด๋ฆฌํ ํ์๊ฐ ์์ต๋๋ค.
๊ด๋ฆฌ ์ฉ์ด์ฑ. BigQuery Omni๋ Google Cloud๋ฅผ ํตํด ํตํฉ๋ ๊ด๋ฆฌ ์ธํฐํ์ด์ค๋ฅผ ์ ๊ณตํฉ๋๋ค. BigQuery Omni๋ ๊ธฐ์กด Google Cloud ๊ณ์ ๋ฐ BigQuery ํ๋ก์ ํธ๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. Google Cloud ์ฝ์์์ GoogleSQL ์ฟผ๋ฆฌ๋ฅผ ์์ฑํ์ฌ AWS ๋๋ Azure์์ ๋ฐ์ดํฐ๋ฅผ ์ฟผ๋ฆฌํ๊ณ Google Cloud ์ฝ์์ ํ์๋ ๊ฒฐ๊ณผ๋ฅผ ํ์ธํ ์ ์์ต๋๋ค.
๊ต์ฐจ ํด๋ผ์ฐ๋ ์ ์ก. S3 ๋ฒํท ๋ฐ Blob Storage์์ ํ์ค BigQuery ํ ์ด๋ธ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ก๋ํ ์ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ Amazon S3 ๋ฐ์ดํฐ ๋ฐ Blob Storage ๋ฐ์ดํฐ๋ฅผ BigQuery๋ก ์ ์ก์ ์ฐธ์กฐํ์ธ์.
์ฑ๋ฅ์ ์ํ ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ
์บ์๋ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ์ฌ Amazon S3 ๋ฐ์ดํฐ๋ฅผ ์ฐธ์กฐํ๋ BigLake ํ ์ด๋ธ์ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ํฅ์์ํต๋๋ค. ์ด ๋ฐฉ๋ฒ์ ๋ง์ ํ์ผ๋ก ์์ ํ๊ฑฐ๋ ๋ฐ์ดํฐ๊ฐ Apache Hive๋ก ๋ถํ ๋๋ ๊ฒฝ์ฐ์ ํนํ ์ ์ฉํฉ๋๋ค.
BigQuery๋ CMETA๋ฅผ ๋ถ์ฐ ๋ฉํ๋ฐ์ดํฐ ์์คํ ์ผ๋ก ์ฌ์ฉํ์ฌ ๋๊ท๋ชจ ํ ์ด๋ธ์ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค. CMETA๋ ์์คํ ํ ์ด๋ธ์ ํตํด ์ก์ธ์คํ ์ ์๋ ์ด ๋ฐ ๋ธ๋ก ์์ค์ ์ธ๋ถํ๋ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ด ์์คํ ์ ๋ฐ์ดํฐ ์ก์ธ์ค ๋ฐ ์ฒ๋ฆฌ๋ฅผ ์ต์ ํํ์ฌ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ๊ฐ์ ํ๋ ๋ฐ ๋์์ด ๋ฉ๋๋ค. ๋์ฉ๋ ํ ์ด๋ธ์์ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ๋์ฑ ๊ฐ์ํํ๊ธฐ ์ํด BigQuery๋ ๋ฉํ๋ฐ์ดํฐ ์บ์๋ฅผ ์ ์งํฉ๋๋ค. CMETA ์๋ก๊ณ ์นจ ์์ ์ ์ด ์บ์๋ฅผ ์ต์ ์ํ๋ก ์ ์งํฉ๋๋ค.๋ฉํ๋ฐ์ดํฐ์๋ ํ์ผ ์ด๋ฆ, ํํฐ์ ๋ ์ ๋ณด, ํ ์์ ๊ฐ์ ํ์ผ์ ๋ฌผ๋ฆฌ์ ๋ฉํ๋ฐ์ดํฐ๊ฐ ํฌํจ๋ฉ๋๋ค. ํ ์ด๋ธ์์ ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉ ์ค์ ํ ์ง ์ฌ๋ถ๋ฅผ ์ ํํ ์ ์์ต๋๋ค. ํ์ผ ์๊ฐ ๋ ๋ง๊ณ Apache Hive ํํฐ์ ํํฐ๊ฐ ํฌํจ๋ ์ฟผ๋ฆฌ๋ ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ ์ด์ ์ ๊ทน๋ํํ ์ ์์ต๋๋ค.
๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉ ์ค์ ํ์ง ์์ผ๋ฉด ํ ์ด๋ธ์ ์ฟผ๋ฆฌ์์ ์ธ๋ถ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฝ์ด ๊ฐ์ฒด ๋ฉํ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์์ผ ํฉ๋๋ค. ์ด ๋ฐ์ดํฐ๋ฅผ ์ฝ์ผ๋ฉด ์ฟผ๋ฆฌ ์ง์ฐ ์๊ฐ์ด ๋์ด๋๋ฏ๋ก ์ธ๋ถ ๋ฐ์ดํฐ ์์ค์์ ์๋ฐฑ๋ง ๊ฐ์ ํ์ผ์ ๋์ดํ๋ ๋ฐ ๋ช ๋ถ ์ ๋ ๊ฑธ๋ฆด ์ ์์ต๋๋ค. ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉ ์ค์ ํ๋ฉด ์ฟผ๋ฆฌ๊ฐ ์ธ๋ถ ๋ฐ์ดํฐ ์์ค์์ ํ์ผ์ ๋์ดํ์ง ์๊ณ ํํฐ์ ๊ณผ ํ์ผ ํ๋ฃจ๋์ ๋ ๋น ๋ฅด๊ฒ ์ํํ ์ ์์ต๋๋ค.
๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ Cloud Storage ๊ฐ์ฒด ๋ฒ์ ๊ด๋ฆฌ์๋ ํตํฉ๋ฉ๋๋ค. ์บ์๊ฐ ์ฑ์์ง๊ฑฐ๋ ์๋ก๊ณ ์นจ๋๋ฉด ๋น์์ Cloud Storage ๊ฐ์ฒด์ ๋ผ์ด๋ธ ๋ฒ์ ์ ๊ธฐ๋ฐ์ผ๋ก ๋ฉํ๋ฐ์ดํฐ๊ฐ ์บก์ฒ๋ฉ๋๋ค. ๋ฐ๋ผ์ ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ด ์ฌ์ฉ ์ค์ ๋ ์ฟผ๋ฆฌ๋ Cloud Storage์์ ์ต์ ๋ฒ์ ์ด ๋ผ์ด๋ธ๊ฐ ๋๋๋ผ๋ ์บ์๋ ํน์ ๊ฐ์ฒด ๋ฒ์ ์ ํด๋นํ๋ ๋ฐ์ดํฐ๋ฅผ ์ฝ์ต๋๋ค. Cloud Storage์์ ์ดํ์ ์ ๋ฐ์ดํธ๋ ๊ฐ์ฒด ๋ฒ์ ์ ๋ฐ์ดํฐ์ ์ก์ธ์คํ๋ ค๋ฉด ๋ฉํ๋ฐ์ดํฐ ์บ์๋ฅผ ์๋ก๊ณ ์นจํด์ผ ํฉ๋๋ค.
์ด ๊ธฐ๋ฅ์ ์ ์ดํ๋ ๋ ๊ฐ์ง ์์ฑ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ์ต๋ ๋นํ์ฑ์ ์ฟผ๋ฆฌ์์ ์บ์๋ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ๋ ์์ ์ ์ง์ ํฉ๋๋ค.
- ๋ฉํ๋ฐ์ดํฐ ์บ์ ๋ชจ๋๋ ๋ฉํ๋ฐ์ดํฐ๊ฐ ์์ง๋๋ ๋ฐฉ์์ ์ง์ ํฉ๋๋ค.
๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉ ์ค์ ํ์ผ๋ฉด ํ ์ด๋ธ ์์ ์ ํ์ฉ๋๋ ๋ฉํ๋ฐ์ดํฐ ๋นํ์ฑ ๊ฐ๊ฒฉ์ ์ต๋ํ์ผ๋ก ์ง์ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด 1์๊ฐ ๊ฐ๊ฒฉ์ ์ง์ ํ๋ฉด ์ด์ ํ ์๊ฐ ๋ด์ ์๋ก๊ณ ์นจ๋ ๊ฒฝ์ฐ ํ ์ด๋ธ ์์ ์ ์บ์๋ ๋ฉํ๋ฐ์ดํฐ๊ฐ ์ฌ์ฉ๋ฉ๋๋ค. ์บ์๋ ๋ฉํ๋ฐ์ดํฐ๊ฐ ์ด๋ณด๋ค ์ค๋๋ ๊ฒฝ์ฐ ์์ ์ ๋์ Amazon S3์์ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ๊ฒ์ํ๋๋ก ๋๋์๊ฐ๋๋ค. ๋นํ์ฑ ๊ฐ๊ฒฉ์ 30๋ถ๋ถํฐ 7์ผ๊น์ง๋ก ์ง์ ํ ์ ์์ต๋๋ค.
BigLake ๋๋ ๊ฐ์ฒด ํ ์ด๋ธ์ ๋ํด ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉ ์ค์ ํ๋ฉด BigQuery์์ ๋ฉํ๋ฐ์ดํฐ ์์ฑ ์๋ก๊ณ ์นจ ์์ ์ ํธ๋ฆฌ๊ฑฐํฉ๋๋ค. ์บ์๋ฅผ ์๋ ๋๋ ์๋์ผ๋ก ์๋ก๊ณ ์นจํ๋๋ก ์ ํํ ์ ์์ต๋๋ค.
- ์๋ ์๋ก๊ณ ์นจ์ ๊ฒฝ์ฐ ์ผ๋ฐ์ ์ผ๋ก 30๋ถ์์ 60๋ถ ์ฌ์ด๋ก ์์คํ ์์ ์ ์๋ ๊ฐ๊ฒฉ์ผ๋ก ์บ์๊ฐ ์๋ก๊ณ ์นจ๋ฉ๋๋ค. Amazon S3์ ํ์ผ์ด ๋ฌด์์ ๊ฐ๊ฒฉ์ผ๋ก ์ถ๊ฐ, ์ญ์ , ์์ ๋ ๊ฒฝ์ฐ์๋ ์บ์๋ฅผ ์๋์ผ๋ก ์๋ก๊ณ ์นจํ๋ ๊ฒ์ด ์ข์ต๋๋ค. ์ถ์ถ-๋ณํ-๋ก๋ ์์ ์ด ๋๋ ๋ ์๋ก๊ณ ์นจ์ ํธ๋ฆฌ๊ฑฐํ ๋์ ๊ฐ์ด ์๋ก๊ณ ์นจ ์๊ฐ์ ์ ์ดํด์ผ ํ ๊ฒฝ์ฐ์๋ ์๋ ์๋ก๊ณ ์นจ์ ์ฌ์ฉํฉ๋๋ค.
์๋ ์๋ก๊ณ ์นจ์ ๊ฒฝ์ฐ
BQ.REFRESH_EXTERNAL_METADATA_CACHE
์์คํ ํ๋ก์์ ๋ฅผ ์คํํ์ฌ ์๊ตฌ์ฌํญ์ ์ถฉ์กฑํ๋ ์ผ์ ์ ๋ฐ๋ผ ๋ฉํ๋ฐ์ดํฐ ์บ์๋ฅผ ์๋ก๊ณ ์นจํฉ๋๋ค. Amazon S3์ ํ์ผ์ด ํ์ดํ๋ผ์ธ ์ถ๋ ฅ๊ณผ ๊ฐ์ด ์๋ ค์ง ๊ฐ๊ฒฉ์ผ๋ก ์ถ๊ฐ, ์ญ์ , ์์ ๋ ๊ฒฝ์ฐ์๋ ์บ์๋ฅผ ์๋์ผ๋ก ์๋ก๊ณ ์นจํ๋ ๊ฒ์ด ์ข์ต๋๋ค.์ฌ๋ฌ ๋ฒ์ ์๋ ์๋ก๊ณ ์นจ์ ๋์์ ์ํํ๋ฉด ํ๋๋ง ์ฑ๊ณตํฉ๋๋ค.
๋ฉํ๋ฐ์ดํฐ ์บ์๋ ์๋ก๊ณ ์นจ๋์ง ์์ ๊ฒฝ์ฐ 7์ผ ํ ๋ง๋ฃ๋ฉ๋๋ค.
์๋ ๋ฐ ์๋ ์บ์ ์๋ก๊ณ ์นจ ๋ชจ๋ INTERACTIVE
์ฟผ๋ฆฌ ์ฐ์ ์์๋ก ์คํ๋ฉ๋๋ค.
BACKGROUND
์์ฝ ์ฌ์ฉ
์๋ ์๋ก๊ณ ์นจ์ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ๋ฉํ๋ฐ์ดํฐ ์บ์ ์๋ก๊ณ ์นจ ์์
์ ์คํํ๋ ํ๋ก์ ํธ์ ๋ํด ์์ฝ์ ๋ง๋ ํ BACKGROUND
์์
์ ํ์ผ๋ก ํ ๋น์ ๋ง๋๋ ๊ฒ์ด ์ข์ต๋๋ค. BACKGROUND
์์ฝ์ ์ฌ์ฉํ๋ฉด ์๋ก๊ณ ์นจ ์์
์ด ์ ์ฉ ๋ฆฌ์์ค ํ์ ์ฌ์ฉํ๋ฏ๋ก ์๋ก๊ณ ์นจ ์์
์ด ์ฌ์ฉ์ ์ฟผ๋ฆฌ์ ๊ฒฝ์ํ์ง ์์ผ๋ฉฐ ์ฌ์ฉํ ์ ์๋ ๋ฆฌ์์ค๊ฐ ์ถฉ๋ถํ์ง ์์ ๊ฒฝ์ฐ ์์
์ด ์คํจํ ๊ฐ๋ฅ์ฑ์ ์ค์ฌ์ค๋๋ค.
๊ณต์ ์ฌ๋กฏ ํ์ ์ฌ์ฉํด๋ ์ถ๊ฐ ๋น์ฉ์ด ๋ค์ง ์์ง๋ง ๋์ BACKGROUND
์์ฝ์ ์ฌ์ฉํ๋ฉด ์ ์ฉ ๋ฆฌ์์ค ํ์ ํ ๋นํ์ฌ ๋ ์ผ๊ด๋ ์ฑ๋ฅ์ ์ ๊ณตํ๊ณ BigQuery์์ ์๋ก๊ณ ์นจ ์์
์ ์์ ์ฑ๊ณผ ์ ๋ฐ์ ์ธ ์ฟผ๋ฆฌ ํจ์จ์ฑ์ ๊ฐ์ ํ ์ ์์ต๋๋ค.
์ค์ ํ๊ธฐ ์ ๋นํ์ฑ ๊ฐ๊ฒฉ ๋ฐ ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ ๋ชจ๋ ๊ฐ์ด ์ํธ์์ฉํ๋ ๋ฐฉ์์ ๊ณ ๋ คํด์ผ ํฉ๋๋ค. ๋ค์ ์๋ฅผ ๊ณ ๋ คํ์ธ์.
- ํ
์ด๋ธ์ ๋ํด ๋ฉํ๋ฐ์ดํฐ ์บ์๋ฅผ ์๋์ผ๋ก ์๋ก๊ณ ์นจํ ๋ ๋นํ์ฑ ๊ฐ๊ฒฉ์ 2์ผ๋ก ์ค์ ํ๋ฉด ํ
์ด๋ธ ์์
์ ์บ์๋ ๋ฉํ๋ฐ์ดํฐ๊ฐ ์ฌ์ฉ๋๋๋ก ํ๋ ค๋ฉด
BQ.REFRESH_EXTERNAL_METADATA_CACHE
์์คํ ํ๋ก์์ ๋ฅผ 2์ผ ์ด๋ด ๊ฐ๊ฒฉ์ผ๋ก ์คํํด์ผ ํฉ๋๋ค. - ํ ์ด๋ธ์ ๋ฉํ๋ฐ์ดํฐ ์บ์๋ฅผ ์๋์ผ๋ก ์๋ก๊ณ ์นจํ๊ณ ๋นํ์ฑ ๊ฐ๊ฒฉ์ 30๋ถ์ผ๋ก ์ค์ ํ ๊ฒฝ์ฐ ๋ฉํ๋ฐ์ดํฐ ์บ์ ์๋ก๊ณ ์นจ์ด ์ผ๋ฐ์ ์ธ 30๋ถ~60๋ถ ๊ธฐ๊ฐ๋ณด๋ค ๊ธธ์ด์ง๋ฉด ํ ์ด๋ธ์ ๋ํ ์ผ๋ถ ์์ ์ด Amazon S3์์ ์ฝ์ ์ ์์ต๋๋ค.
๋ฉํ๋ฐ์ดํฐ ์๋ก๊ณ ์นจ ์์
์ ๋ํ ์ ๋ณด๋ฅผ ๋ณด๋ ค๋ฉด ๋ค์ ์์์ ํ์๋ ๊ฒ์ฒ๋ผ INFORMATION_SCHEMA.JOBS
๋ทฐ๋ฅผ ์ฟผ๋ฆฌํฉ๋๋ค.
SELECT * FROM `region-us.INFORMATION_SCHEMA.JOBS_BY_PROJECT` WHERE job_id LIKE '%metadata_cache_refresh%' AND creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 6 HOUR) ORDER BY start_time DESC LIMIT 10;
์์ธํ ๋ด์ฉ์ ๋ฉํ๋ฐ์ดํฐ ์บ์ฑ์ ์ฐธ์กฐํ์ธ์.
๊ตฌ์ฒดํ๋ ๋ทฐ๊ฐ ์๋ ์บ์ ์ง์ ํ ์ด๋ธ
Amazon S3์ ์ ์ฅ๋ ์ ํ ๋ฐ์ดํฐ๋ฅผ ์ฟผ๋ฆฌํ ๋ Amazon Simple Storage Service(Amazon S3) ๋ฉํ๋ฐ์ดํฐ ์บ์ ์ง์ ํ ์ด๋ธ์ ํตํด ๊ตฌ์ฒดํ๋ ๋ทฐ๋ฅผ ์ฌ์ฉํ์ฌ ์ฑ๋ฅ๊ณผ ํจ์จ์ฑ์ ๊ฐ์ ํ ์ ์์ต๋๋ค. ์ด๋ฌํ ๊ตฌ์ฒดํ๋ ๋ทฐ๋ ์๋ ์๋ก๊ณ ์นจ ๋ฐ ์ค๋งํธ ์กฐ์ ์ ์ด์ ์ ํฌํจํ์ฌ BigQuery ๊ด๋ฆฌํ ์คํ ๋ฆฌ์ง ํ ์ด๋ธ์ ํตํ ๊ตฌ์ฒดํ๋ ๋ทฐ์ฒ๋ผ ์๋ํฉ๋๋ค.
์กฐ์ธ์ ์ง์๋๋ BigQuery ๋ฆฌ์ ์์ ๊ตฌ์ฒดํ๋ ๋ทฐ์ Amazon S3 ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ ์ ์๋๋ก ํ๋ ค๋ฉด ๊ตฌ์ฒดํ๋ ๋ทฐ์ ๋ณต์ ๋ณธ์ ๋ง๋ญ๋๋ค. ์น์ธ๋ ๊ตฌ์ฒดํ๋ ๋ทฐ๋ฅผ ํตํด์๋ง ๊ตฌ์ฒดํ๋ ๋ทฐ ๋ณต์ ๋ณธ์ ๋ง๋ค ์ ์์ต๋๋ค.
์ ํ์ฌํญ
BigLake ํ ์ด๋ธ ์ ํ์ฌํญ ์ธ์๋ Amazon S3 ๋ฐ Blob Storage ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ BigLake ํ ์ด๋ธ์ด ํฌํจ๋ BigQuery Omni์๋ ๋ค์ ์ ํ์ฌํญ์ด ์ ์ฉ๋ฉ๋๋ค.
- BigQuery Omni ๋ฆฌ์ ์์์ ๋ฐ์ดํฐ ์์ ์ Standard ๋ฐ Enterprise Plus ๋ฒ์ ์์ ์ง์๋์ง ์์ต๋๋ค. ๋ฒ์ ์ ๋ํ ์์ธํ ๋ด์ฉ์ BigQuery ๋ฒ์ ์๊ฐ๋ฅผ ์ฐธ์กฐํ์ธ์.
- Amazon S3 ๋ฐ Blob Storage ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ๋ BigLake ํ
์ด๋ธ์๋
OBJECT_PRIVILEGES
,STREAMING_TIMELINE_BY_*
,TABLE_SNAPSHOTS
,TABLE_STORAGE
,TABLE_CONSTRAINTS
,KEY_COLUMN_USAGE
,CONSTRAINT_COLUMN_USAGE
,PARTITIONS
INFORMATION_SCHEMA
๋ทฐ๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. - Blob ์คํ ๋ฆฌ์ง์๋ ๊ตฌ์ฒดํ๋ ๋ทฐ๊ฐ ์ง์๋์ง ์์ต๋๋ค.
- JavaScript UDF๋ ์ง์๋์ง ์์ต๋๋ค.
๋ค์ SQL ๋ฌธ์ด ์ง์๋์ง ์์ต๋๋ค.
- BigQuery ML ๋ฌธ.
- BigQuery์์ ๊ด๋ฆฌ๋๋ ๋ฐ์ดํฐ๋ฅผ ํ์๋ก ํ๋ ๋ฐ์ดํฐ ์ ์ ์ธ์ด(DDL) ๋ฌธ. ์๋ฅผ ๋ค์ด
CREATE EXTERNAL TABLE
,CREATE SCHEMA
,CREATE RESERVATION
์ด ์ง์๋์ง๋งCREATE TABLE
์ด ์ง์๋์ง ์์ต๋๋ค. - DML(Data manipulation language) ๋ฌธ.
๋์ ์์ ํ ์ด๋ธ ์ฟผ๋ฆฌ ๋ฐ ์ฝ๊ธฐ์๋ ๋ค์ ์ ํ์ฌํญ์ด ์ ์ฉ๋ฉ๋๋ค.
SELECT
๋ฌธ์ ํฌํจํ๋ ๋์ ์์ ํ ์ด๋ธ ์ฟผ๋ฆฌ๋ ์ง์๋์ง ์์ต๋๋ค.
์์ฝ๋ ์ฟผ๋ฆฌ๋ API ๋๋ CLI ๋ฉ์๋๋ฅผ ํตํด์๋ง ์ง์๋ฉ๋๋ค. ์ฟผ๋ฆฌ์๋ ๋์ ํ ์ด๋ธ ์ต์ ์ด ์ฌ์ฉ ์ค์ง๋์ด ์์ต๋๋ค.
EXPORT DATA
์ฟผ๋ฆฌ๋ง ํ์ฉ๋ฉ๋๋ค.BigQuery Storage API๋ฅผ BigQuery Omni ๋ฆฌ์ ์์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
์ฟผ๋ฆฌ์์
ORDER BY
์ ์ ์ฌ์ฉํ๊ณ ๊ฒฐ๊ณผ ํฌ๊ธฐ๊ฐ 256MB๋ณด๋ค ํฌ๋ฉด ์ฟผ๋ฆฌ๊ฐ ์คํจํฉ๋๋ค. ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ค๋ฉด ๊ฒฐ๊ณผ ํฌ๊ธฐ๋ฅผ ์ค์ด๊ฑฐ๋ ์ฟผ๋ฆฌ์์ORDER BY
์ ์ ์ญ์ ํฉ๋๋ค. BigQuery Omni ํ ๋น๋์ ๋ํ ์์ธํ ๋ด์ฉ์ ํ ๋น๋ ๋ฐ ํ๋๋ฅผ ์ฐธ์กฐํ์ธ์.๋ฐ์ดํฐ ์ธํธ ๋ฐ ์ธ๋ถ ํ ์ด๋ธ๊ณผ ํจ๊ป ๊ณ ๊ฐ ๊ด๋ฆฌ ์ํธํ ํค(CMEK)๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
๊ฐ๊ฒฉ ์ฑ ์
BigQuery Omni์ ๊ฐ๊ฒฉ ์ฑ ์ ๋ฐ ๊ธฐ๊ฐ ํ์ ํํ์ ๋ํด์๋ BigQuery Omni ๊ฐ๊ฒฉ ์ฑ ์ ์ ์ฐธ์กฐํ์ธ์.
ํ ๋น๋ ๋ฐ ํ๋
BigQuery Omni ํ ๋น๋์ ๋ํ ์์ธํ ๋ด์ฉ์ ํ ๋น๋ ๋ฐ ํ๋๋ฅผ ์ฐธ์กฐํ์ธ์.
์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๊ฐ 20GiB๋ณด๋ค ํฌ๋ฉด ๊ฒฐ๊ณผ๋ฅผ Amazon S3 ๋๋ Blob Storage๋ก ๋ด๋ณด๋ด๋ ๊ฒ์ด ์ข์ต๋๋ค. BigQuery Connection API์ ํ ๋น๋์ ๋ํ ์์ธํ ๋ด์ฉ์ BigQuery Connection API๋ฅผ ์ฐธ์กฐํ์ธ์.
์์น
BigQuery Omni๋ ์ฟผ๋ฆฌ ์ค์ธ ํ ์ด๋ธ์ด ํฌํจ๋ ๋ฐ์ดํฐ ์ธํธ์ ๋์ผํ ์์น์ ์๋ ์ฟผ๋ฆฌ๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค. ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๋ง๋ ํ์๋ ์ด ์์น๋ฅผ ๋ณ๊ฒฝํ ์ ์์ต๋๋ค. ๋ฐ์ดํฐ๋ ์์ฒด AWS ๋๋ Azure ๊ณ์ ๋ด์ ์์ต๋๋ค. BigQuery Omni ๋ฆฌ์ ์ Enterprise ๋ฒ์ ์์ฝ๊ณผ ์ฃผ๋ฌธํ ์ปดํจํ (๋ถ์) ๊ฐ๊ฒฉ ์ฑ ์ ์ ์ง์ํฉ๋๋ค. ๋ฒ์ ์ ๋ํ ์์ธํ ๋ด์ฉ์ BigQuery ๋ฒ์ ์๊ฐ๋ฅผ ์ฐธ์กฐํ์ธ์.
๋ฆฌ์ ์ค๋ช | ๋ฆฌ์ ์ด๋ฆ | ๊ฐ์ ์์น์ ๋ฐฐ์น๋ BigQuery ๋ฆฌ์ | |
---|---|---|---|
AWS | |||
AWS - ๋ฏธ๊ตญ ๋๋ถ(๋ถ ๋ฒ์ง๋์) | aws-us-east-1 |
us-east4 |
|
AWS ๋ฏธ๊ตญ ์๋ถ(์ค๋ฆฌ๊ฑด) | aws-us-west-2 |
us-west1 |
|
AWS - ์์์ ํํ์(์์ธ) | aws-ap-northeast-2 |
asia-northeast3 |
|
AWS - ์์์ ํํ์(์๋๋) | aws-ap-southeast-2 |
australia-southeast1 |
|
AWS - ์ ๋ฝ(์์ผ๋๋) | aws-eu-west-1 |
europe-west1 |
|
AWS - ์ ๋ฝ(ํ๋ํฌํธ๋ฅดํธ) | aws-eu-central-1 |
europe-west3 |
|
Azure | |||
Azure - ๋ฏธ๊ตญ ๋๋ถ 2 | azure-eastus2 |
us-east4 |
๋ค์ ๋จ๊ณ
- Amazon S3 ๋ฐ Blob Storage์ ์ฐ๊ฒฐํ๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
- Amazon S3 ๋ฐ Blob Storage BigLake ํ ์ด๋ธ์ ๋ง๋๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
- Amazon S3 ๋ฐ Blob Storage BigLake ํ ์ด๋ธ์ ์ฟผ๋ฆฌํ๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
- ๊ต์ฐจ ํด๋ผ์ฐ๋ ์กฐ์ธ์ ์ฌ์ฉํ์ฌ Google Cloud ํ ์ด๋ธ๊ณผ Amazon S3 ๋ฐ Blob Storage BigLake ํ ์ด๋ธ์ ์กฐ์ธํ๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
- Amazon S3 ๋ฐ Blob Storage๋ก ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ๋ฅผ ๋ด๋ณด๋ด๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
- Amazon S3 ๋ฐ Blob Storage์์ BigQuery๋ก ๋ฐ์ดํฐ๋ฅผ ์ ์กํ๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
- VPC ์๋น์ค ์ ์ด ๊ฒฝ๊ณ ์ค์ ์์๋ณด๊ธฐ
- ์์น ์ง์ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ