์ปค์คํ ์ฟผ๋ฆฌ ํ ๋น๋ ๋ง๋ค๊ธฐ
์ด ๋ฌธ์์์๋ ๋น์ฉ์ ๊ด๋ฆฌํ๊ธฐ ์ํด ์ปค์คํ ์ฟผ๋ฆฌ ํ ๋น๋์ ์ค์ ๋๋ ์์ ํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช ํฉ๋๋ค. BigQuery ๋ถ์๊ฐ๊ฐ ๋น์ฉ์ ์ถ์ ํ๊ณ ๊ด๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ์์๋ณด๋ ค๋ฉด ๋น์ฉ ์ถ์ ๋ฐ ๊ด๋ฆฌ๋ฅผ ์ฐธ๊ณ ํ์ธ์.
BigQuery ํ๋ก์ ํธ์ ์ฌ์ฉ์์ ์๊ฐ ๋ง์ ๊ฒฝ์ฐ์๋ ์ปค์คํ ์ฟผ๋ฆฌ ํ ๋น๋์ ์์ฒญํ์ฌ ํ๋ฃจ์ ์ฒ๋ฆฌ๋๋ ์ฟผ๋ฆฌ ๋ฐ์ดํฐ ์์ ํ๋๋ฅผ ์ง์ ํ์ฌ ๋น์ฉ์ ๊ด๋ฆฌํ ์ ์์ต๋๋ค. ์ผ์ผ ํ ๋น๋์ ํํ์ ํ์ค์ ์์ ์ ์ฌ์ค์ ๋ฉ๋๋ค.
์ปค์คํ ํ ๋น๋์ ์ฌ์ ์ ์ ์ฉ๋๋ฏ๋ก ํ ๋น๋์ด 10TB์ธ ๊ฒฝ์ฐ 11TB ์ฟผ๋ฆฌ๋ฅผ ์คํํ ์ ์์ต๋๋ค. ์ฒ๋ฆฌ๋ ๋ฐ์ดํฐ์ ์ปค์คํ ํ ๋น๋์ ๋ง๋ค๋ฉด ํ๋ก์ ํธ ์์ค์ด๋ ์ฌ์ฉ์ ์์ค์์ ๋น์ฉ์ ๊ด๋ฆฌํ ์ ์์ต๋๋ค.
๋ง์ถค ๋น์ฉ ๊ด๋ฆฌ๋ฅผ ์ค์ ํ๋ ค๋ฉด ๋ค์ ์ฟผ๋ฆฌ ํ ๋น๋ ์ค ํ๋ ๋๋ ๋ ๋ค๋ฅผ ์ ๋ฐ์ดํธํ๋ฉด ๋ฉ๋๋ค.
QueryUsagePerDay
: ํ๋ก์ ํธ ์์ค์ ์ปค์คํ ํ ๋น๋์ ํด๋น ํ๋ก์ ํธ์์ ๋ชจ๋ ์ฌ์ฉ์์ ์ด ์ฌ์ฉ๋์ ์ ํํฉ๋๋ค.QueryUsagePerUserPerDay
: ์ฌ์ฉ์ ์์ค์ ์ปค์คํ ํ ๋น๋์ ํ๋ก์ ํธ ๋ด์ ๋ชจ๋ ์ฌ์ฉ์์ ์๋น์ค ๊ณ์ ์ ๋ณ๋๋ก ์ ์ฉ๋ฉ๋๋ค.
์ฟผ๋ฆฌ ์ฌ์ฉ๋ ํ ๋น๋์ ์ฃผ๋ฌธํ ์ฟผ๋ฆฌ ๊ฐ๊ฒฉ ์ฑ ์ ๋ชจ๋ธ์๋ง ์ ์ฉ๋ฉ๋๋ค.
์ค์ ํ ์ ์๋ BigQuery ํ ๋น๋์ ๋ํ ์์ธํ ๋ด์ฉ์ ํ ๋น๋ ๋ฐ ํ๋๋ฅผ ์ฐธ๊ณ ํ์ธ์.
ํ์ํ ์ญํ
ํ ๋น๋์ ๋ณ๊ฒฝํ๋ ๋ฐ ํ์ํ ๊ถํ์ ์ป์ผ๋ ค๋ฉด ๊ด๋ฆฌ์์๊ฒ ํ๋ก์ ํธ์ ํ ๋น๋ ๊ด๋ฆฌ์(role/servicemanagement.quotaAdmin
) IAM ์ญํ ์ ๋ถ์ฌํด ๋ฌ๋ผ๊ณ ์์ฒญํ์ธ์.
์ญํ ๋ถ์ฌ์ ๋ํ ์์ธ ์ค๋ช
์ ํ๋ก์ ํธ, ํด๋, ์กฐ์ง์ ๋ํ ์ก์ธ์ค ๊ด๋ฆฌ๋ฅผ ์ฐธ์กฐํ์ธ์.
์ด ์ฌ์ ์ ์๋ ์ญํ ์๋ ํ ๋น๋์ ๋ณ๊ฒฝํ๋ ๋ฐ ํ์ํ serviceusage.quotas.update
๊ถํ์ด ํฌํจ๋์ด ์์ต๋๋ค.
์ปค์คํ ์ญํ ์ด๋ ๋ค๋ฅธ ์ฌ์ ์ ์๋ ์ญํ ์ ์ฌ์ฉํ์ฌ ์ด ๊ถํ์ ๋ถ์ฌ๋ฐ์ ์๋ ์์ต๋๋ค.
์ปค์คํ ํ ๋น๋ ์ค์ ๋๋ ์์
Google Cloud ์ฝ์์ ํ ๋น๋ ๋ฐ ์์คํ ํ๋ ํ์ด์ง์ ํ์๋ ๋ชจ๋ ํ ๋น๋์ ๋ํด ์ปค์คํ ํ ๋น๋์ ์ค์ ํ๊ฑฐ๋ ๊ธฐ์กด ์ปค์คํ ํ ๋น๋์ ์์ ํ ์ ์์ต๋๋ค. ๋ ๋ฎ์ ํ ๋น๋์ ์์ฒญํ๋ฉด ๋ณ๊ฒฝ์ฌํญ์ด ๋ช ๋ถ ์ด๋ด์ ์ ์ฉ๋ฉ๋๋ค. ํ ๋น๋ ์ํฅ ์กฐ์ ์ ์์ฒญํ๋ฉด ์น์ธ ํ๋ก์ธ์ค๋ฅผ ๊ฑฐ์น๊ฒ ๋๋ฉฐ, ์๊ฐ์ด ๋ ๊ฑธ๋ฆด ์ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ ํ ๋น๋ ์กฐ์ ์์ฒญ์ ์ฐธ์กฐํ์ธ์.
๋งค์ผ ์ฒ๋ฆฌํ ์ ์๋ BigQuery ๋ฐ์ดํฐ ์์ ์ ํํ๋ ๋ฑ ๋ง์ถค ๋น์ฉ ๊ด๋ฆฌ๋ฅผ ์ค์ ํ๊ฑฐ๋ ์ ๋ฐ์ดํธํ๋ ค๋ฉด ๋ค์ ๋จ๊ณ๋ฅผ ๋ฐ๋ฅด์ธ์.
Google Cloud ์ฝ์์์ IAM ๋ฐ ๊ด๋ฆฌ์ > ํ ๋น๋ ๋ฐ ์์คํ ํ๋ ํ์ด์ง๋ฅผ ์ฝ๋๋ค.
ํํฐ ๊ฒ์์ฐฝ์์ ์๋น์ค ํํฐ๋ฅผ ์ฌ์ฉํ์ฌ BigQuery API๋ฅผ ํํฐ๋งํฉ๋๋ค.
์กฐ์ ํ๋ ค๋ ํ ๋น๋์ ์ ํํฉ๋๋ค. ์๋ฅผ ๋ค์ด ํ๋ก์ ํธ ์์ค๊ณผ ์ฌ์ฉ์ ์์ค ๋ชจ๋์์ ํ๋ฃจ์ ์ฟผ๋ฆฌํ ์ ์๋ ๋ฐ์ดํฐ ์์ ์ ํํ๋ ค๋ฉด ์ผ์ผ ์ฟผ๋ฆฌ ์ฌ์ฉ๋๊ณผ ์ฌ์ฉ์๋น ์ผ์ผ ์ฟผ๋ฆฌ ์ฌ์ฉ๋์ ์ ํํฉ๋๋ค. ๋ชฉ๋ก์ ํ์ด์ง๋ก ๋๋์ด ์ฐพ์์ผ ํ ์๋ ์์ต๋๋ค. ํ ๋น๋์ ์ ํํ๋ฉด ํด๋ฐ๊ฐ ํ์๋ฉ๋๋ค.
ํด๋ฐ์์
์์ ์ ํด๋ฆญํฉ๋๋ค. ํ ๋น๋ ๋ณ๊ฒฝ์ฌํญ ๋ํ์์๊ฐ ์ด๋ฆฝ๋๋ค.๋ฌด์ ํ์ด ์ ํ๋์ด ์์ผ๋ฉด ์ ํ ํด์ ํฉ๋๋ค.
์ ๊ฐ ํ๋์ ์ํ๋ ํ ๋น๋ ๊ฐ์ TiB ๋จ์๋ก ์ ๋ ฅํฉ๋๋ค.
์๋ฃ๋ฅผ ํด๋ฆญํฉ๋๋ค.
์์ฒญ ์ ์ถ์ ํด๋ฆญํฉ๋๋ค.
ํ ๋น๋ ๋ณด๊ธฐ ๋ฐ ๊ด๋ฆฌ์ ๊ดํ ์์ธํ ๋ด์ฉ์ ํ ๋น๋ ๋ณด๊ธฐ ๋ฐ ๊ด๋ฆฌ๋ฅผ ์ฐธ์กฐํ์ธ์.
๋ฐํ๋ ์ค๋ฅ ๋ฉ์์ง
์ปค์คํ ํ ๋น๋์ ์ค์ ํ ํ์ ํ ๋น๋์ ์ด๊ณผํ๋ฉด BigQuery๊ฐ ์ค๋ฅ๋ฅผ ๋ฐํํฉ๋๋ค.
ํ๋ก์ ํธ ์์ค์ ์ปค์คํ ํ ๋น๋์ ์ด๊ณผํ๋ฉด BigQuery๊ฐ
usageQuotaExceeded
์ค๋ฅ๋ฅผ ๋ฐํํฉ๋๋ค.Custom quota exceeded: Your usage exceeded the custom quota for QueryUsagePerDay, which is set by your administrator. For more information, see https://cloud.google.com/bigquery/cost-controls
์ฌ์ฉ์๊ฐ ์ฌ์ฉ์ ์์ค์ ์ปค์คํ ํ ๋น๋์ ์ด๊ณผํ๋ฉด BigQuery๊ฐ ๋ค๋ฅธ ์ค๋ฅ ๋ฉ์์ง์ ํจ๊ป
usageQuotaExceeded
์ค๋ฅ๋ฅผ ๋ฐํํฉ๋๋ค.Custom quota exceeded: Your usage exceeded the custom quota for QueryUsagePerUserPerDay, which is set by your administrator. For more information, see https://cloud.google.com/bigquery/cost-controls
๋ฐ์ดํฐ ์ธํธ ์ก์ธ์ค ๊ถํ์ด ์๋ค๋ฉด ์ปค์คํ ํ ๋น๋์ด ์๊ฑฐ๋ ์์ง ํ ๋น๋์ ์ด๊ณผํ์ง ์์ ๋ค๋ฅธ ํ๋ก์ ํธ์์ ์ฟผ๋ฆฌ๋ฅผ ์คํํ ์ ์์ต๋๋ค.
์
์ฌ์ฉ์๊ฐ 10๋ช ์ด๋ฉฐ ๊ทธ ์ค ํ๋๊ฐ ์๋น์ค ๊ณ์ ์ธ ํ๋ก์ ํธ์ ๋ค์ ์ปค์คํ ํ ๋น๋์ ์ค์ ํ๋ค๊ณ ๊ฐ์ ํด ๋ณด๊ฒ ์ต๋๋ค.
- ํ๋ก์ ํธ ์์ค: ์ผ์ผ 50TB
- ์ฌ์ฉ์ ์์ค: ์ผ์ผ 10TB
ํ๋ก์ ํธ ์์ค์ ์ปค์คํ ํ ๋น๋์ ํด๋น ํ๋ก์ ํธ์์ ๋ชจ๋ ์ฌ์ฉ์์ ์ด ์ฌ์ฉ๋์ ์ ํํฉ๋๋ค. ์ฌ์ฉ์ ์์ค์ ์ปค์คํ ํ ๋น๋์ ํ๋ก์ ํธ ๋ด์ ๊ฐ ์ฌ์ฉ์๋ ์๋น์ค ๊ณ์ ์ ๊ฐ๋ณ์ ์ผ๋ก ์ ์ฉ๋ฉ๋๋ค.
๋ค์ ํ์์๋ ์ฌ์ฉ์ 10๋ช ์ด ํ๋ฃจ ๋์ ์ฟผ๋ฆฌ๋ฅผ ์คํํ ๋ ๋จ์ ์๋ ํ ๋น๋์ ์ค๋ช ํฉ๋๋ค.
์ฌ์ฉ | ๋จ์ ์๋ ํ ๋น๋ |
---|---|
ํ๋ก์ ํธ ์์ค: 10TB๊ฐ ๋จ์ ์์ต๋๋ค. ์ฌ์ฉ์ ์์ค: ์ฌ์ฉ์๋น 6TB๊ฐ ๋จ์ ์์ง๋ง ๋จ์ ์๋ ํ ๋น๋์ ํฉ๊ณ๋ ์ต๋ 10TB๋ฟ์ ๋๋ค. |
|
์๋น์ค ๊ณ์ ์์ 6TB๋ฅผ ๋ ์ฟผ๋ฆฌ | ํ๋ก์ ํธ ์์ค: 4TB๊ฐ ๋จ์ ์์ต๋๋ค. ์ฌ์ฉ์ ์์ค: ์๋น์ค ๊ณ์ ์์ ๋ ์ด์ BigQuery๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ค๋ฅธ ์ฌ์ฉ์๋ ์ฌ์ฉ์๋น 6TB๊ฐ ๋จ์ ์์ง๋ง ๋จ์ ์๋ ํ ๋น๋์ ํฉ๊ณ๋ ์ต๋ 4TB๋ฟ์ ๋๋ค. |
๋ค๋ฅธ ์ฌ์ฉ์ 1๋ช ์ด 4TB๋ฅผ ๋ ์ฟผ๋ฆฌ | ํ๋ก์ ํธ ์์ค: 0TB๊ฐ ๋จ์ ์์ต๋๋ค. ์ฌ์ฉ์ ์์ค: ์ฌ์ฉ์๋ณ๋ก ๋ค์ํ ํฌ๊ธฐ๊ฐ ๋จ์ ์์ง๋ง ํ๋ก์ ํธ ์์ค์ ํ ๋น๋์ ์ด๊ณผํ์ผ๋ฏ๋ก ์๋ฌด๋ BigQuery๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. |
๋จ์ ์๋ ํ ๋น๋์ด ์์ผ๋ฉด ํด๋น ํ๋ก์ ํธ์ ๋ชจ๋ ์ฌ์ฉ์๊ฐ BigQuery๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
๋ค์ ๋จ๊ณ
- BigQuery ๊ฐ๊ฒฉ ์ฑ ์ ์์๋ณด๊ธฐ
- ๋น์ฉ์ ์์ธกํ๊ณ ๊ด๋ฆฌํ๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
- BigQuery ๊ฐ์ฌ ๋ก๊ทธ๋ฅผ ๋ถ์ํ์ฌ ์ฟผ๋ฆฌ ๋น์ฉ๊ณผ BigQuery ์ฌ์ฉ๋์ ๋ชจ๋ํฐ๋งํ๋ ๋ฐฉ๋ฒ ์์๋ณด๊ธฐ
๊ฒฐ์ , ์๋ฆผ, ๋ฐ์ดํฐ ์๊ฐํ์ ๋ํ ์์ธํ ๋ด์ฉ์ ๋ค์ ์ฃผ์ ์ฐธ์กฐ