์ปค์Šคํ…€ ์ฟผ๋ฆฌ ํ• ๋‹น๋Ÿ‰ ๋งŒ๋“ค๊ธฐ

์ด ๋ฌธ์„œ์—์„œ๋Š” ๋น„์šฉ์„ ๊ด€๋ฆฌํ•˜๊ธฐ ์œ„ํ•ด ์ปค์Šคํ…€ ์ฟผ๋ฆฌ ํ• ๋‹น๋Ÿ‰์„ ์„ค์ • ๋˜๋Š” ์ˆ˜์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค. BigQuery ๋ถ„์„๊ฐ€๊ฐ€ ๋น„์šฉ์„ ์ถ”์ •ํ•˜๊ณ  ๊ด€๋ฆฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ณด๋ ค๋ฉด ๋น„์šฉ ์ถ”์ • ๋ฐ ๊ด€๋ฆฌ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

BigQuery ํ”„๋กœ์ ํŠธ์™€ ์‚ฌ์šฉ์ž์˜ ์ˆ˜๊ฐ€ ๋งŽ์€ ๊ฒฝ์šฐ์—๋Š” ์ปค์Šคํ…€ ์ฟผ๋ฆฌ ํ• ๋‹น๋Ÿ‰์„ ์š”์ฒญํ•˜์—ฌ ํ•˜๋ฃจ์— ์ฒ˜๋ฆฌ๋˜๋Š” ์ฟผ๋ฆฌ ๋ฐ์ดํ„ฐ ์–‘์˜ ํ•œ๋„๋ฅผ ์ง€์ •ํ•˜์—ฌ ๋น„์šฉ์„ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ผ์ผ ํ• ๋‹น๋Ÿ‰์€ ํƒœํ‰์–‘ ํ‘œ์ค€์‹œ ์ž์ •์— ์žฌ์„ค์ •๋ฉ๋‹ˆ๋‹ค.

์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์€ ์‚ฌ์ „์— ์ ์šฉ๋˜๋ฏ€๋กœ ํ• ๋‹น๋Ÿ‰์ด 10TB์ธ ๊ฒฝ์šฐ 11TB ์ฟผ๋ฆฌ๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ์ฒ˜๋ฆฌ๋œ ๋ฐ์ดํ„ฐ์— ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์„ ๋งŒ๋“ค๋ฉด ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€์ด๋‚˜ ์‚ฌ์šฉ์ž ์ˆ˜์ค€์—์„œ ๋น„์šฉ์„ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋งž์ถค ๋น„์šฉ ๊ด€๋ฆฌ๋ฅผ ์„ค์ •ํ•˜๋ ค๋ฉด ๋‹ค์Œ ์ฟผ๋ฆฌ ํ• ๋‹น๋Ÿ‰ ์ค‘ ํ•˜๋‚˜ ๋˜๋Š” ๋‘˜ ๋‹ค๋ฅผ ์—…๋ฐ์ดํŠธํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค.

  • QueryUsagePerDay: ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€์˜ ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์€ ํ•ด๋‹น ํ”„๋กœ์ ํŠธ์—์„œ ๋ชจ๋“  ์‚ฌ์šฉ์ž์˜ ์ด ์‚ฌ์šฉ๋Ÿ‰์„ ์ œํ•œํ•ฉ๋‹ˆ๋‹ค.

  • QueryUsagePerUserPerDay: ์‚ฌ์šฉ์ž ์ˆ˜์ค€์˜ ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์€ ํ”„๋กœ์ ํŠธ ๋‚ด์˜ ๋ชจ๋“  ์‚ฌ์šฉ์ž์™€ ์„œ๋น„์Šค ๊ณ„์ •์— ๋ณ„๋„๋กœ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

์ฟผ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰ ํ• ๋‹น๋Ÿ‰์€ ์ฃผ๋ฌธํ˜• ์ฟผ๋ฆฌ ๊ฐ€๊ฒฉ ์ฑ…์ • ๋ชจ๋ธ์—๋งŒ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

์„ค์ •ํ•  ์ˆ˜ ์žˆ๋Š” BigQuery ํ• ๋‹น๋Ÿ‰์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ํ• ๋‹น๋Ÿ‰ ๋ฐ ํ•œ๋„๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

ํ•„์š”ํ•œ ์—ญํ• 

ํ• ๋‹น๋Ÿ‰์„ ๋ณ€๊ฒฝํ•˜๋Š” ๋ฐ ํ•„์š”ํ•œ ๊ถŒํ•œ์„ ์–ป์œผ๋ ค๋ฉด ๊ด€๋ฆฌ์ž์—๊ฒŒ ํ”„๋กœ์ ํŠธ์˜ ํ• ๋‹น๋Ÿ‰ ๊ด€๋ฆฌ์ž(role/servicemanagement.quotaAdmin) IAM ์—ญํ• ์„ ๋ถ€์—ฌํ•ด ๋‹ฌ๋ผ๊ณ  ์š”์ฒญํ•˜์„ธ์š”. ์—ญํ•  ๋ถ€์—ฌ์— ๋Œ€ํ•œ ์ƒ์„ธ ์„ค๋ช…์€ ํ”„๋กœ์ ํŠธ, ํด๋”, ์กฐ์ง์— ๋Œ€ํ•œ ์•ก์„ธ์Šค ๊ด€๋ฆฌ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

์ด ์‚ฌ์ „ ์ •์˜๋œ ์—ญํ• ์—๋Š” ํ• ๋‹น๋Ÿ‰์„ ๋ณ€๊ฒฝํ•˜๋Š” ๋ฐ ํ•„์š”ํ•œ serviceusage.quotas.update ๊ถŒํ•œ์ด ํฌํ•จ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

์ปค์Šคํ…€ ์—ญํ• ์ด๋‚˜ ๋‹ค๋ฅธ ์‚ฌ์ „ ์ •์˜๋œ ์—ญํ• ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ด ๊ถŒํ•œ์„ ๋ถ€์—ฌ๋ฐ›์„ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰ ์„ค์ • ๋˜๋Š” ์ˆ˜์ •

Google Cloud ์ฝ˜์†”์˜ ํ• ๋‹น๋Ÿ‰ ๋ฐ ์‹œ์Šคํ…œ ํ•œ๋„ ํŽ˜์ด์ง€์— ํ‘œ์‹œ๋œ ๋ชจ๋“  ํ• ๋‹น๋Ÿ‰์— ๋Œ€ํ•ด ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์„ ์„ค์ •ํ•˜๊ฑฐ๋‚˜ ๊ธฐ์กด ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์„ ์ˆ˜์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋” ๋‚ฎ์€ ํ• ๋‹น๋Ÿ‰์„ ์š”์ฒญํ•˜๋ฉด ๋ณ€๊ฒฝ์‚ฌํ•ญ์ด ๋ช‡ ๋ถ„ ์ด๋‚ด์— ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ํ• ๋‹น๋Ÿ‰ ์ƒํ–ฅ ์กฐ์ •์„ ์š”์ฒญํ•˜๋ฉด ์Šน์ธ ํ”„๋กœ์„ธ์Šค๋ฅผ ๊ฑฐ์น˜๊ฒŒ ๋˜๋ฉฐ, ์‹œ๊ฐ„์ด ๋” ๊ฑธ๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ํ• ๋‹น๋Ÿ‰ ์กฐ์ • ์š”์ฒญ์„ ์ฐธ์กฐํ•˜์„ธ์š”.

๋งค์ผ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” BigQuery ๋ฐ์ดํ„ฐ ์–‘์„ ์ œํ•œํ•˜๋Š” ๋“ฑ ๋งž์ถค ๋น„์šฉ ๊ด€๋ฆฌ๋ฅผ ์„ค์ •ํ•˜๊ฑฐ๋‚˜ ์—…๋ฐ์ดํŠธํ•˜๋ ค๋ฉด ๋‹ค์Œ ๋‹จ๊ณ„๋ฅผ ๋”ฐ๋ฅด์„ธ์š”.

  1. Google Cloud ์ฝ˜์†”์—์„œ IAM ๋ฐ ๊ด€๋ฆฌ์ž > ํ• ๋‹น๋Ÿ‰ ๋ฐ ์‹œ์Šคํ…œ ํ•œ๋„ ํŽ˜์ด์ง€๋ฅผ ์—ฝ๋‹ˆ๋‹ค.

    ํ• ๋‹น๋Ÿ‰ ๋ฐ ์‹œ์Šคํ…œ ํ•œ๋„๋กœ ์ด๋™

  2. ํ•„ํ„ฐ ๊ฒ€์ƒ‰์ฐฝ์—์„œ ์„œ๋น„์Šค ํ•„ํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ BigQuery API๋ฅผ ํ•„ํ„ฐ๋งํ•ฉ๋‹ˆ๋‹ค.

  3. ์กฐ์ •ํ•˜๋ ค๋Š” ํ• ๋‹น๋Ÿ‰์„ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€๊ณผ ์‚ฌ์šฉ์ž ์ˆ˜์ค€ ๋ชจ๋‘์—์„œ ํ•˜๋ฃจ์— ์ฟผ๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ ์–‘์„ ์ œํ•œํ•˜๋ ค๋ฉด ์ผ์ผ ์ฟผ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰๊ณผ ์‚ฌ์šฉ์ž๋‹น ์ผ์ผ ์ฟผ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์„ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค. ๋ชฉ๋ก์„ ํŽ˜์ด์ง€๋กœ ๋‚˜๋ˆ„์–ด ์ฐพ์•„์•ผ ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ํ• ๋‹น๋Ÿ‰์„ ์„ ํƒํ•˜๋ฉด ํˆด๋ฐ”๊ฐ€ ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค.

  4. ํˆด๋ฐ”์—์„œ ์ˆ˜์ •์„ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค. ํ• ๋‹น๋Ÿ‰ ๋ณ€๊ฒฝ์‚ฌํ•ญ ๋Œ€ํ™”์ƒ์ž๊ฐ€ ์—ด๋ฆฝ๋‹ˆ๋‹ค.

  5. ๋ฌด์ œํ•œ์ด ์„ ํƒ๋˜์–ด ์žˆ์œผ๋ฉด ์„ ํƒ ํ•ด์ œํ•ฉ๋‹ˆ๋‹ค.

  6. ์ƒˆ ๊ฐ’ ํ•„๋“œ์— ์›ํ•˜๋Š” ํ• ๋‹น๋Ÿ‰ ๊ฐ’์„ TiB ๋‹จ์œ„๋กœ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค.

  7. ์™„๋ฃŒ๋ฅผ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

  8. ์š”์ฒญ ์ œ์ถœ์„ ํด๋ฆญํ•ฉ๋‹ˆ๋‹ค.

ํ• ๋‹น๋Ÿ‰ ๋ณด๊ธฐ ๋ฐ ๊ด€๋ฆฌ์— ๊ด€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ํ• ๋‹น๋Ÿ‰ ๋ณด๊ธฐ ๋ฐ ๊ด€๋ฆฌ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

๋ฐ˜ํ™˜๋œ ์˜ค๋ฅ˜ ๋ฉ”์‹œ์ง€

์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์„ ์„ค์ •ํ•œ ํ›„์— ํ• ๋‹น๋Ÿ‰์„ ์ดˆ๊ณผํ•˜๋ฉด BigQuery๊ฐ€ ์˜ค๋ฅ˜๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

  • ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€์˜ ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์„ ์ดˆ๊ณผํ•˜๋ฉด BigQuery๊ฐ€ usageQuotaExceeded ์˜ค๋ฅ˜๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

    Custom quota exceeded: Your usage exceeded the custom quota for
    QueryUsagePerDay, which is set by your administrator. For more information,
    see https://cloud.google.com/bigquery/cost-controls
  • ์‚ฌ์šฉ์ž๊ฐ€ ์‚ฌ์šฉ์ž ์ˆ˜์ค€์˜ ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์„ ์ดˆ๊ณผํ•˜๋ฉด BigQuery๊ฐ€ ๋‹ค๋ฅธ ์˜ค๋ฅ˜ ๋ฉ”์‹œ์ง€์™€ ํ•จ๊ป˜ usageQuotaExceeded ์˜ค๋ฅ˜๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

    Custom quota exceeded: Your usage exceeded the custom quota for
    QueryUsagePerUserPerDay, which is set by your administrator. For more
    information, see https://cloud.google.com/bigquery/cost-controls

๋ฐ์ดํ„ฐ ์„ธํŠธ ์•ก์„ธ์Šค ๊ถŒํ•œ์ด ์žˆ๋‹ค๋ฉด ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์ด ์—†๊ฑฐ๋‚˜ ์•„์ง ํ• ๋‹น๋Ÿ‰์„ ์ดˆ๊ณผํ•˜์ง€ ์•Š์€ ๋‹ค๋ฅธ ํ”„๋กœ์ ํŠธ์—์„œ ์ฟผ๋ฆฌ๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์˜ˆ

์‚ฌ์šฉ์ž๊ฐ€ 10๋ช…์ด๋ฉฐ ๊ทธ ์ค‘ ํ•˜๋‚˜๊ฐ€ ์„œ๋น„์Šค ๊ณ„์ •์ธ ํ”„๋กœ์ ํŠธ์— ๋‹ค์Œ ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์„ ์„ค์ •ํ•œ๋‹ค๊ณ  ๊ฐ€์ •ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

  • ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€: ์ผ์ผ 50TB
  • ์‚ฌ์šฉ์ž ์ˆ˜์ค€: ์ผ์ผ 10TB

ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€์˜ ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์€ ํ•ด๋‹น ํ”„๋กœ์ ํŠธ์—์„œ ๋ชจ๋“  ์‚ฌ์šฉ์ž์˜ ์ด ์‚ฌ์šฉ๋Ÿ‰์„ ์ œํ•œํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž ์ˆ˜์ค€์˜ ์ปค์Šคํ…€ ํ• ๋‹น๋Ÿ‰์€ ํ”„๋กœ์ ํŠธ ๋‚ด์˜ ๊ฐ ์‚ฌ์šฉ์ž๋‚˜ ์„œ๋น„์Šค ๊ณ„์ •์— ๊ฐœ๋ณ„์ ์œผ๋กœ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ ํ‘œ์—์„œ๋Š” ์‚ฌ์šฉ์ž 10๋ช…์ด ํ•˜๋ฃจ ๋™์•ˆ ์ฟผ๋ฆฌ๋ฅผ ์‹คํ–‰ํ•  ๋•Œ ๋‚จ์•„ ์žˆ๋Š” ํ• ๋‹น๋Ÿ‰์„ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

์‚ฌ์šฉ ๋‚จ์•„ ์žˆ๋Š” ํ• ๋‹น๋Ÿ‰
์‚ฌ์šฉ์ž 10๋ช…์ด ๊ฐ๊ฐ 4TB์”ฉ ์ฟผ๋ฆฌ ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€: 10TB๊ฐ€ ๋‚จ์•„ ์žˆ์Šต๋‹ˆ๋‹ค.
์‚ฌ์šฉ์ž ์ˆ˜์ค€: ์‚ฌ์šฉ์ž๋‹น 6TB๊ฐ€ ๋‚จ์•„ ์žˆ์ง€๋งŒ ๋‚จ์•„ ์žˆ๋Š” ํ• ๋‹น๋Ÿ‰์˜ ํ•ฉ๊ณ„๋Š” ์ตœ๋Œ€ 10TB๋ฟ์ž…๋‹ˆ๋‹ค.
์„œ๋น„์Šค ๊ณ„์ •์—์„œ 6TB๋ฅผ ๋” ์ฟผ๋ฆฌ ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€: 4TB๊ฐ€ ๋‚จ์•„ ์žˆ์Šต๋‹ˆ๋‹ค.
์‚ฌ์šฉ์ž ์ˆ˜์ค€: ์„œ๋น„์Šค ๊ณ„์ •์—์„œ ๋” ์ด์ƒ BigQuery๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ์‚ฌ์šฉ์ž๋Š” ์‚ฌ์šฉ์ž๋‹น 6TB๊ฐ€ ๋‚จ์•„ ์žˆ์ง€๋งŒ ๋‚จ์•„ ์žˆ๋Š” ํ• ๋‹น๋Ÿ‰์˜ ํ•ฉ๊ณ„๋Š” ์ตœ๋Œ€ 4TB๋ฟ์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์‚ฌ์šฉ์ž 1๋ช…์ด 4TB๋ฅผ ๋” ์ฟผ๋ฆฌ ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€: 0TB๊ฐ€ ๋‚จ์•„ ์žˆ์Šต๋‹ˆ๋‹ค.
์‚ฌ์šฉ์ž ์ˆ˜์ค€: ์‚ฌ์šฉ์ž๋ณ„๋กœ ๋‹ค์–‘ํ•œ ํฌ๊ธฐ๊ฐ€ ๋‚จ์•„ ์žˆ์ง€๋งŒ ํ”„๋กœ์ ํŠธ ์ˆ˜์ค€์˜ ํ• ๋‹น๋Ÿ‰์„ ์ดˆ๊ณผํ–ˆ์œผ๋ฏ€๋กœ ์•„๋ฌด๋„ BigQuery๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.

๋‚จ์•„ ์žˆ๋Š” ํ• ๋‹น๋Ÿ‰์ด ์—†์œผ๋ฉด ํ•ด๋‹น ํ”„๋กœ์ ํŠธ์˜ ๋ชจ๋“  ์‚ฌ์šฉ์ž๊ฐ€ BigQuery๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ ๋‹จ๊ณ„