Bigtable Beam ์ปค๋„ฅํ„ฐ

Bigtable Beam ์ปค๋„ฅํ„ฐ (BigtableIO)๋Š” Dataflow๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ํŒŒ์ดํ”„๋ผ์ธ์˜ Bigtable ๋ฐ์ดํ„ฐ์—์„œ ์ผ๊ด„ ๋ฐ ์ŠคํŠธ๋ฆฌ๋ฐ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋˜๋Š” ์˜คํ”ˆ์†Œ์Šค Apache Beam I/O ์ปค๋„ฅํ„ฐ์ž…๋‹ˆ๋‹ค.

HBase์—์„œ Bigtable๋กœ ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ํ•˜๊ฑฐ๋‚˜ Bigtable API ๋Œ€์‹  HBase API๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์‹คํ–‰ํ•˜๋Š” ๊ฒฝ์šฐ ์ด ํŽ˜์ด์ง€์— ์„ค๋ช…๋œ ์ปค๋„ฅํ„ฐ ๋Œ€์‹  Bigtable HBase Beam ์ปค๋„ฅํ„ฐ(CloudBigtableIO)๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

์ปค๋„ฅํ„ฐ ์„ธ๋ถ€์ •๋ณด

Bigtable Beam ์ปค๋„ฅํ„ฐ๋Š” Apache Beam GitHub ์ €์žฅ์†Œ์˜ ๊ตฌ์„ฑ์š”์†Œ์ž…๋‹ˆ๋‹ค. Javadoc์€ Class BigtableIO์—์„œ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

Dataflow ํŒŒ์ดํ”„๋ผ์ธ์„ ๋งŒ๋“ค๊ธฐ ์ „์— Apache Beam ๋Ÿฐํƒ€์ž„ ์ง€์›์„ ํ™•์ธํ•˜์—ฌ Dataflow์— ์ง€์›๋˜๋Š” Java ๋ฒ„์ „์„ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ๋Š”์ง€ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. Apache Beam์˜ ์ตœ์‹  ์ง€์› ์ถœ์‹œ ๋ฒ„์ „์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

Bigtable Beam ์ปค๋„ฅํ„ฐ๋Š” Bigtable API๋ฅผ ํ˜ธ์ถœํ•˜๋Š” ํด๋ผ์ด์–ธํŠธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ธ Java์šฉ Bigtable ํด๋ผ์ด์–ธํŠธ์™€ ํ•จ๊ป˜ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ปค๋„ฅํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ํŒŒ์ดํ”„๋ผ์ธ์„ ๋ฆฌ์†Œ์Šค ํ”„๋กœ๋น„์ €๋‹๊ณผ ๊ด€๋ฆฌ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ณ  ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์˜ ํ™•์žฅ์„ฑ๊ณผ ์‹ ๋ขฐ์„ฑ์„ ์ง€์›ํ•˜๋Š” Dataflow์— ๋ฐฐํฌํ•˜๋Š” ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•ฉ๋‹ˆ๋‹ค.

Apache Beam ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋ชจ๋ธ์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ Beam ๋ฌธ์„œ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

์ผ๊ด„ ์“ฐ๊ธฐ ํ๋ฆ„ ์ œ์–ด

Bigtable Beam ์ปค๋„ฅํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ผ๊ด„ ์“ฐ๊ธฐ (์‚ญ์ œ ์š”์ฒญ ํฌํ•จ)๋ฅผ ํ…Œ์ด๋ธ”์— ์ „์†กํ•  ๋•Œ ์ผ๊ด„ ์“ฐ๊ธฐ ํ๋ฆ„ ์ œ์–ด๋ฅผ ์‚ฌ์šฉ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ธฐ๋Šฅ์„ ์‚ฌ์šฉ ์„ค์ •ํ•˜๋ฉด Bigtable์—์„œ ์ž๋™์œผ๋กœ ๋‹ค์Œ์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค.

  • Bigtable ํด๋Ÿฌ์Šคํ„ฐ ๊ณผ๋ถ€ํ•˜๊ฐ€ ๋ฐœ์ƒํ•˜์ง€ ์•Š๋„๋ก ํŠธ๋ž˜ํ”ฝ ๋น„์œจ ์ œํ•œ
  • ํ•„์š”ํ•œ ๊ฒฝ์šฐ ๋” ๋งŽ์€ ๋…ธ๋“œ๊ฐ€ ํด๋Ÿฌ์Šคํ„ฐ์— ์ž๋™์œผ๋กœ ์ถ”๊ฐ€๋˜๋„๋ก Bigtable ์ž๋™ ํ™•์žฅ(์‚ฌ์šฉ ์„ค์ •๋œ ๊ฒฝ์šฐ)์„ ํŠธ๋ฆฌ๊ฑฐํ•˜๊ธฐ์— ์ถฉ๋ถ„ํ•œ ๋ถ€ํ•˜๊ฐ€ ํด๋Ÿฌ์Šคํ„ฐ์— ์žˆ๋Š”์ง€ ํ™•์ธ

์ž์„ธํ•œ ๋‚ด์šฉ์€ ์ผ๊ด„ ์“ฐ๊ธฐ ํ๋ฆ„ ์ œ์–ด๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”. ์ฝ”๋“œ ์ƒ˜ํ”Œ์€ ์ผ๊ด„ ์“ฐ๊ธฐ ํ๋ฆ„ ์ œ์–ด ์‚ฌ์šฉ ์„ค์ •์„ ์ฐธ๊ณ ํ•˜์„ธ์š”.

๋‹ค์Œ ๋‹จ๊ณ„