การคำนวนค่าใช้จ่ายของ Data Pipeline - Basic Level

การใช้งาน Cloud นอกจากจะต้องเข้าใจการทำงานของแต่ละ Service แล้ว การควบคุมค่าใช้จ่ายก็มีความสำคัญไม่แพ้กัน เพราะว่าในการใช้งานแต่ละ service มันก็คือการจ่ายเงินค่าใช้งานไปในทุกวินาที ดังนั้นแล้วถ้าเราไม่มีความเข้าใจว่าสิ่งที่เราใช้อยู่มีการคิดค่าใช้จ่ายอย่างไร เราอาจจะเสียเงินไปโดยไม่คุ้มค่าต่อการใช้งาน

Calculate AWS Cost

AWS มีเครื่องมือที่ช่วยให้เราคำนวนค่าใช้จ่ายในแต่ละ service ได้คือ AWS Pricing Calculator เป็นเครื่องคิดเลขที่เอาไว้คำนวนค่าใช้จ่ายเพียงแค่ระบุการใช้งานในแต่ละเดือนของ service เข้าไป

ตัวอย่าง Data Pipeline ที่จะใช้ในการคำนวน

มี Daily data ที่นำเข้ามาเก็บใน S3 ขนาด 1 GB ทุกวัน และในแต่ละวันต้องการทำ ETL ข้อมูลที่เข้ามาใหม่ทั้งหมดผ่าน Glue จากนั้นใช้ Athena เป็นเครื่องมือในการ Query ข้อมูล และนำข้อมูลที่ได้มาแสดงผลผ่าน QuickSight ในทุกๆวัน โดยจะมีผู้ที่เข้ามาดูข้อมูลนี้จำนวน 2 คนเป็นประจำ

S3

เก็บข้อมูลก่อนและหลัง ETL รวมกันทั้งหมด 60 GB ประมาณค่า API Request ที่เกิดขึ้นเป็น 200,000 ครั้งต่อเดือน

Monthly Cost: 2.04 USD

Glue

Object ที่เก็บใน DataCatalog คิดตามจำนวน Object ของ S3 ที่ Crawler เข้ามา

เวลาที่ใช้งาน Crawler ต่อเดือน

เวลาที่ใช้งาน Glue Job คิดจากเวลารวมของ DPU ต่อเดือน

Monthly cost: 37.47 USD

Athena

ปริมาณ Data ที่ถูก Scan ต่อเดือน 30GB

Monthly cost: 0.15 USD

QuickSight

Enterprise Plan และ 2 Reader Account รวมถึง spice capacity

Monthly cost: 33.60 USD

Summary

เรามาสรุปค่าใช้จ่ายทั้งหมดที่เกิดขึ้น

S3: 2.04 USD

Glue: 37.47 USD

Athena: 0.15 USD

QuickSight: 33.60 USD

รวมทั้งหมดเป็น 73.26 USD หรือประมาณ 3,000 บาท

-------- Data Engineer Course ----------

เริ่มต้นใช้งาน AWS Athena -> https://www.vultureprime.com/how-to/what-is-aws-athena

เริ่มต้นใช้งาน AWS Quicksight -> https://www.vultureprime.com/how-to/what-is-aws-quicksight

การคำนวนค่าใช้จ่ายของ Data Pipeline - Basic Level -> https://www.vultureprime.com/how-to/how-to-calcualte-etl-cost-basic-level

Aa

© 2023, All Rights Reserved, VulturePrime co., ltd.