การใช้งาน Cloud นอกจากจะต้องเข้าใจการทำงานของแต่ละ Service แล้ว การควบคุมค่าใช้จ่ายก็มีความสำคัญไม่แพ้กัน เพราะว่าในการใช้งานแต่ละ service มันก็คือการจ่ายเงินค่าใช้งานไปในทุกวินาที ดังนั้นแล้วถ้าเราไม่มีความเข้าใจว่าสิ่งที่เราใช้อยู่มีการคิดค่าใช้จ่ายอย่างไร เราอาจจะเสียเงินไปโดยไม่คุ้มค่าต่อการใช้งาน
AWS มีเครื่องมือที่ช่วยให้เราคำนวนค่าใช้จ่ายในแต่ละ service ได้คือ AWS Pricing Calculator เป็นเครื่องคิดเลขที่เอาไว้คำนวนค่าใช้จ่ายเพียงแค่ระบุการใช้งานในแต่ละเดือนของ service เข้าไป
ตัวอย่าง Data Pipeline ที่จะใช้ในการคำนวน
มี Daily data ที่นำเข้ามาเก็บใน S3 ขนาด 1 GB ทุกวัน และในแต่ละวันต้องการทำ ETL ข้อมูลที่เข้ามาใหม่ทั้งหมดผ่าน Glue จากนั้นใช้ Athena เป็นเครื่องมือในการ Query ข้อมูล และนำข้อมูลที่ได้มาแสดงผลผ่าน QuickSight ในทุกๆวัน โดยจะมีผู้ที่เข้ามาดูข้อมูลนี้จำนวน 2 คนเป็นประจำ
เก็บข้อมูลก่อนและหลัง ETL รวมกันทั้งหมด 60 GB ประมาณค่า API Request ที่เกิดขึ้นเป็น 200,000 ครั้งต่อเดือน
Monthly Cost: 2.04 USD
Object ที่เก็บใน DataCatalog คิดตามจำนวน Object ของ S3 ที่ Crawler เข้ามา
เวลาที่ใช้งาน Crawler ต่อเดือน
เวลาที่ใช้งาน Glue Job คิดจากเวลารวมของ DPU ต่อเดือน
Monthly cost: 37.47 USD
ปริมาณ Data ที่ถูก Scan ต่อเดือน 30GB
Monthly cost: 0.15 USD
Enterprise Plan และ 2 Reader Account รวมถึง spice capacity
Monthly cost: 33.60 USD
เรามาสรุปค่าใช้จ่ายทั้งหมดที่เกิดขึ้น
S3: 2.04 USD
Glue: 37.47 USD
Athena: 0.15 USD
QuickSight: 33.60 USD
รวมทั้งหมดเป็น 73.26 USD หรือประมาณ 3,000 บาท
-------- Data Engineer Course ----------
เริ่มต้นใช้งาน AWS Athena -> https://www.vultureprime.com/how-to/what-is-aws-athena
เริ่มต้นใช้งาน AWS Quicksight -> https://www.vultureprime.com/how-to/what-is-aws-quicksight
การคำนวนค่าใช้จ่ายของ Data Pipeline - Basic Level -> https://www.vultureprime.com/how-to/how-to-calcualte-etl-cost-basic-level