Data Ingestion & Normalization เป็นส่วนหนึ่งของโดเมน Understanding Cloud Usage and Cost กล่าวคือเป็นกระบวนการรวบรวมข้อมูลและประมวลผลข้อมูลที่เกี่ยวข้องกับการจัดการต้นทุนค่าใช้ของคลาวด์และจัดเก็บไว้ในฐานข้อมูลหนึ่ง ๆ ให้สะดวกต่อการสืบค้นและเอาข้อมูลไปวิเคราะห์ต่อไป ซึ่งข้อมูลที่ควรรวบรวมไว้ด้วยกัน เช่น
- ข้อมูลการเรียกเก็บเงินของผู้ให้บริการระบบคลาวด์ ข้อมูลการใช้งานและประสิทธิภาพของคลาวด์
- ข้อมูลการใช้งานที่แสดงการใช้งาน CPU, หน่วยความจำ, ดิสก์ และ/หรือเครือข่ายในระดับทรัพยากรหรือกลุ่มทรัพยากร
- ข้อมูลการทำธุรกรรมจากบันทึกหรือระบบที่บันทึกจำนวนหรือปริมาณการใช้ทรัพยากรประเภทต่างๆ
ถ้าบริษัทอยู่ใน Maturity ระดับนี้ เราต้องทำอะไรกับกระบวนการนี้บ้าง?
Crawl
- จับคู่รายละเอียดของค่าใช้จ่ายกับข้อมูลการใช้งานจากไฟล์ที่นำเข้ามา
- ตรวจสอบข้อมูล metadata ของแต่ละทรัพยากรระหว่างผู้ให้บริการระบบและไฟล์ค่าใช้จ่าย
Walk
- รวบรวมข้อมูลจากแหล่งข้อมูลหลายแหล่ง และทำ cost metrics
- ใช้ third-party แพลตฟอร์ม FinOps ในการจัดการข้อมูล
- สร้าง template รายงานแยกข้อมูลของคลาวด์แต่ละตัว และสร้างรายงานที่รวมข้อมูลการใช้งานและประสิทธิภาพการใช้คลาวด์
Run
- คลังข้อมูลที่รวบรวมข้อมูลการใช้งาน ค่าใช้จ่าย และประสิทธิภาพ
- ใช้รายงานเดียวกับหลายคลาวด์
ตำแหน่งของฉันต้องทำอะไร?
ทีม FinOps
- กำหนดรายการแหล่งข้อมูลที่จำเป็นเพื่อพัฒนารายงานและการปฏิบัติงาน
- กำหนดระดับความละเอียดที่ต้องการในแต่ละแหล่งข้อมูล
- สร้างแบบจำลองข้อมูลสำหรับการ Normalization การตรวจสอบจับคู่ข้อมูลจากแหล่งข้อมูลต่างๆ ไปยังอีกแหล่งหนึ่ง
- ตรวจสอบเนื้อหาของแหล่งข้อมูลอย่างสม่ำเสมอ
- ตอบสนองต่อการเปลี่ยนแปลง ปรับและจัดทำเอกสารใหม่ และแจ้งให้ผู้ที่ได้รับผลกระทบทั้งหมดทราบ
- ตรวจสอบให้แน่ใจว่าแหล่งข้อมูลและฐานข้อมูลต้นทุนและการใช้งานได้รับการจัดเก็บอย่างถูกต้อง มีการจัดการข้อมูลให้มีขนาดที่เหมาะสมและมีการสำรองข้อมูล
- จัดการสิทธิการเข้าถึงฐานข้อมูล
- ทำงานร่วมกับทุกกลุ่มเพื่อกำหนดมาตรวัด การวัดผล และ metadata ที่เหมาะสมซึ่งควรรวมไว้ในรายงานที่เป็นทางการ
ทีม Business/Product
- ช่วยให้ข้อมูลเกี่ยวกับด้านธุรกิจหรือผลิตภัณฑ์ เพื่อสร้าง KPI
ทีมการเงิน/การจัดซื้อจัดจ้าง
- ให้การเข้าถึงแหล่งข้อมูลตามที่ทีม FinOps ต้องการ
- ตรวจสอบข้อมูล Finance ว่าใช้แหล่งข้อมูลล่าสุดและเหมาะสมที่สุดสำหรับการจัดทำรายงานและการวิเคราะห์ตัดสินใจ
- เข้าร่วมหรือเป็นผู้นำในการตรวจสอบใบแจ้งหนี้ แหล่งข้อมูลการใช้งาน และข้อมูลอื่นๆ
ทีม Engineer/Operation
- ให้การเข้าถึงข้อมูลประสิทธิภาพและการใช้งาน
ผู้บริหาร
- สนับสนุนกลยุทธ์สำหรับการปรับข้อมูลให้เป็นมาตรฐานแบบรวมศูนย์ และการร้องขอการเข้าถึงข้อมูลประเภทต่างๆ จากทีม FinOps
- ส่งเสริมและสื่อสารเกี่ยวกับความจำเป็นในการใช้คลาวด์ร่วมกันและการให้ข้อมูลต้นทุนที่เป็นค่าจริงสำหรับการรายงานและการตัดสินใจ
แล้วจะวัดอย่างไรว่ากระบวนการนี้ประสบความสำเร็จหรือไม่?
KPI ของกระบวนการนี้ ยกตัวอย่างเช่น
- เวลานำเข้าข้อมูล
- เวลาในการรวบรวมข้อมูล
- ข้อมูลที่ได้จากการดึงข้อมูล 1 ครั้ง (ผ่าน Normalized schema)
- % ของต้นทุนและค่าใช้จ่ายทั้งหมดที่ปรากฏบนรายงาน
- % metadata ที่ตรงกัน
