| รายละเอียด
ระบบ AI สมัยใหม่ประกอบด้วย LLM, Application Harness, RAG, MCP Tools และ Agent Workflow การตรวจเฉพาะคำตอบสุดท้ายจึงไม่เพียงพอ ผู้พัฒนาต้องตรวจทั้งผลลัพธ์ ลำดับการทำงาน และ Evidence ที่เกิดขึ้นระหว่างระบบเรียกใช้ข้อมูลหรือเครื่องมือ
หลักสูตรนี้มุ่งให้ผู้เรียนวิเคราะห์ Failure Mode จาก Trace วัดคุณภาพ RAG ด้วย Golden Set และ Metrics ที่เหมาะสม และนำผล Evaluation ไปใช้เป็น Quality Gate ก่อน Release
ระยะเวลา 2 Days (09:00 – 16:30)
💰 หลักสูตรของสถาบันไอเอ็มซี สามารถยื่นรับรองหลักสูตรและลดหย่อนภาษีได้ 200%
หลักสูตรนี้เหมาะกับ
- AI Developer, AI/ML Engineer และ Backend Developer
- Developer ที่พัฒนา RAG, MCP Server หรือ AI Agent
- QA Engineer และ Software Tester ที่ทดสอบระบบ AI
- DevOps, MLOps, Solution Architect และ Technical Lead
วัตถุประสงค์การเรียนรู้
- แยกขอบเขตของ LLM, Application Harness, RAG, MCP Tool และ Agent Workflow ได้
- อ่าน Trace, Span, Event, Tool Call และ Tool Result เพื่อวิเคราะห์ Failure ได้
- ออกแบบ Golden Set, Ground Truth และ Test Coverage Map ได้
- ตรวจ MCP Tool Schema และวัดคุณภาพ RAG ด้วย Metrics ที่เหมาะสมได้
- กำหนด Threshold และนำ Evaluation ไปใช้กับ CI/CD Gate ได้
ประโยชน์ที่ได้รับ
- ตัวอย่าง Trace และ Failure Mode สำหรับฝึกวิเคราะห์
- Test Coverage Map และ Golden Test Dataset Template
- RAG Evaluation และ Metric–Threshold Worksheet
- แนวทางออกแบบ CI/CD Evaluation Gate
| เนื้อหาในการอบรม
วันที่ 1:
Agent Failure Detection and RAG Evaluation
⬛ Mapping and Detecting Failures in Agentic AI
▪️ องค์ประกอบของระบบ AI: LLM, Application Harness, Data/Knowledge และ Integration/MCP
▪️ ความไม่แน่นอนของ LLM และเหตุผลที่ควรทดสอบ Application Harness และ External Boundary
▪️ โครงสร้าง Observability: Trace → Span → Event
▪️ การใช้ Trace Parser และ Detector วิเคราะห์ Tool Call และ Tool Result
▪️ Failure Modes: Hallucination, Tool Misuse, Prompt Injection, Infinite Loop, Data Leakage และ Cost/Token Runaway
▪️ การตรวจ False Positive และสร้าง Test Coverage Map
▪️ MCP Host, Server, Tool, Tool Discovery, Input Schema และ Parameter Validation
▪️ Schema Drift และผลกระทบต่อ MCP Client และ Agent
▪️ ReAct Loop: Thought, Action, Observation และ Stop Condition
⬛ Workshop 1: Trace-based Failure Detection
▪️ วิเคราะห์ Trace ระบุ Failure Mode และ Evidence ตรวจผลจาก Detector และจัดทำ Test Coverage Map Structured trace
⬛ Measuring RAG Quality
▪️ RAG และ Agentic RAG: Ingestion, Retrieval, Generation และ Complete Prompt
▪️ Golden Test Dataset, Ground Truth และกลุ่ม Test Case สำคัญ
▪️ RAG Triad และความสัมพันธ์ระหว่าง Context, Answer และ Ground Truth
▪️ Faithfulness และ Answer Relevancy
▪️ Context Precision และ Context Recall
▪️ Hallucination Score และ Answer Correctness
▪️ RAGAS, DeepEval และ LLM-as-a-Judge
▪️ การกำหนด Threshold แยกตาม Test Case โดยพิจารณา Cost และ Latency
⬛ Workshop 2: RAG Evaluation with Golden Set
▪️ ประเมิน RAG จาก Golden Set วิเคราะห์ผลของ Metrics และกำหนด Threshold สำหรับ Test Case แต่ละกลุ่ม
_________________________
วันที่ 2:
Governance Metrics and Automated Evaluation Gate
⬛ Governance Metrics and Automated Evaluation Gate
▪️ ความแตกต่างระหว่าง Metric และ Risk
▪️ การเชื่อม Failure Mode, Test Case, Metric, Threshold และ Evidence
▪️ แนวคิด 4+3 Metrics: RAG Quality ร่วมกับ Compliance, Bias และ Fairness
▪️ การตรวจ PII และ Data Leakage จากผลลัพธ์และ Trace
▪️ NIST AI RMF: Govern, Map, Measure และ Manage
▪️ Golden Set และ Regression Evaluation ก่อน Release
▪️ การกำหนด Threshold และเงื่อนไข Block เมื่อผลประเมินไม่ผ่าน
▪️ การเชื่อม Evaluation เข้ากับ CI/CD เช่น GitHub Actions หรือ Jenkins
▪️ การจัดเก็บผล Evaluation และ Trace สำหรับตรวจสอบย้อนหลัง
⬛ Workshop 3: Governance Metrics and CI/CD Evaluation Gate
▪️ จับคู่ Failure Mode กับ Metric กำหนด Threshold ทดลองตัดสิน Pass/Fail และออกแบบ Evaluation Gate สำหรับ Pipeline ตัวอย่าง
⬛ Workshop 4: AI Testing and Evaluation
▪️ ผู้เรียนเลือก Use Case จำนวน 1 กรณี และสรุป Test Coverage Map, Golden Set, RAG Metrics, MCP Schema Checks และ CI/CD Evaluation Gate
| ผู้สอน
Mr. Aekanun Thongtae (ดูโปรไฟล์ >>ที่นี่)
- Founder and CTO ที่ Bangkok First Tech
- อาจารย์พิเศษด้าน Data Science และ LLM ในหลายสถาบัน
- ผู้พัฒนาต้นแบบระบบ Government Big Data ของ DGA
- อดีตผู้จัดการส่วนสถาปัตยกรรมและต้นแบบ สำนักงานพัฒนารัฐบาลดิจิทัล
- ที่ปรึกษาโครงการธรรมาภิบาลข้อมูลให้กับหน่วยงานภาครัฐหลายแห่ง
- อาจารย์พิเศษด้าน Data Engineering และ Big Data ในหลายสถาบัน
Mr. Sommai Krangpanich (ดูโปรไฟล์ >>ที่นี่)
- Experiences : 21 Years
- Certification
- SUN Certified Programmer for the Java 2 Platform 1.4
- SUN Certified Web Component Developer for the Java 2, Enterprise Edition 1.4
- IBM Certified Java Programming
- IBM Certified Java-Server Side Programming
