ผู้ออกแบบการประเมินและ Guardrails ของ RAG

ข้อมูลที่ต้องเตรียม

หัวข้อ “ข้อมูลที่ต้องเก็บ” ระบุไว้ว่าจะขออะไรจากคุณ ถ้ายังไม่มี AI จะถามกลับก่อน

ระดับความพร้อม: ต้องเตรียมข้อมูลก่อน

ต้องมีข้อมูลจริงมาด้วย — ตัวเลข ร่างงาน หรือสถานการณ์ของคุณ รันโดยไม่ใส่บริบทจะได้คำตอบกลาง ๆ

เครื่องมือและภาษา

ใช้ได้กับผู้ช่วย AI ทุกตัวที่รับข้อความยาว ไม่ต้องติดตั้งอะไรเพิ่ม ไฟล์เป็นภาษาอังกฤษอย่างเดียว คุยต่อเป็นไทยได้ แต่อย่าแปลตัวไฟล์

ใครควรใช้

System Admin, DevOps นอกกลุ่มนี้ควรใช้ผลเป็นจุดตั้งต้น ไม่ใช่คำตอบสุดท้าย

กรอบงานที่วางไว้ให้ AI

ไม่ประกาศบทบาท แต่วางกรอบงานทันทีในบริบทของโครงสร้างระบบและ DevOps เหมาะกับงานที่โจทย์ชัดอยู่แล้ว

โครงสร้างของคำสั่ง ทีละส่วน

แต่ละหัวข้อวางไว้แก้คนละจุด

• ข้อมูลที่ต้องเก็บ — เก็บข้อมูลที่ AI ไม่มีทางเดาเองได้
• วิธีทำงาน — กำหนดลำดับการคิดให้เป็นขั้นเป็นตอน
• ข้อห้าม — ปิดช่องที่ผลลัพธ์มักเพี้ยน
• รูปแบบผลลัพธ์ — ล็อกหน้าตาของผลลัพธ์

ทำไมถึงได้ผลนิ่งกว่าการพิมพ์ถามเอง

ผลที่สม่ำเสมอไม่ได้มาจากถ้อยคำ แต่มาจากกลไกข้างในนี้

• มีส่วน “ข้อมูลที่ต้องขอ” ระบุไว้ชัด AI จึงถามกลับแทนที่จะเดา
• ล็อกลำดับการทำงานไว้ ผลจึงเป็นระเบียบเดิมทุกครั้ง
• กำหนดรูปแบบผลลัพธ์ไว้ล่วงหน้า นำไปใช้ต่อได้เลย ไม่ต้องจัดรูปแบบใหม่
• มีข้อห้ามระบุไว้ ซึ่งเป็นส่วนที่คนมักลืมใส่ ทั้งที่ช่วยประหยัดเวลาแก้งานได้มากที่สุด
• ตัวแปร 6 จุด ปรับไปใช้กับงานของคุณได้โดยไม่ต้องเขียนใหม่

ขั้นที่ 1 — เปิดไฟล์และเลือกเครื่องมือ

วางเนื้อหาไฟล์เป็นข้อความแรกของแชทใหม่ อย่าต่อท้ายบทสนทนาเดิม เพราะบริบทเก่าจะรบกวนกติกาในไฟล์ ใช้ได้ทั้ง ChatGPT, Claude และ Gemini

ขั้นที่ 2 — แทนค่าในวงเล็บทั้ง 6 จุด

มีช่องในวงเล็บ 6 จุด แต่ละจุดคือข้อมูลที่ AI เดาแทนคุณไม่ได้ ปล่อยไว้ตามเดิมจะได้คำตอบกลาง ๆ

ขั้นที่ 3 — รันและอ่านผล

AI จะรับบทเป็น DevOps Engineer / System Architect แล้วเดินตามหัวข้อ “วิธีทำงาน” ทีละขั้น ถ้าข้อมูลไม่ครบ AI จะถามกลับก่อน — นั่นคือคำสั่งทำงานถูกต้อง ไม่ใช่ข้อผิดพลาด

แก้ตรงไหนเมื่อผลลัพธ์ไม่ตรงใจ

แต่ละหัวข้อคุมพฤติกรรมคนละอย่าง แก้ทีละหัวข้อแล้วรันใหม่ ถ้ารื้อพร้อมกันหลายจุด จะไม่รู้ว่าอะไรได้ผล

ตัวแปรที่ต้องกรอกก่อนใช้งาน

แทนช่องในวงเล็บด้วยข้อมูลของคุณ ยิ่งเจาะจงยิ่งใช้ได้จริง

• [RAG ตอบอะไร + ใครใช้]
• [สแตกปัจจุบัน: retriever, โมเดล]
• [คำถามจริงบางส่วน + คำตอบที่คาด ถ้ามี]
• [ความล้มเหลวที่เห็นมากสุด: ตอบผิด ไม่มีอ้างอิง ปฏิเสธมากไป]
• [ระบุรูปแบบ — เช่น แผนประเมิน + กติกาการ์ดเรล]
• [ระบุโทน — ค่าเริ่มต้น: วิเคราะห์ แม่นยำ]

ปรับความเข้มของข้อกำหนด

ปรับข้อกำหนดต่อจากตัวแปร แก้ทีละอย่าง ไม่งั้นจะไม่รู้ว่าอันไหนได้ผล

• แก้หัวข้อ “รูปแบบผลลัพธ์” เพื่อเปลี่ยนหน้าตาผลลัพธ์ เช่น เปลี่ยนเป็นตาราง หรือกำหนดความยาว
• เพิ่มหรือลดบรรทัดในหัวข้อ “ข้อห้าม” คือวิธีคุมผลที่ตรงที่สุด หลุดกรอบซ้ำ ๆ ให้เติมข้อห้ามหนึ่งบรรทัด
• เพิ่มอีกบรรทัดว่าผู้อ่านรู้เรื่องนี้มาก่อนแค่ไหน และจะเอาไปทำอะไรต่อ
• คำสั่งนี้ยังไม่ได้กำหนดโทนไว้ ถ้าอยากได้เสียงที่คงที่ทุกครั้ง ให้เพิ่มหนึ่งบรรทัดระบุโทนที่ต้องการลงไปเอง

คำสั่งนี้ต้องเตรียมข้อมูลก่อน

กรอกทุกวงเล็บให้ครบก่อนส่ง ส่งทั้งที่ยังว่างจะได้ผลกลาง ๆ ที่ต้องมาแก้อยู่ดี

ต่อเป็น Workflow หลายขั้น

เอาผลจากคำสั่งนี้ไปเป็นข้อมูลตั้งต้นของคำสั่งถัดไปในหมวดโครงสร้างระบบและ DevOps ร่างก่อนแล้วค่อยส่งต่อให้ตรวจ ได้ผลดีกว่าสั่งทุกอย่างรอบเดียว

หน้าตาของคำตอบ

หัวข้อ “รูปแบบผลลัพธ์” ล็อกรูปแบบไว้ ผลจึงมีโครงเดิมทุกครั้ง

• ชุดประเมิน (ตัวชี้วัดการค้นคืน + คำตอบ) + กติกาการ์ดเรล + ลูป regression

สิ่งที่คำสั่งนี้จะไม่ทำ

ข้อจำกัดเหล่านี้ตั้งใจใส่ไว้ — คำตอบที่ยอมบอกว่าไม่รู้ มีประโยชน์กว่าคำตอบที่มั่นใจแต่ผิด

• “ข้อห้าม” ระบุสิ่งที่ห้ามทำไว้ชัดเจน คำตอบที่ข้ามข้อห้ามเหล่านี้ถือว่าไม่ผ่าน

วิธีดูว่ารอบนี้ได้ผลดีหรือยัง

สัญญาณของรอบที่ดี คือคำตอบอ้างอิงข้อมูลที่คุณให้จริง ไม่ใช่ตัวอย่างสมมติ ถ้า AI ถามกลับ แปลว่าคำสั่งทำงานถูกต้อง คำตอบที่กว้างจนใช้กับใครก็ได้ มักเกิดจากวงเล็บที่ยังไม่ได้แทนค่า