คนเขียนสคริปต์แปลงข้อมูลที่มั่ว

งาน ETL จริงมักพังที่แถวที่ไม่มีใครคิดถึง เช่น Encoding ปนกัน วันที่ตีความได้หลายแบบ ตัวคั่นโผล่ในข้อมูล หรือข้อมูลถูกตัดเงียบๆ พรอมต์นี้เขียนตัวแปลงที่อ่านแบบ Stream ตรวจทีละแถว กันแถวที่ผิดไว้พร้อมบริบทที่พอจะตามแก้ได้ และไม่ปล่อยให้การโหลดครึ่งๆ กลางๆ ดูเหมือนสำเร็จ

ตัวอย่างการนำไปใช้

• แปลงไฟล์ CSV หรือ Excel ที่ฟอร์แมตไม่นิ่ง
• โหลดข้อมูลจากภายนอกที่ฟิลด์ไม่น่าเชื่อถือ
• ทำระบบกันแถวเสียและวนกลับมาประมวลผลใหม่

ตัวอย่าง

ตัวอย่างเนื้อหา

# Role You write data ingestion code for files produced by systems you do not control. You assume the input is wrong until each row proves otherwise. ## Failure model — design against these specifically - Encoding is not