6 intent (thứ tự ưu tiên)

Khi nhiều intent cùng khớp, intent đứng trước thắng: omi_intent_repeat > callback > relationship > nlu_fallback > negate > affirm. Ví dụ bên dưới do người viết tự đặt, không lấy từ data thật.

Ranh giới hay nhầm — quy tắc v2 (data lv2)

• Khách hỏi “để làm gì” khi đang được xác minh thông tin → negate.
• Khách hỏi về tiền hoặc thủ tục mà không có từ đồng ý hay phủ nhận → nlu_fallback.
• Khách bảo gọi lại, hẹn gọi lại hoặc cho số khác → callback; chỉ báo bận hoặc chỉ nêu giờ → negate (theo spec).
• Chỉ “ừ”, “dạ” sau lời bot thông báo (không hỏi) → affirm. Khác spec (spec gán fallback) vì train và QC đều gán affirm.

• m2: nhãn test từ file rà soát QC của khách (cột “chuẩn”); train và dev giữ nguyên m1. Đầu vào vẫn là câu bot và chữ ASR. Dòng có nhãn chuẩn khác nhãn QC gốc (hoặc không có nhãn gốc để so) được tách sang split contrast như m1. Số đo được chấm lại từ dự đoán đã lưu của các run m1 (cùng model), không train lại; baseline production, run transductive và run dùng synth/augment chạy riêng trên m2. Nhãn m2 không làm run nào test_informed.
• m1: bộ dữ liệu chính, do khách cập nhật thủ công: tập dòng, nhãn, dev và test đều riêng nên không so trực tiếp với v1. Đầu vào test là chữ ASR lấy từ file QC gốc. Các dòng QC khách đã sửa nhãn so với bản gốc được tách khỏi bảng chính vì nghiêng về model (phần lớn trùng dự đoán của model), chỉ hiện ở split contrast để chẩn đoán. Không test_informed.
• v2: Nhãn QC v2 được chọn sửa một phần từ các dòng mà model bỏ phiếu khác nhãn gốc → số test v2 thiên về model, chỉ để tham khảo, không dùng để chọn phương pháp.
• v2_1: nhãn train/dev sửa theo quy tắc 1 (theo guideline v2, chủ dự án chọn) và quy tắc 3 (theo spec), dev giữ đúng các dòng của v1; nhãn test giữ nguyên v1 → so trực tiếp được với baseline.

Các split

• dev: tập tách từ train, dùng chọn ngưỡng và xếp STT.
• test_clean: QC thật, đã bỏ cặp bot + khách trùng train; bảng chính.
• test_reply_unseen: QC thật, câu khách chưa từng xuất hiện trong train; mức chặt nhất.
• test_full: toàn bộ QC, gồm cả cặp trùng train nên số liệu lạc quan; chỉ để đối chiếu.
• contrast: chỉ có ở m1: các dòng QC khách đã sửa nhãn so với bản gốc. Nghiêng về model nên chỉ để chẩn đoán, hiện cuối trang run; không vào bảng, không xếp hạng, không chọn ensemble.

Cách đọc cột

• Số sau ±: độ lệch chuẩn mẫu (ddof=1) giữa các seed của cùng phương pháp, tính bằng điểm phần trăm. Ví dụ 84.10 ±0.37 = trung bình 84.10 qua các seed, các seed thường lệch nhau khoảng 0.4 điểm. Đây là độ dao động do seed, không phải khoảng tin cậy trên test: với cỡ test hiện tại, chênh vài điểm vẫn có thể là nhiễu (xem bootstrap). Ô không có ± là run 1 seed hoặc baseline.
• Pre / Rec / F1: precision, recall, F1 của từng intent trên split đó.
• Macro: trung bình đều các intent; Weighted là trung bình theo số mẫu mỗi intent.
• ▲ (chữ xanh): ứng viên vượt baseline cùng bản dữ liệu nhưng chưa tốt nhất cột.
• Ô nền xanh đậm: giá trị tốt nhất cột, tính trong cùng bản dữ liệu (m1, v1, v2 hoặc v2_1). Dòng transductive hoặc test_informed vẫn hiện nhưng không nhận ô xanh hay ▲.
• STT 0: baseline prod, ghim đầu bảng; ứng viên xếp từ 1, riêng cho từng bản dữ liệu.
• Quy tắc giải mã: cột không tiền tố dùng quy tắc mặc định: ngưỡng fallback chọn trên dev (recall cao nhất với precision ≥ 0.85). Cột argmax là cùng xác suất đó giải mã bằng argmax, không ngưỡng fallback. Baseline prod chỉ có nhãn cứng nên hai quy tắc cho cùng một số.
• −rep: macro trên 5 intent, bỏ omi_intent_repeat: test_clean chỉ có vài dòng repeat nên một dòng lật làm macro-F1 đổi vài điểm.