Đăng nhập
| Mã | Cụm | Câu hỏi | Chất lượng | Trạng thái | Nguồn |
|---|---|---|---|---|---|
Đang tải danh sách câu hỏi... | |||||
Chưa chọn câu hỏi
Mở tab Thư viện → click 1 câu hỏi → nút → Ghi nhận câu trả lời sẽ đưa bạn về đây với câu đã pre-fill sẵn.
📜 Lịch sử ghi nhận
| Mã | Cụm | Câu hỏi | Bot ver | Trạng thái | Người duyệt |
|---|---|---|---|---|---|
Đang tải... | |||||
Phân tích & Dashboard admin
Verdict distribution · cluster coverage · staff performance · error type breakdown · insight tag trends.
📖Tổng quan
Audit Tool là gì?
WeatherPlus ChatBot Audit Tool là công cụ nội bộ giúp team WP đánh giá chất lượng câu trả lời của chatbot SEHO trước khi đưa vào sử dụng cho khách hàng (~200 nhà máy thủy điện).
Mục đích
- Thu thập đánh giá có cấu trúc từ team WP về câu trả lời của bot
- Phát hiện lỗi bot trả lời sai, thiếu, hoặc không đúng nội dung KB
- Cải thiện chatbot dựa trên feedback thực tế từ người hiểu nghiệp vụ
- Tạo nguồn dữ liệu training chất lượng cao cho các phiên bản bot tiếp theo
Quy mô hệ thống
- 247 câu hỏi trong thư viện (KB_11 + Q&A bank)
- 5 cụm nghiệp vụ: Quan trắc · Truyền tin · Pháp lý · Sử dụng SEHO · Hỗn hợp
- Nhiều phiên bản bot (v3.0, v3.1, ...): cùng 1 câu hỏi có thể có nhiều câu trả lời ở các phiên bản khác nhau
👥Ba vai trò trong hệ thống
Staff thường role: staff
- Đọc thư viện câu hỏi
- Ghi nhận câu trả lời của bot (nếu chưa có)
- Chấm verdict cá nhân (đánh giá riêng của mình)
- KHÔNG tham gia hội đồng chốt phán quyết
Council member (Hội đồng) role: council_member
- Có đầy đủ quyền của Staff thường
- Tham gia hội đồng chốt phán quyết các câu UNSURE (chưa chắc) hoặc tranh cãi
- Có quyền khoá verdict vĩnh viễn sau khi hội đồng đã chốt
Admin role: admin
- Full quyền hệ thống
- Quản lý danh sách staff, role, dữ liệu
- Mở khoá verdict đã khoá (trường hợp cần sửa)
🔄Workflow chuẩn
- Tab Thư viện — chọn câu hỏi cần đánh giá. Bạn có thể lọc theo cụm (Quan trắc/Truyền tin/Pháp lý/...), trạng thái (Chưa duyệt/Đã khoá/Cần xem lại), nguồn (KB_11/Q&A bank), hoặc tìm kiếm bằng từ khoá.
- Tab Ghi nhận (không bắt buộc — bỏ qua nếu câu đã có answer) — nếu câu hỏi chưa có câu trả lời bot trong hệ thống, bạn ghi nhận câu trả lời bot vào đây (copy từ kết quả thực test bot Zalo/SEHO).
- Tab Xét duyệt — đọc câu trả lời + chọn 1 trong 5 verdict (xem chi tiết phần "Năm loại Verdict") + góp ý cụ thể.
- Council (chỉ với verdict UNSURE) — câu hỏi đó tự động vào queue hội đồng. Hội đồng họp + chốt phán quyết cuối + khoá vĩnh viễn.
⚖️Năm loại Verdict
✅ Đạt (PASS)
Bot trả lời đúng + đủ + sát với KB. Khi chấm PASS → verdict tự động khoá, câu được đánh dấu hoàn thành.
- Nội dung khớp với KB hoặc văn bản pháp lý
- Đủ bước/yếu tố quan trọng, không thiếu phần nào
- Cách diễn đạt rõ ràng, không gây hiểu lầm
♻️ Fallback OK (FALLBACK_OK)
Bot không trả lời trực tiếp được nhưng escalate đúng cách. Ví dụ: "Câu hỏi này không có trong tài liệu hướng dẫn, vui lòng liên hệ kỹ thuật WP qua 0961.308.830." → cũng được coi là OK và khoá.
⚠️ Một phần (PARTIAL)
Bot trả lời đúng phần lớn nhưng thiếu chi tiết quan trọng. Ghi rõ phần thiếu trong góp ý để team cải thiện KB/SP.
- Thiếu deadline cụ thể trong câu trả lời pháp lý
- Thiếu bước technical quan trọng
- Đúng nhưng quá vắn tắt, KH có thể không hiểu
❌ Sai (FAIL)
Bot trả lời sai hoàn toàn — lệch nội dung KB, hoặc bịa thông tin không có trong KB. Khi chọn FAIL bạn cần:
- Chọn error_type (KB_GAP / SP_BUG / OUT_OF_SCOPE / ...)
- Ghi suggested_fix (cách sửa đề xuất)
- Có thể add insight tags (khong_co_du_lieu / nguon_sai / ...)
❓ Chưa chắc (UNSURE)
Bạn không đủ tự tin chốt verdict cuối. Câu sẽ tự động vào queue hội đồng để team senior xem lại.
⚖️Hội đồng (Council) workflow
Khi nào câu vào queue Council?
Một câu hỏi được tự động đưa vào queue Council khi có ít nhất 1 staff chấm verdict UNSURE. Câu sẽ hiện ở tab Xét duyệt với badge cảnh báo "Cần hội đồng xem".
Ai có quyền xem + chốt?
- Chỉ council_member và admin mới thấy được form chốt phán quyết
- Staff thường vẫn xem được câu hỏi nhưng KHÔNG thấy form council
- Mọi council member đều có quyền chấm (không cần phân công trước)
Form chốt phán quyết — 3 phần
- Chọn 1 trong 4 phán quyết cuối: PASS / PARTIAL / FAIL / FALLBACK_OK. KHÔNG có UNSURE — hội đồng phải chốt được câu trả lời cuối cùng.
- Nêu rõ lý do (tối thiểu 30 ký tự): vì sao hội đồng chốt phán quyết này. Ghi cụ thể, để sau này tra cứu được.
- Tích người tham gia (attendees): chọn các council member tham gia thảo luận. Người chốt (recorder) tự động được tích.
Khoá vĩnh viễn
Sau khi hội đồng chốt + Submit:
- Tất cả verdict cá nhân (UNSURE/PASS/...) của câu đó được khoá vĩnh viễn
- Badge trạng thái chuyển sang ⚖️ Hội đồng (xanh có viền nét đậm) thay vì badge thường
- Tooltip hover hiển thị: "⚖️ Hội đồng kết luận: ... · ghi nhận bởi ... · [date]"
- Không thể sửa. Chỉ admin mới có quyền mở khoá nếu cần sửa
❓Câu hỏi thường gặp
Tôi không thấy form Council, vào tab Xét duyệt chỉ thấy form thường?
Vai trò của bạn đang là staff (không phải council_member). Bình thường — staff thường chỉ chấm verdict cá nhân, không tham gia hội đồng. Nếu cần đổi vai trò, liên hệ admin.
Verdict tôi vừa chấm đã khoá rồi, làm sao sửa?
PASS và FALLBACK_OK auto-khoá ngay sau khi chấm. Nếu bạn lỡ tay chấm sai, liên hệ admin (Tuấn) để mở khoá. PARTIAL/FAIL/UNSURE không tự khoá, bạn có thể chấm lại để supersede verdict cũ.
Tôi vô tình chấm sai verdict, làm sao undo?
Với PARTIAL/FAIL/UNSURE (chưa khoá): chấm lại verdict mới → verdict cũ tự động bị supersede (vẫn lưu trong history nhưng không tính nữa). Với PASS/FALLBACK_OK (đã khoá): liên hệ admin mở khoá trước.
Câu hỏi không hiện trong tab Thư viện?
Filter "Trạng thái" mặc định là "Chưa duyệt". Đổi sang "Tất cả" hoặc trạng thái cụ thể (Đã khoá / Hội đồng / ...) để thấy hết. Hoặc dùng ô tìm kiếm với từ khoá.
Tại sao có câu hiện badge "⚠️ Một phần" (cam) mặc dù tôi chưa chấm?
Badge "Trạng thái" hiển thị verdict mới nhất của câu đó từ bất kỳ staff nào, không phải riêng bạn. Có thể đồng nghiệp đã chấm trước.
Bot trả lời quá ngắn hoặc quá dài, đánh verdict thế nào?
Đánh theo nội dung đúng/sai, không theo độ dài. Nếu ngắn nhưng đúng + đủ → PASS. Nếu dài nhưng thiếu nội dung quan trọng → PARTIAL. Độ dài không phải tiêu chí chính.
Tôi không hiểu bot trả lời gì cả, đánh verdict gì?
Nếu nội dung quá kỹ thuật hoặc ngoài chuyên môn của bạn → chấm UNSURE để escalate hội đồng. Nếu nội dung lộn xộn/không rõ ràng (lỗi rõ rệt) → FAIL kèm error_type "SP_BUG" hoặc "OUT_OF_SCOPE".
Có deadline phải audit không?
Không bắt buộc, bạn audit khi rảnh. Mục tiêu pilot: ~10 câu/tuần/người. Đây là target soft, không penalty nếu chưa đạt.
Tôi login bằng email cá nhân (Gmail/Yahoo) được không?
KHÔNG. Chỉ email đã được đăng ký trong hệ thống (theo KB_12.2 staff list) mới login được. Nếu email công ty của bạn bị reject, báo admin để bổ sung.
📞Liên hệ & Hỗ trợ
Kênh liên hệ chính
Khi nào liên hệ?
- Bug/lỗi tool: báo Zalo group + screenshot màn hình + describe bước reproduce
- Quên/không truy cập được: báo admin để check tài khoản/email
- Cần mở khoá verdict: báo admin (Tuấn) với mã câu hỏi (vd PL-003) + lý do
- Đề xuất tính năng mới: Zalo group, sẽ được tổng hợp định kỳ
- Câu hỏi nghiệp vụ về nội dung KB: liên hệ team kỹ thuật WP qua hotline