Đăng nhập
| Mã | Cụm | Câu hỏi | Chất lượng | Trạng thái | Nguồn |
|---|---|---|---|---|---|
Đang tải danh sách câu hỏi... | |||||
Chưa chọn câu hỏi
Có 2 cách bắt đầu:
Câu có sẵn: ghi nhận câu trả lời bot cho 1 trong 247 câu hỏi đã có sẵn trong Thư viện.
Câu hỏi mới: khi test bot, bạn gặp câu hỏi chưa có trong Thư viện → submit câu mới + câu trả lời bot vào hệ thống để team WP audit.
📜 Lịch sử ghi nhận
| Mã | Cụm | Câu hỏi | Bot ver | Trạng thái | Người duyệt |
|---|---|---|---|---|---|
Đang tải... | |||||
Phân tích & Export Audit Cycle
| # | Tên cycle | Trạng thái | KB | SP | Bắt đầu | Kết thúc | Verdicts |
|---|---|---|---|---|---|---|---|
| Đang tải... | |||||||
📖Tổng quan
Audit Tool là gì?
WeatherPlus ChatBot Audit Tool là công cụ nội bộ giúp team WP đánh giá chất lượng câu trả lời của chatbot SEHO trước khi đưa vào sử dụng cho khách hàng (~200 nhà máy thủy điện).
Mục đích
- Thu thập đánh giá có cấu trúc từ team WP về câu trả lời của bot
- Phát hiện lỗi bot trả lời sai, thiếu, hoặc không đúng nội dung KB
- Cải thiện chatbot dựa trên feedback thực tế từ người hiểu nghiệp vụ
- Tạo nguồn dữ liệu training chất lượng cao cho các phiên bản bot tiếp theo
Quy mô hệ thống
- 247 câu hỏi trong thư viện (KB_11 + Q&A bank)
- 5 cụm nghiệp vụ: Quan trắc · Truyền tin · Pháp lý · Sử dụng SEHO · Hỗn hợp
- 1 phiên bản bot production tại 1 thời điểm (hiện tại: xem banner "Bot SP" trên đầu trang). Khi admin nâng cấp SP, entry ghi nhận với SP cũ sẽ được đánh dấu stale để biết cần re-audit.
👥Ba vai trò trong hệ thống
Staff thường role: staff
- Đọc thư viện câu hỏi
- Ghi nhận câu trả lời của bot (nếu chưa có)
- Chấm verdict cá nhân (đánh giá riêng của mình)
- KHÔNG tham gia hội đồng chốt phán quyết
Council member (Hội đồng) role: council_member
- Có đầy đủ quyền của Staff thường
- Tham gia hội đồng chốt phán quyết các câu UNSURE (chưa chắc) hoặc tranh cãi
- Có quyền khoá verdict vĩnh viễn sau khi hội đồng đã chốt
Admin role: admin
- Full quyền hệ thống
- Quản lý danh sách staff, role, dữ liệu
- Mở khoá verdict đã khoá (trường hợp cần sửa)
🔄Workflow chuẩn
- Tab Thư viện — chọn câu hỏi cần đánh giá. Bạn có thể lọc theo cụm (Quan trắc/Truyền tin/Pháp lý/...), trạng thái (Chưa duyệt/Đã khoá/Cần xem lại), nguồn (KB_11/Q&A bank), hoặc tìm kiếm bằng từ khoá.
- Tab Ghi nhận (không bắt buộc — bỏ qua nếu câu đã có answer) — nếu câu hỏi chưa có câu trả lời bot trong hệ thống, bạn ghi nhận câu trả lời bot vào đây (copy từ kết quả thực test bot Zalo/SEHO).
- Tab Xét duyệt — đọc câu trả lời + chọn 1 trong 5 verdict (xem chi tiết phần "Năm loại Verdict") + góp ý cụ thể.
- Council (chỉ với verdict UNSURE) — câu hỏi đó tự động vào queue hội đồng. Hội đồng họp + chốt phán quyết cuối + khoá vĩnh viễn.
⚖️Năm loại Verdict
✅ Đạt (PASS)
Bot trả lời đúng + đủ + sát với KB. Khi chấm PASS → verdict tự động khoá, câu được đánh dấu hoàn thành.
- Nội dung khớp với KB hoặc văn bản pháp lý
- Đủ bước/yếu tố quan trọng, không thiếu phần nào
- Cách diễn đạt rõ ràng, không gây hiểu lầm
♻️ Fallback OK (FALLBACK_OK)
Bot không trả lời trực tiếp được nhưng escalate đúng cách. Ví dụ: "Câu hỏi này không có trong tài liệu hướng dẫn, vui lòng liên hệ kỹ thuật WP qua 0961.308.830." → cũng được coi là OK và khoá.
⚠️ Một phần (PARTIAL)
Bot trả lời đúng phần lớn nhưng thiếu chi tiết quan trọng. Ghi rõ phần thiếu trong góp ý để team cải thiện KB/SP.
- Thiếu deadline cụ thể trong câu trả lời pháp lý
- Thiếu bước technical quan trọng
- Đúng nhưng quá vắn tắt, KH có thể không hiểu
❌ Sai (FAIL)
Bot trả lời sai hoàn toàn — lệch nội dung KB, hoặc bịa thông tin không có trong KB. Khi chọn FAIL bạn cần:
- Chọn error_type (KB_GAP / SP_BUG / OUT_OF_SCOPE / ...)
- Ghi suggested_fix (cách sửa đề xuất)
- Có thể add insight tags (khong_co_du_lieu / nguon_sai / ...)
❓ Chưa chắc (UNSURE)
Bạn không đủ tự tin chốt verdict cuối. Câu sẽ tự động vào queue hội đồng để team senior xem lại.
⚖️Hội đồng (Council) workflow
Khi nào câu vào queue Council?
Một câu hỏi được tự động đưa vào queue Council khi có ít nhất 1 staff chấm verdict UNSURE. Câu sẽ hiện ở tab Xét duyệt với badge cảnh báo "Cần hội đồng xem".
Ai có quyền xem + chốt?
- Chỉ council_member và admin mới thấy được form chốt phán quyết
- Staff thường vẫn xem được câu hỏi nhưng KHÔNG thấy form council
- Mọi council member đều có quyền chấm (không cần phân công trước)
Form chốt phán quyết — 3 phần
- Chọn 1 trong 4 phán quyết cuối: PASS / PARTIAL / FAIL / FALLBACK_OK. KHÔNG có UNSURE — hội đồng phải chốt được câu trả lời cuối cùng.
- Nêu rõ lý do (tối thiểu 30 ký tự): vì sao hội đồng chốt phán quyết này. Ghi cụ thể, để sau này tra cứu được.
- Tích người tham gia (attendees): chọn các council member tham gia thảo luận. Người chốt (recorder) tự động được tích.
Khoá vĩnh viễn
Sau khi hội đồng chốt + Submit:
- Tất cả verdict cá nhân (UNSURE/PASS/...) của câu đó được khoá vĩnh viễn
- Badge trạng thái chuyển sang ⚖️ Hội đồng (xanh có viền nét đậm) thay vì badge thường
- Tooltip hover hiển thị: "⚖️ Hội đồng kết luận: ... · ghi nhận bởi ... · [date]"
- Không thể sửa. Chỉ admin mới có quyền mở khoá nếu cần sửa
❓Câu hỏi thường gặp
Tôi không thấy form Council, vào tab Xét duyệt chỉ thấy form thường?
Vai trò của bạn đang là staff (không phải council_member). Bình thường — staff thường chỉ chấm verdict cá nhân, không tham gia hội đồng. Nếu cần đổi vai trò, liên hệ admin.
Verdict tôi vừa chấm đã khoá rồi, làm sao sửa?
PASS và FALLBACK_OK auto-khoá ngay sau khi chấm. Nếu bạn lỡ tay chấm sai, liên hệ admin (Tuấn) để mở khoá. PARTIAL/FAIL/UNSURE không tự khoá, bạn có thể chấm lại để supersede verdict cũ.
Tôi vô tình chấm sai verdict, làm sao undo?
Với PARTIAL/FAIL/UNSURE (chưa khoá): chấm lại verdict mới → verdict cũ tự động bị supersede (vẫn lưu trong history nhưng không tính nữa). Với PASS/FALLBACK_OK (đã khoá): liên hệ admin mở khoá trước.
Câu hỏi không hiện trong tab Thư viện?
Filter "Trạng thái" mặc định là "Chưa duyệt". Đổi sang "Tất cả" hoặc trạng thái cụ thể (Đã khoá / Hội đồng / ...) để thấy hết. Hoặc dùng ô tìm kiếm với từ khoá.
Tại sao có câu hiện badge "⚠️ Một phần" (cam) mặc dù tôi chưa chấm?
Badge "Trạng thái" hiển thị verdict mới nhất của câu đó từ bất kỳ staff nào, không phải riêng bạn. Có thể đồng nghiệp đã chấm trước.
Bot trả lời quá ngắn hoặc quá dài, đánh verdict thế nào?
Đánh theo nội dung đúng/sai, không theo độ dài. Nếu ngắn nhưng đúng + đủ → PASS. Nếu dài nhưng thiếu nội dung quan trọng → PARTIAL. Độ dài không phải tiêu chí chính.
Tôi không hiểu bot trả lời gì cả, đánh verdict gì?
Nếu nội dung quá kỹ thuật hoặc ngoài chuyên môn của bạn → chấm UNSURE để escalate hội đồng. Nếu nội dung lộn xộn/không rõ ràng (lỗi rõ rệt) → FAIL kèm error_type "SP_BUG" hoặc "OUT_OF_SCOPE".
Có deadline phải audit không?
Không bắt buộc, bạn audit khi rảnh. Mục tiêu pilot: ~10 câu/tuần/người. Đây là target soft, không penalty nếu chưa đạt.
Tôi login bằng email cá nhân (Gmail/Yahoo) được không?
KHÔNG. Chỉ email đã được đăng ký trong hệ thống (theo KB_12.2 staff list) mới login được. Nếu email công ty của bạn bị reject, báo admin để bổ sung.
Tôi đang gõ comment dài thì mất mạng / vô tình đóng tab. Có khôi phục được không?
Hiện tại KHÔNG. Tool chưa có auto-save draft. Comment chưa click "Lưu xét duyệt" → sẽ mất hoàn toàn nếu mất mạng / đóng tab / browser crash / session hết hạn. Mẹo: click "Lưu" thường xuyên, đừng để form mở quá lâu. Tính năng auto-save có thể được build trong phiên bản sau nếu staff feedback nhiều.
📞Liên hệ & Hỗ trợ
Kênh liên hệ chính
Khi nào liên hệ?
- Bug/lỗi tool: báo Zalo group + screenshot màn hình + describe bước reproduce
- Quên/không truy cập được: báo admin để check tài khoản/email
- Cần mở khoá verdict: báo admin (Tuấn) với mã câu hỏi (vd PL-003) + lý do
- Đề xuất tính năng mới: Zalo group, sẽ được tổng hợp định kỳ
- Câu hỏi nghiệp vụ về nội dung KB: liên hệ team kỹ thuật WP qua hotline
✨Tính năng nâng cao
📌 Banner SP version trên đầu trang
Banner xanh nhạt ở đầu trang ghi "Bot SP: v3.1.3 · KB v2.3.1 · ..." hiển thị phiên bản System Prompt của Bot đang chạy production. Mọi câu trả lời bạn ghi nhận sẽ tự động được gắn version này — bạn không cần (và không thể) nhập version tay.
🏷️ Badge stale nghĩa là gì?
Khi admin bump SP version (vd v3.1.3 → v3.1.4), các entry ghi nhận với version cũ sẽ tự động hiện badge stale ở 3 chỗ:
- Tab Ghi nhận → panel "Lịch sử ghi nhận" bên phải
- Tab Xét duyệt → cột "BOT VER" trong bảng
- Tab Xét duyệt → chip version khi expand panel
Badge stale không xoá data cũ — chỉ là tín hiệu nhắc bạn cân nhắc re-audit câu đó với SP mới. Verdict cũ vẫn giữ nguyên trong DB.
🆕 Mode 2 — Submit câu hỏi mới
Nếu bạn test bot và gặp câu hỏi chưa có trong Thư viện:
- Vào Tab Ghi nhận → trạng thái rỗng (chưa chọn câu nào)
- Click nút "🆕 Câu hỏi mới (chưa có trong KB)"
- Nhập câu hỏi (tool tự check trùng với 247 câu hiện có)
- Chọn cụm + bot variant + dán câu trả lời Bot
- Submit → câu mới được tạo trong qa_bank với prefix
PL-N01(N = New) - Sau submit, tool tự chuyển sang Tab Xét duyệt để bạn đánh giá luôn
👋 Nút "?" trong góc phải
Cạnh nút "Đăng xuất" có nút ? nhỏ — click để mở lại popup chào mừng với 3 bước quy trình chính. Hữu ích nếu bạn quên cách dùng hoặc giới thiệu cho đồng nghiệp mới.
👤 "Ghi bởi [tên]" trong lịch sử
Mọi entry ghi nhận đều hiển thị "ghi bởi [tên]" để biết ai làm. Bạn chỉ có quyền sửa/xoá entry của chính mình (nếu cycle còn open). Entry của người khác chỉ admin sửa được.
📥 Export JSON (chỉ admin)
Tab Phân tích có nút "Export JSON" — admin (Tuấn) dùng để xuất toàn bộ verdicts của cycle đã đóng. File JSON này sẽ được upload lên Claude.ai để phân tích pattern lỗi + đề xuất nâng cấp KB / SP cho version sau.
Bạn không cần dùng export trực tiếp — chỉ cần ghi nhận + xét duyệt cẩn thận trong tool, admin sẽ lo phần phân tích.