Nghiên cứu và đánh giá
Nghiên cứu hành vi học tập và dự đoán trễ nhiệm vụ
Lumivox nghiên cứu dự đoán trễ nhiệm vụ từ dữ liệu hành vi học tập bằng một bộ phân loại machine learning có thể diễn giải. Metric model, kết quả usability và bản ghi nền tảng được tách biệt vì chúng trả lời các câu hỏi khác nhau.
Định nghĩa vấn đề
Mô hình ước lượng một nhiệm vụ đang hoạt động có khả năng bị trễ trong 14 ngày hay không. Tín hiệu hỗ trợ ưu tiên và phản tư; nó không dự đoán điểm số, năng lực cá nhân hay thành công học tập.
Pipeline dữ liệu hành vi
Các snapshot nhiệm vụ có phiên bản được tạo từ bản ghi nhiệm vụ và hoạt động Lumivox. Feature được chuẩn bị theo schema native-task-risk-v2, chia theo nhiệm vụ duy nhất thành train, validation và test độc lập, tránh coi các snapshot lặp của cùng nhiệm vụ là nhiệm vụ độc lập ở nhiều tập.
Mô hình rủi ro nhiệm vụ
Bộ phân loại được chọn là Logistic regression with balanced class weights. Phiên bản native-task-risk-v2-20260925-021822 được đăng ký ở trạng thái sẵn sàng triển khai. Logistic regression giữ ranh giới quyết định tương đối dễ diễn giải, còn class balancing xử lý phân bố của lớp nhiệm vụ trễ.
Dữ liệu
Artifact ghi nhận 70.379 snapshot từ 6.643 nhiệm vụ duy nhất và 129 người dùng. Tập test độc lập có 14.315 snapshot thuộc 1.329 nhiệm vụ.
Phương pháp đánh giá
Ngưỡng quyết định là 0.4. Ngưỡng được chọn trên validation với ràng buộc recall tối thiểu 0.75, specificity tối thiểu 0.50 và giới hạn tỷ lệ dự đoán dương. Recall được ưu tiên vì bỏ sót nhiệm vụ thật sự có rủi ro được xem là tốn kém hơn một cảnh báo bổ sung.
Khám phá tính năng dự đoán rủi ro trễ nhiệm vụ
Chỉ số trên tập test độc lập
Các số này mô tả hành vi bộ phân loại trên tập test. Chúng không phải tỷ lệ sinh viên cải thiện.
| Accuracy | 67.31% |
|---|---|
| Precision | 59.50% |
| Recall | 76.90% |
| Specificity | 59.97% |
| Balanced accuracy | 68.44% |
| F1 | 67.09% |
| ROC-AUC | 0.7512 |
Ma trận nhầm lẫn
- Âm tính đúng
- 4.865
- Dương tính giả
- 3.247
- Âm tính giả
- 1.433
- Dương tính đúng
- 4.770
Kiểm tra triển khai
Artifact đã vượt qua các gate triển khai được ghi nhận, gồm ràng buộc validation, kiểm tra test set, serialization artifact, xác minh feature schema và metadata bắt buộc. Vượt gate nghĩa là artifact đáp ứng deployment contract của dự án, không loại bỏ nhu cầu monitoring.
Đánh giá người dùng
Một nghiên cứu usability riêng thu 15 phản hồi. Công thức System Usability Scale chuẩn cho SUS trung bình 63.5 (khoảng 47.5 đến 92.5). Trong 180 lượt kiểm tra tác vụ, 166 lượt thành công, tương đương tỷ lệ hoàn thành tổng hợp 92.2%. Tên và nhận xét nguyên văn không được công bố vì chưa xác lập consent sử dụng công khai.
- Participant
- 15
- SUS trung bình
- 63.5
- Hoàn thành tác vụ
- 92.2%
Snapshot nền tảng
Tại ngày 27/09/2026, dự án Supabase có các bản ghi tổng hợp bên dưới. Đây là số đếm database, không phải claim về hiệu quả hay người dùng hoạt động, và sẽ thay đổi khi sản phẩm được sử dụng.
- Bản ghi hồ sơ
- 168
- Bản ghi nhiệm vụ
- 6.697
- Bản ghi mục tiêu
- 462
- Bản ghi phiên tập trung
- 46.932
Snapshot: 2026-09-27
Giới hạn
- • Dataset native có 129 người dùng duy nhất và có thể chưa đại diện cho người học ngoài nhóm hiện tại.
- • Precision 59.50% và specificity 59.97% cho thấy cảnh báo dương tính giả vẫn là tradeoff đáng kể.
- • Mẫu usability nhỏ và SUS trung bình chỉ mô tả 15 participant này.
- • Hiệu năng test offline không chứng minh kết quả học tập hoặc lợi ích dài hạn được cải thiện.
Quyền riêng tư và đạo đức
Website chỉ công bố giá trị đánh giá tổng hợp. Dự đoán cần được trình bày như hỗ trợ có bất định, không phải phán xét người học. Sản phẩm cần tiếp tục theo dõi drift, gánh nặng dương tính giả, accessibility và tác động của gợi ý.