Nghiên cứu và đánh giá

Nghiên cứu hành vi học tập và dự đoán trễ nhiệm vụ

Lumivox nghiên cứu dự đoán trễ nhiệm vụ từ dữ liệu hành vi học tập bằng một bộ phân loại machine learning có thể diễn giải. Metric model, kết quả usability và bản ghi nền tảng được tách biệt vì chúng trả lời các câu hỏi khác nhau.

01

Định nghĩa vấn đề

Mô hình ước lượng một nhiệm vụ đang hoạt động có khả năng bị trễ trong 14 ngày hay không. Tín hiệu hỗ trợ ưu tiên và phản tư; nó không dự đoán điểm số, năng lực cá nhân hay thành công học tập.

02

Pipeline dữ liệu hành vi

Các snapshot nhiệm vụ có phiên bản được tạo từ bản ghi nhiệm vụ và hoạt động Lumivox. Feature được chuẩn bị theo schema native-task-risk-v2, chia theo nhiệm vụ duy nhất thành train, validation và test độc lập, tránh coi các snapshot lặp của cùng nhiệm vụ là nhiệm vụ độc lập ở nhiều tập.

03

Mô hình rủi ro nhiệm vụ

Bộ phân loại được chọn là Logistic regression with balanced class weights. Phiên bản native-task-risk-v2-20260925-021822 được đăng ký ở trạng thái sẵn sàng triển khai. Logistic regression giữ ranh giới quyết định tương đối dễ diễn giải, còn class balancing xử lý phân bố của lớp nhiệm vụ trễ.

04

Dữ liệu

Artifact ghi nhận 70.379 snapshot từ 6.643 nhiệm vụ duy nhất và 129 người dùng. Tập test độc lập có 14.315 snapshot thuộc 1.329 nhiệm vụ.

05

Phương pháp đánh giá

Ngưỡng quyết định là 0.4. Ngưỡng được chọn trên validation với ràng buộc recall tối thiểu 0.75, specificity tối thiểu 0.50 và giới hạn tỷ lệ dự đoán dương. Recall được ưu tiên vì bỏ sót nhiệm vụ thật sự có rủi ro được xem là tốn kém hơn một cảnh báo bổ sung.

Khám phá tính năng dự đoán rủi ro trễ nhiệm vụ

06

Chỉ số trên tập test độc lập

Các số này mô tả hành vi bộ phân loại trên tập test. Chúng không phải tỷ lệ sinh viên cải thiện.

Accuracy67.31%
Precision59.50%
Recall76.90%
Specificity59.97%
Balanced accuracy68.44%
F167.09%
ROC-AUC0.7512

Ma trận nhầm lẫn

Âm tính đúng
4.865
Dương tính giả
3.247
Âm tính giả
1.433
Dương tính đúng
4.770
07

Kiểm tra triển khai

Artifact đã vượt qua các gate triển khai được ghi nhận, gồm ràng buộc validation, kiểm tra test set, serialization artifact, xác minh feature schema và metadata bắt buộc. Vượt gate nghĩa là artifact đáp ứng deployment contract của dự án, không loại bỏ nhu cầu monitoring.

08

Đánh giá người dùng

Một nghiên cứu usability riêng thu 15 phản hồi. Công thức System Usability Scale chuẩn cho SUS trung bình 63.5 (khoảng 47.5 đến 92.5). Trong 180 lượt kiểm tra tác vụ, 166 lượt thành công, tương đương tỷ lệ hoàn thành tổng hợp 92.2%. Tên và nhận xét nguyên văn không được công bố vì chưa xác lập consent sử dụng công khai.

Participant
15
SUS trung bình
63.5
Hoàn thành tác vụ
92.2%
09

Snapshot nền tảng

Tại ngày 27/09/2026, dự án Supabase có các bản ghi tổng hợp bên dưới. Đây là số đếm database, không phải claim về hiệu quả hay người dùng hoạt động, và sẽ thay đổi khi sản phẩm được sử dụng.

Bản ghi hồ sơ
168
Bản ghi nhiệm vụ
6.697
Bản ghi mục tiêu
462
Bản ghi phiên tập trung
46.932

Snapshot: 2026-09-27

10

Giới hạn

  • • Dataset native có 129 người dùng duy nhất và có thể chưa đại diện cho người học ngoài nhóm hiện tại.
  • • Precision 59.50% và specificity 59.97% cho thấy cảnh báo dương tính giả vẫn là tradeoff đáng kể.
  • • Mẫu usability nhỏ và SUS trung bình chỉ mô tả 15 participant này.
  • • Hiệu năng test offline không chứng minh kết quả học tập hoặc lợi ích dài hạn được cải thiện.
11

Quyền riêng tư và đạo đức

Website chỉ công bố giá trị đánh giá tổng hợp. Dự đoán cần được trình bày như hỗ trợ có bất định, không phải phán xét người học. Sản phẩm cần tiếp tục theo dõi drift, gánh nặng dương tính giả, accessibility và tác động của gợi ý.

Đọc chi tiết quyền riêng tư và sử dụng dữ liệu