Thanh bên bài viết
Số lượt xem PDF: 0
XÂY DỰNG HỆ THỐNG LUYỆN THI IELTS TRỰC TUYẾN TÍCH HỢP CHẤM ĐIỂM TỰ ĐỘNG CHO KỸ NĂNG VIẾT VÀ NÓI BẰNG MÔ HÌNH HỌC SÂU
Nội dung chính của bài viết
Tóm tắt
Trong nghiên cứu này, chúng tôi trình bày quá trình xây dựng và đánh giá một hệ thống luyện thi IELTS trực tuyến tích hợp các mô đun chấm điểm tự động cho hai kỹ năng Writing và Speaking. Hệ thống được thiết kế cho mục đích luyện tập, cho phép người học gửi bài, nhận band điểm dự báo theo từng tiêu chí và theo dõi biến động kết quả qua nhiều lượt làm bài, không nhằm thay thế giám khảo trong bối cảnh khảo thí chính thức. Đối với Writing, đề bài và bài làm được mã hóa bằng all-MiniLM-L6-v2, sau đó kết hợp với 52 chỉ báo ngôn ngữ tại tầng hợp nhất để dự đoán bốn tiêu chí Task Response/Task Achievement (TR/TA), Coherence and Cohesion (CC), Lexical Resource (LR) và Grammatical Range and Accuracy (GRA). Đối với Speaking, mỗi mẫu được biểu diễn bằng 420 đặc trưng đa nguồn rút ra từ transcript, biểu diễn ngữ nghĩa, tín hiệu lưu loát và một số đặc trưng âm học; bốn bộ hồi quy XGBoost được sử dụng để dự đoán Fluency and Coherence (FC), Lexical Resource (LR), Grammatical Range and Accuracy (GRA) và Pronunciation (PR). Thực nghiệm được tiến hành trên 2.162 bài viết và 281 mẫu nói. Kết quả cho thấy mô đun Writing đạt Quadratic Weighted Kappa (QWK) tổng thể 0,6482 trên tập kiểm tra sau khi lấy trung bình đầu ra của ba mô hình, trong khi mô đun Speaking đạt QWK trung bình 0,6240 theo đánh giá 5-fold cross-validation. Các kết quả bước đầu cho thấy việc tích hợp mô hình chấm điểm tự động vào nền tảng luyện tập trực tuyến là khả thi. Tuy nhiên, quy mô dữ liệu Speaking còn nhỏ, quy trình gán nhãn chưa được chuẩn hóa đầy đủ và hệ thống chưa sinh phản hồi định tính gắn trực tiếp với rubric IELTS. Do đó, các hướng phát triển tiếp theo gồm mở rộng dữ liệu, kiểm soát rò rỉ dữ liệu, chuẩn hóa nhãn và bổ sung cơ chế phản hồi định tính trước khi triển khai ở quy mô lớn.
Chi tiết bài viết
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Từ khóa
IELTS, dự báo band điểm, chấm điểm tự động, học sâu, học máy, xử lý ngôn ngữ tự nhiên, luyện tập trực tuyến
Tài liệu tham khảo
Alikaniotis, D., Yannakoudakis, H., & Rei, M. (2016). Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 715-725). Association for Computational Linguistics. https://doi.org/10.18653/v1/P16-1068
Burstein, J., Kukich, K., Wolff, S., Lu, C., Chodorow, M., Braden-Harder, L., & Harris, M. D. (1999). Automated essay scoring for nonnative English speakers. In Proceedings of the Workshop on Computer-Mediated Language Assessment and Evaluation in Natural Language Processing (pp. 68-75). Association for Computational Linguistics. https://aclanthology.org/W99-0509/
Chen, T., & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 785-794). Association for Computing Machinery. https://doi.org/10.1145/2939672.2939785
Cummins, R., Zhang, M., & Briscoe, T. (2016). Constrained multi-task learning for automated essay scoring. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 789-799). Association for Computational Linguistics. https://doi.org/10.18653/v1/P16-1075
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 4171-4186). Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423
Evanini, K., Xie, S., & Zechner, K. (2013). Prompt-based content scoring for automated spoken language assessment. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications (pp. 157-162). Association for Computational Linguistics. https://aclanthology.org/W13-1721/
Farag, Y., Yannakoudakis, H., & Briscoe, T. (2018). Neural automated essay scoring and coherence modeling for adversarially crafted input. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) (pp. 263-271). Association for Computational Linguistics. https://doi.org/10.18653/v1/N18-1024
Hussein, M. A., Hassan, H. A., & Nassef, M. (2019). Automated language essay scoring systems: A literature review. PeerJ Computer Science, 5, e208. https://doi.org/10.7717/peerj-cs.208
IELTS. (2023). IELTS writing band descriptors. https://ielts.org/cdn/Guides/ielts-writing-band-descriptors.pdf
IELTS. (n.d.). IELTS Academic format: Writing. Retrieved April 17, 2026, from https://ielts.org/take-a-test/test-types/ielts-academic-test/ielts-academic-format-writing
IELTS. (n.d.). IELTS scoring in detail. Retrieved April 17, 2026, from https://ielts.org/take-a-test/your-results/ielts-scoring-in-detail
Jin, C., He, B., Hui, K., & Sun, L. (2018). TDNN: A two-stage deep neural network for prompt-independent automated essay scoring. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 1088-1097). Association for Computational Linguistics. https://doi.org/10.18653/v1/P18-1100
Ke, Z., & Ng, V. (2019). Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence (pp. 6300-6308). International Joint Conferences on Artificial Intelligence Organization. https://doi.org/10.24963/ijcai.2019/879
Loukina, A., & Cahill, A. (2016). Automated scoring across different modalities. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications (pp. 130-135). Association for Computational Linguistics. https://doi.org/10.18653/v1/W16-0514
Loukina, A., Madnani, N., & Cahill, A. (2017). Speech- and text-driven features for automated scoring of English speaking tasks. In Proceedings of the Workshop on Speech-Centric Natural Language Processing (pp. 67-77). Association for Computational Linguistics. https://doi.org/10.18653/v1/W17-4609
Loukina, A., Zechner, K., Bruno, J., & Beigman Klebanov, B. (2018). Using exemplar responses for training and evaluating automated speech scoring systems. In Proceedings of the Thirteenth Workshop on Innovative Use of NLP for Building Educational Applications (pp. 1-12). Association for Computational Linguistics. https://doi.org/10.18653/v1/W18-0501
Nebhi, K., & Szaszak, G. (2023). Automatic assessment of spoken English proficiency based on multimodal & multitask transformers. In Proceedings of Recent Advances in Natural Language Processing (pp. 769-776). INCOMA Ltd. https://doi.org/10.26615/978-954-452-092-2_083
Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 3982-3992). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-1410
Taghipour, K., & Ng, H. T. (2016). A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (pp. 1882-1891). Association for Computational Linguistics. https://doi.org/10.18653/v1/D16-1193
Yannakoudakis, H., & Cummins, R. (2015). Evaluating the performance of automated text scoring systems. In Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications (pp. 213-223). Association for Computational Linguistics. https://doi.org/10.3115/v1/W15-0625
Yu, Z., Ramanarayanan, V., Suendermann-Oeft, D., Wang, X., Zechner, K., Chen, L., Tao, J., Ivanou, A., & Qian, Y. (2015). Using bidirectional LSTM recurrent neural networks to learn high-level Abstract:ions of sequential features for automated scoring of non-native spontaneous speech. In 2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU) (pp. 338-345). IEEE. https://doi.org/10.1109/ASRU.2015.7404814
Zechner, K., Chen, L., Davis, L., Evanini, K., Lee, C. M., Leong, C. W., Wang, X., & Yoon, S. Y. (2015). Automated scoring of speaking tasks in the Test of English-for-Teaching (TEFT). ETS Research Report Series, 2015(2), 1-17. https://doi.org/10.1002/ets2.12080
Zechner, K., Higgins, D., Xi, X., & Williamson, D. M. (2009). Automatic scoring of non-native spontaneous speech in tests of spoken English. Speech Communication, 51(10), 883-895. https://doi.org/10.1016/j.specom.2009.04.001
Zechner, K., Wang, X. (2013). Automated content scoring of spoken responses in an assessment for teachers of English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications (pp. 73-81). Association for Computational Linguistics. https://aclanthology.org/W13-1709/
Zechner, K., Xi, X., & Chen, L. (2011). Evaluating prosodic features for automated scoring of non-native read speech. In 2011 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU) (pp. 461-466). IEEE. https://doi.org/10.1109/ASRU.2011.6163975