Vliv zpětné vazby na písemnou produkci studentů angličtiny pro specifické účely

Ing. Mgr. Blanka Pojslová, Ph.D.

Doctoral thesis

The effect of feedback on ESP students‘ writing

Abstract:

Tato disertační práce se zaměřuje na roli zpětné vazby při rozvoji řečové dovednosti psaní u pokročilých studentů angličtiny. Výzkum si kladl za cíl posoudit a porovnat, jak se změnila kvalita písemné produkce z hlediska vybraných aspektů sociolingvistické kompetence u výzkumného souboru 65 bakalářských studentů angličtiny pro specifické účely po realizaci intervence v podobě dvou zpětnovazebných strategií, které se lišily zdrojem zpětné vazby. Skupina s výhradně učitelskou zpětnou vazbou obdržela zpětnou vazbu opakovaně výhradně od učitele, zatímco skupina s kombinovanou zpětnou vazbou vrstevníci učitel obdržela zpětnou vazbu nejdříve od vrstevníků a pak od učitele. Ve výzkumu byl použit kvazi-experimentální design s využitím pretestu a posttestu a dvěma porovnávanými skupinami. Kvantitativní část výzkumu byla doplněna o kvalitativní část, která se zaměřila na percepci zpětné vazby účastníky výzkumného šetření. Rozvoj kvality písemné produkce z hlediska vybraných aspektů sociolingvistické kompetence byl posuzován ze dvou komplementárních perspektiv. Prvním perspektivou bylo hodnocení textů z pretestu a posttestu pomocí tří analytických hodnotících škál dvěma nezávislými hodnotiteli s cílem zjistit, jak se změnila kvalita písemné produkce po realizaci intervence z hlediska registru, žánru a celkové kvality písemné produkce na úrovni C1 dle SERRJ. Druhou perspektivou byla automatická analýza žákovských korpusů nástroji korpusové lingvistiky Tool for Automatic Analysis of Lexical Sophistication (TAALES) a Tool for the Automatic Analysis of Syntactic Sophistication and Complexity (TAASSC) s cílem zjistit, jak se změnila kvalita písemné produkce z hlediska její složitosti zúžené na syntaktickou složitost a lexikální propracovanost jako lingvistických rysů variety jazyka akademické angličtiny. Výzkumná zjištění ukázala, že po realizaci intervence se kvalita písemné produkce významně zlepšila z hlediska registru, žánru a celkové kvality písemné produkce u celkových skórů v obou porovnávaných skupinách a po realizaci intervence nebyl u porovnávaných skupin v kvalitě písemné produkce významný rozdíl s výjimkou hlediska žánru a dvou dílčích kritérií u registru, ve kterých skupina s kombinovanou zpětnou vazbou předčila v kvalitě své písemné produkce v posttestu skupinu s výhradně učitelskou zpětnou vazbou. U lexikální propracovanosti povaha statisticky významných změn u zkoumaných metrik po realizaci intervence odpovídá v obou skupinách zlepšení kvality písemné produkce a rozvoji sociolingvistické kompetence z hlediska použitého lexika. Pokud jde o syntaktickou složitost, tak u obou skupin povaha statisticky významných změn u zkoumaných metrik po realizaci intervence odpovídá zlepšení kvality písemné produkce a koresponduje s úrovní jazykové způsobilosti. Srovnání písemné produkce obou skupin z hlediska zkoumaných metrik lexikální propracovanosti a syntaktické složitosti v posttestu ukázalo, že v kvalitě písemné produkce není po realizaci intervence mezi skupinami statisticky významný rozdíl. Výsledky disertačního výzkumu ukazují, že vícenásobná zpětná vazba přispívá k významnému zlepšení kvality písemné produkce a zdroj zpětné vazby přitom nehraje s výjimkou žánru významnou roli.

Abstract:

This dissertation research investigates the efficacy of feedback in developing the writing skills of advanced students of English for Specific Purposes. The main aim is to evaluate and compare how the intervention in the form of two multiple-draft computer-mediated feedback treatments, which differed in the sources of the feedback, contributed to improving the writing quality of 65 undergraduate university students. The research adopted the quasi-experimental pretest and posttest design with two comparison groups. The teacher-only group was given multiple-draft feedback only by teacher, while the peer-teacher group was given feedback by peers on the first draft and by the teacher on the second and the third draft. The quantitative part of the research was supplemented by questionnaires to find out how participants perceived the feedback treatments they received. The writing quality was evaluated with regard to selected aspects of sociolinguistic competence from two complementary perspectives. The first perspective focused on the writing quality in terms of the register, genre, and overall writing quality at the CEFR C1 level. The second perspective focused on complexity narrowed to syntactic complexity and lexical sophistication as linguistic features of academic English. The research findings revealed that the writing quality evaluated by two independent raters improved significantly in both comparison groups regarding the overall scores for the register, genre and overall writing quality. Though there were no significant differences in overall scores for the posttest performance between the comparison groups regarding the overall writing quality and register, the peer-teacher group significantly outperformed the teacher-only group in terms of genre and two partial criteria for register in the posttest production. Regarding lexical sophistication and syntactic complexity, natural language processing tools Tool for the Automatic Analysis of Lexical Sophistication (TAALES) and Tool for the Automatic Analysis of Syntactic Sophistication and Complexity (TAASSC) were used to analyse learner corpora collected from the comparison groups to generate selected indices of lexical sophistication and syntactic complexity. The research findings revealed that the nature of significant changes in the indices of lexical sophistication corresponds to the improvement in the writing quality in both comparison groups. Concerning syntactic complexity, the findings revealed that the nature of significant changes in its indices corresponds to the improvement in the writing quality in both comparison groups and participants’ level of proficiency. There were no significant differences in posttest writing production between the comparison groups with regard to both lexical sophistication and syntactic complexity. The results of the research suggest that multiple-draft e-feedback can contribute to the significant improvement in the writing quality and the source of such feedback does not play a significant role with the exception of the genre.

Keywords

vícenásobná zpětná vazba, vrstevnická zpětná vazba, kvalita cizojazyčné písemné produkce, registr, žánr, lexikální propracovanost, syntaktická složitost multiple-draft feedback, peer feedback, writing quality, register, genre, lexical sophistication, syntactic complexity

Language used: Czech

Date on which the thesis was submitted / produced: 28. 6. 2021

Thesis defence

• Date of defence: 22. 9. 2021
• Supervisor: doc. Mgr. Martin Adam, Ph.D.
• Reader: doc. PhDr. Lucie Betáková, MA, doc. Mgr. Olga Dontcheva-Navrátilová, Ph.D.

Masaryk University

Faculty of Education

Doctoral programme / field:
Specialization in Pedagogy (4-years) / Didactics of Foreign Language