Large Language Models (LLMs): Examining the quality of generated text with task specific data

Michal Caninec

Bachelor's thesis

Velké jazykové modely (LLM): Zhodnocení kvality generovaného textu pomocí dat specifických pro danou úlohu

Abstract:

Velké jazykové modely (LLM) se etablovaly jako výkonné nástroje pro generování textů podobajících se lidské řeči v různých aplikacích. Tato práce zkoumá faktory ovlivňující úspěch LLM při úlohách generování textu, s důrazem na techniky psaní úvodních pokynů (promptů) a integraci externích dat do těchto pokynů. Výzkum si klade za cíl ověřit roli systematické tvorby pokynů, známé jako Prompt Engineering, při generování poutavého obsahu, zejména v kontextu psaní marketingových newsletterů. Práce začíná úvodem do oblasti výzkumu LLM a psaní úvodních pokynů, následovaným literárním přehledem relevantních technik tvorby pokynů. Na základě těchto poznatků je formulována sada hypotéz, které popisují potenciální dopad těchto technik na kvalitu generovaného textu. K ověření hypotéz je proveden kontrolovaný experiment, při kterém se identifikované techniky psaní pokynů aplikují na úlohu psaní e-mailových newsletterů pomocí jednoho zvoleného velkého jazykového modelu (GPT-3.5-turbo-1106). Generované newslettery jsou hodnoceny pomocí kvantitativních metrik a A/B/n testu emailové kampaně provedené na vzorku (n = 550) registrovaných účastníků univerzitní akce. Výsledky experimentu potvrdily významnou roli technik psaní pokynů a externích dat. Konkrétně při psaní email newsletterů vedlo použití pokročilých technik psaní pokynů ke 15% zlepšení míry prokliku pro konkrétní techniku využívající externí data (zlepšení míry prokliku ze 4 % na 19 %). To dokládá, že tvorba pokynů a externí data hrají důležitou roli při vytváření efektivních textů, které zaujmou čtenáře. Techniky využívající specifikaci tónu hlasu, poskytování dodatečných kontextových dat, relevantních příkladů nebo pokynů osvědčených v oboru prokázaly největší vliv na výsledný text a dosáhly lepších výsledků při měřeném úkolu ve srovnání se základním řešením bez pokročilých technik psaní pokynů.

Abstract:

Large Language Models (LLMs) have emerged as powerful tools for generating human-like text across various applications. This thesis examines the factors influencing the success of LLMs in text generation tasks, focusing on prompting techniques and the integration of external data within the prompt. The research aims to validate the role of prompt engineering in generating compelling content, particularly in the context of writing marketing newsletters. The thesis begins by introducing the research area of LLMs and prompting, followed by a literary review of relevant prompt engineering techniques. Based on the findings, a set of hypotheses is formulated, outlining the potential impact of these techniques on text generation quality. A controlled experiment is conducted to validate the hypotheses, applying the identified prompting techniques to the task of writing email newsletters with a single LLM (GPT-3.5-turbo-1106). The generated newsletters are evaluated using quantitative metrics and A/B/n test campaign to an audience (n=550) of registered attendees of a university event. The results of the experiment confirmed the important role of prompting techniques and external data. On the specific task of newsletter writing, usage of advanced prompting techniques resulted in 15% improvement in click-through rate for a given prompting technique leveraging external data (Improving the click-through rate from 4% to 19%), demonstrating prompt engineering and external data play an important role when creating effective texts that engage the audience. Techniques leveraging specification of tone of voice, providing additional context data, relevant examples or industry best practice instructions have shown to have the largest impact on the resulting text and achieved superior performance on the measured task compared to a base prompt solution without prompting techniques.

Keywords

prompt engineering, prompt inženýrství, LLM, kontextová data, AI, Generativní AI, vyhodnocování modelu, evaluace modelu, generování textu

Keywords

AI, context data, Generative AI, model evaluation, text generation, LLM, prompt engineering

Language used: English

Date on which the thesis was submitted / produced: 6. 5. 2024

Thesis defence

• Date of defence: 2024
• Supervisor: Richard Antonín Novák
• Reader: Petr Máša

Vysoká škola ekonomická v Praze

Bachelor programme:
Aplikovaná informatika