Modely GPT a jejich využití v moderních technologiích a aplikacích

Dmitrii Nikolaev

Bakalářská práce

The GPT models and their usage in modern technologies and applications.

Anotace:

Tato bakalářská práce se zabývá schopnostmi, aplikacemi a dopadem modelů Generative Pre-trained Transformer (GPT), přičemž klade zvláštní důraz na jejich potenciál v oblasti softwarového vývoje. Začíná teoretickým úvodem, který se věnuje evoluci modelů GPT a architektuře transformátoru, jež je základem jejich schopnosti generovat text s kvalitou srovnatelnou s lidským textem. Komparativní analýza zdůrazňuje rozdíly a neustálé pokroky mezi jednotlivými iteracemi GPT a srovnatelnými architekturami. Práce také prozkoumává rozmanité aplikace modelů GPT a zahrnuje diskusi o etických aspektech a společenských dopadech, které tyto modely přinášejí. Pro ukázku praktické užitečnosti modelů GPT práce podrobně popisuje případovou studii integrace modelu GPT do pracovního procesu softwarového vývoje. Hodnotí se implementace, provádění a výsledky projektu, což poskytuje náhledy do možných výhod a budoucích využití. Aplikace "Concept Explorer" je představena jako příklad, který demonstruje využití modelů GPT pro vysvětlení a překlad konceptů. Závěr práce syntetizuje teoretické koncepty a praktické zjištění, zdůrazňuje klíčové poznatky a navrhuje možné oblasti pro budoucí výzkum role modelů GPT ve vývoji softwaru.

Abstract:

This thesis explores the capabilities, applications, and impact of Generative Pre-trained Transformer (GPT) models, with a particular emphasis on their potential within software development. It begins with a theoretical foundation, examining the evolution of GPT models and the transformer architecture that underpins their ability to generate human-quality text. A comparative analysis highlights the distinctions and ongoing advancements among various GPT iterations and similar architectures. The thesis also delves into the wide-ranging applications of GPT models, along with a discussion of the ethical considerations and societal impacts they raise. To demonstrate the practical utility of GPT models, this thesis details a case study in which a GPT model is integrated into a software development workflow. The project's implementation, execution, and results are evaluated, offering insights into potential benefits and future use cases. The "Concept Explorer" application is presented as an example, showcasing the application of GPT models for concept explanation and translation. The thesis concludes with a synthesis of theoretical concepts and practical findings, emphasizing key takeaways and suggesting potential areas for future research into GPT models' role in software development.

Klíčová slova

generování kódu, zpracování přirozeného jazyka (NLP), vývoj softwaru, etická AI, Generative Pre-trained Transformers (GPT), strojové učení

Keywords

Generative Pre-trained Transformers (GPT), software development, code generation, Natural Language Processing (NLP), Machine Learning, ethical AI

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 5. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 2024
• Vedoucí: Marie Kovářová
• Oponent: Miloš Maryška

Vysoká škola ekonomická v Praze

Bakalářský studijní program:
Aplikovaná informatika