Zpracování textu pomocí hlubokých neuronových sítí

Petr Kožušník

Diplomová práce

Text Processing using Neural Networks

Anotace:

Tato práce se zabývá využitím hlubokých neuronových sítí, zejména modelů transformer, v oblasti zpracování přirozeného jazyka (NLP). Poskytuje přehled neuronových sítí, podrobně popisuje jejich základní funkce, aplikace a motivace pro jejich použití v NLP. Tento model je rozebrán s cílem objasnit jeho inovativní architekturu, včetně mechanismu pozornosti. Práce obsahuje kritické hodnocení různých modelů a zkoumá jejich výkonnost v úlohách, jako je analýza sentimentu, klasifikace dat a modelování topiku. Tato analýza nejen zdůrazňuje silné stránky a přizpůsobivost transformerů, ale také diskutuje jejich výpočetní náročnost, potenciál zkreslení dat a nabízí vyvážený pohled na jejich vhodnost pro různé aplikace NLP. Práce si klade za cíl přispět k poznatkům o fungování transformerů, zhodnotit jejich vliv na pokrok v řešení NLP a posloužit jako reference pro oblast zpracování přirozeného jazyka pomocí hlubokých neuronových sítí.

Abstract:

\EnglishAbstract{ This paper explores the use of deep neural networks, in particular Transformer models, in the field of natural language processing (NLP). It provides an overview of neural networks, detailing their basic functions, applications and motivations for their use in NLP. This model is discussed in order to explain its innovative architecture, including the self-attenuation, which greatly extend the capabilities of NLP. The paper includes an evaluation of different models and examines their performance in tasks such as sentiment analysis, data classification and topic modeling. This analysis not only highlights the strengths and adaptability of transformers, but also discusses their computational complexity, potential for data bias, and offers a balanced view of their suitability for various NLP applications. This paper aims to contribute to the knowledge of transformer mechanisms, evaluate their impact on advances in NLP solutions, and serve as a reference for the field of NLP using deep neural networks.

Klíčová slova

strojové učení, umělé neuronové sítě, hluboké učení, zpracování přirozeného jazyka, analýza sentimentu, klasifikace dat, modelování topiku, extrakce znalostí, model transformer, self-attention mechanismus, velké jazykové modely, konvoluční neuronové sítě, rekurentní neuronové sítě, vektory vložení

Keywords

machine learning, artifical neural networks, deep learning, natural language processing, sentiment analysis, data classification, topic modeling, ransformer model, self-attention mechanism, large language models, convolution neural networks, recurrent neural networks, vector embeddings

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 30. 4. 2024

Obhajoba závěrečné práce

• Vedoucí: Jan Platoš
• Oponent: Michal Vašinek

VŠB – Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Magisterský studijní program / obor:
Informační a komunikační technologie / Informatika a výpočetní technika