GPT

El término ChatGPT es ampliamente utilizado por todos, pero ¿sabemos a qué hace referencia GPT?

GPT hace referencia a "Generative Pre-trained Transformer":

-Generative: Se refiere a la capacidad del modelo para generar texto nuevo, no sólo
clasificar o analizar texto existente.

-Pre-trained: El modelo ha sido entrenado previamente con gran cantidad de
información.

-Transformer: Es la arquitectura de red neuronal sobre la cual está construido el modelo.
Fue introducida en el artículo "Attention Is All You Need" por Vaswani et al. en 2017.
Revolucionó el campo del procesamineto del lenguaje natural (NLP).

Características clave:
- Mecanismo de atención: Permite que el modelo evalúe la importancia de cada
palabra en relación con las demás.
- Sin recurrencia: No procesan la información secuencialmente, sino en paralelo.
Permite manejar secuencias largas de texto más eficientemente.
- Capacidad para escalar: Otras arquitecturas como LSTM llegaban a un punto en que
agregar más capas o datos no mejoraban o incluso empeoraba el rendimiento
(desvanecimiento del gradiente...).