Saltar al contenido principal

Grandes Modelos de Lenguaje

Conceptos, Técnicas y Aplicaciones

¡Prepárese para sumergirse en el mundo fascinante y vanguardista de la inteligencia artificial! En este libro descubrirá el nexo en común que impulsa algunas de las aplicaciones recientes más revolucionarias de la inteligencia artificial (IA): desde sistemas conversacionales como ChatGPT o BARD, hasta la traducción automática, generación de resúmenes, respuesta a preguntas y mu...

Editorial:
Marcombo
Año de edición:
2023
Materia:
Informática
ISBN:
978-84-267-3679-6
Páginas:
284
Encuadernación:
Rústica
Idioma:
Español
-5%
22,23 €
IVA incluido
23,40 €
No disponible

¡Prepárese para sumergirse en el mundo fascinante y vanguardista de la inteligencia artificial! En este libro descubrirá el nexo en común que impulsa algunas de las aplicaciones recientes más revolucionarias de la inteligencia artificial (IA): desde sistemas conversacionales como ChatGPT o BARD, hasta la traducción automática, generación de resúmenes, respuesta a preguntas y mucho más. En el centro de estas innovadoras aplicaciones, se encuentra una disciplina poderosa y en creciente evolución, el procesamiento del lenguaje natural (PLN o NLP, por sus siglas en inglés). Durante más de 60 años, la investigación de esta ciencia ha estado enfocada en permitir que las máquinas comprendan y generen lenguaje humano de manera eficiente. Los secretos detrás de estos avances tecnológicos residen en los grandes modelos de lenguaje (LLM), cuyo poder radica en su capacidad de capturar patrones complejos y aprender representaciones contextuales del lenguaje. Imagine cómo estos modelos pueden poner atención en los detalles más relevantes de un texto, aprendiendo automáticamente relaciones complejas para brindar respuestas y resultados más precisos. ¿Cómo funcionan estos LLM? ¿Cuáles son los modelos disponibles y cómo se evalúan? Este libro le ayudará a responder estas y muchas otras preguntas. Con una introducción técnica pero accesible: ' Explorará el fascinante mundo de los LLM, desde sus fundamentos hasta las aplicaciones más poderosas. ' Aprenderá a construir sus propias aplicaciones simples con algunos de los LLM. Grandes modelos de lenguaje está diseñado para guiarle paso a paso en este emocionante viaje. Con 6 capítulos que combinan teoría y práctica, junto con ejercicios en Python en la plataforma Colab, dominará los secretos de los LLM y su aplicación en el procesamiento del lenguaje natural. Desde las redes neuronales profundas y los mecanismos de atención, hasta los LLM más relevantes tales como BERT, GPT-4, LLaMA, Palm-2 y Falcon, será testigo de los logros más importantes en NLP. No solo conocerá los benchmarks utilizados para evaluar las capacidades de estos modelos, sino que también adquirirá la habilidad para crear sus propias aplicaciones de NLP. No espere más para iniciar esta lectura. Gracias a ella entenderá los paradigmas, los métodos computacionales y los modelos para desarrollar aplicaciones que procesarán o generarán lenguaje natural para diferentes propósitos y nichos de aplicación.

Reseña del Editor

Índice de figuras ................................................................................................ XIX
Índice de tablas ................................................................................................ XXII
CAPÍTULO 1 ............................................................................................................ 1
1.1. Inteligencia artificial generativa ............................................................ 1
1.1.1. Funcionamiento de la IA generativa ................................................. 3
1.1.2. Focos de la IA generativa .................................................................. 6
1.1.3. Aplicaciones ...................................................................................... 7
1.2. Modelos de lenguaje generativos ......................................................... 8
1.3. Conclusiones ....................................................................................... 14
CAPÍTULO 2 .......................................................................................................... 15
2.1. Introducción ........................................................................................ 15
2.2. Modelos de lenguaje autorregresivos ................................................ 19
2.3. Modelos de lenguaje estadísticos ....................................................... 21
2.4. Modelos de lenguaje neuronales ........................................................ 22
2.4.1. Modelos de lenguaje preentrenados ............................................. 25
2.5. Grandes modelos de lenguaje ............................................................ 26
2.6. Modelos de embeddings de palabras ................................................. 27
2.7. Redes neuronales recurrentes ............................................................ 35
2.7.1. Redes neuronales recurrentes simples .......................................... 35
2.7.2. Redes de memoria a corto-largo plazo ........................................... 40
2.8. Autoencoders ...................................................................................... 44
2.8.1. Cuello de botella de la información ................................................ 46
2.8.2. Variables latentes ........................................................................... 47
2.8.3. Arquitectura de un Autoencoder ................................................... 49
2.8.4. Tipos de Autoencoders ................................................................... 50
2.9. Redes adversarias generativas ............................................................ 56
2.10. Modelos de atención .......................................................................... 59
2.10.1. Problema del encoder-decoder ...................................................... 61
2.10.2. Atención en modelos de secuencia ................................................ 63
2.11. Transformers ....................................................................................... 80
2.11.1. Capa del encoder ............................................................................ 84
2.11.2. Codificación posicional ................................................................... 85
2.11.3. Conexiones residuales .................................................................... 89
2.11.4. Capa del decoder ............................................................................ 90
2.11.5. Capa lineal y SoftMax ..................................................................... 93
2.11.6. Entrenamiento ............................................................................... 94
2.11.7. Inferencia ........................................................................................ 96
2.11.8. Función de pérdida ......................................................................... 98
2.12. Conclusiones ..................................................................................... 100
CAPÍTULO 3 ........................................................................................................ 101
3.1. Introducción ...................................................................................... 101
3.1.1. Habilidades emergentes ............................................................... 102
3.1.2. Técnicas de mejoramiento de capacidades .................................. 104
3.1.3. Corpus comunes ........................................................................... 105
3.1.4. Tipos de entrenamiento ............................................................... 106
3.1.5. Tipos de aprendizaje ..................................................................... 107
3.1.6. Tipos de tokenización ................................................................... 109
3.2. BERT .................................................................................................. 110
3.2.1. Funcionamiento ............................................................................ 112
3.2.2. Arquitectura ................................................................................. 115
3.2.3. Entrada del modelo ...................................................................... 115
3.2.4. Salida del modelo ......................................................................... 116
3.2.5. Modelos preentrenados basados en BERT ................................... 118
3.3. GPT .................................................................................................... 119
3.3.1. El modelo GPT y GPT-2 ................................................................. 121
3.3.2. El modelo GPT-3 ........................................................................... 131
3.3.3. El modelo GPT-4 ........................................................................... 134
3.3.4. Reinforcement Learning from Human Feedback ......................... 135
3.4. PaLM ................................................................................................. 140
3.4.1. Vocabulario .................................................................................. 143
3.4.2. Entrenamiento ............................................................................. 144
3.4.3. PaLM-2 ......................................................................................... 145
3.5. LLaMA ............................................................................................... 148
3.5.1. Datos de preentrenamiento ......................................................... 149
3.5.2. Arquitectura ................................................................................. 150
3.6. LaMDA ............................................................................................... 151
3.6.1. Objetivos y métricas ..................................................................... 153
3.6.2. Preentrenamiento de LaMDA ....................................................... 154
3.7. MEGATRON ....................................................................................... 156
3.7.1. Datos de entrenamiento .............................................................. 159
3.8. Otros LLM .......................................................................................... 160
3.9. Conclusiones ..................................................................................... 162
CAPÍTULO 4 ........................................................................................................ 165
4.1. Introducción ...................................................................................... 165
4.2. Tareas de evaluación ........................................................................ 166
4.2.1. Tareas básicas de evaluación ....................................................... 167
4.2.2. Tareas avanzadas de evaluación .................................................. 171
4.2.3. Tareas de cumplimiento de regulaciones ..................................... 172
4.3. Métricas y puntos de referencia ....................................................... 176
4.4. Datasets de Benchmark .................................................................... 178
4.4.1. SQuAD (Stanford Question Answering Dataset) .......................... 178
4.4.2. GLUE (General Language Understanding Evaluation) .................. 179
4.4.3. SNLI (Stanford Natural Language Inference) ................................ 180
4.4.4. ARC (Abstraction and Reasoning Corpus) ..................................... 180
4.5. Evaluación de LLM ............................................................................ 181
4.6. Conclusiones ..................................................................................... 186
CAPÍTULO 5 ........................................................................................................ 189
5.1. Introducción ...................................................................................... 189
5.2. Clasificación de sentimientos ............................................................ 190
5.3. Búsqueda semántica en textos ......................................................... 197
5.4. Razonamiento con agentes de lenguaje ........................................... 198
5.5. Inferencia causal ............................................................................... 201
5.6. Acceso a bases de datos en lenguaje natural ................................... 203
5.7. Cargando y preguntando por datos propios ..................................... 206
5.8. Realizando ajuste fino de un modelo con datos propios .................. 209
5.9. Diseño y optimización de prompts .................................................... 214
5.10. Sistema conversacional ChatGPT ...................................................... 221
5.11. Sistema conversacional BARD ........................................................... 229
5.12. Conclusiones ..................................................................................... 231
CAPÍTULO 6 ........................................................................................................ 233
6.1. Introducción ...................................................................................... 233
6.2. Habilidades emergentes ................................................................... 234
6.3. LLM en producción ........................................................................... 236
6.4. Alineación entre humanos y LLM ...................................................... 238
6.5. Ética .................................................................................................. 240
6.6. Aspectos regulatorios ....................................................................... 242
6.7. Complejidad ...................................................................................... 243
6.8. Riesgos .............................................................................................. 244
6.9. Limitaciones ...................................................................................... 245
6.10. Conclusiones ..................................................................................... 247
Índice onomástico ............................................................................................ 249
Bibliografía ....................................................................................................... 253

Artículos relacionados

El Juego de Tronos de la IA

El Juego de Tronos de la IA

Gustavo Entrala

La Esfera de los Libros

Se está librando una batalla por el dominio del mundo con las armas de la inteligencia artificial.Pero aquí los algoritmos son solo el decorado de la lucha de poder entre los hombres que quieren controlar una tecnología casi omnipotente.Elon Musk (Grok), el magnate despechado que actúa como un rey en el exilio.Sam Altman (OpenAI), el estratega que aprendió a navegar entre el me...

-5%
20,90 € 19,86 €
  • Añadir a favoritos
Seguridad en la Aviacion. De la Gestion de Riesgos

Seguridad en la Aviacion. De la Gestion de Riesgos

Marcombo

Seguridad en la aviación. De la gestión de riesgos al impacto ambiental ofrece una visión integral, actual y multidisciplinar de los principales factores que intervienen en la seguridad aérea del siglo XXI.En la aviación moderna, prevenir accidentes exige mucho más que tecnología, normativas y procedimientos. Requiere comprender la interacción entre los factores humanos, técnic...

-5%
22,50 € 21,38 €
  • Añadir a favoritos
Guia. Dele Contexto a la IA

Guia. Dele Contexto a la IA

Camilo Chacon Sartori

Marcombo

El problema no es la IA. Es lo que no le contó.Pedirle algo a una inteligencia artificial parece sencillo. Basta con escribir una pregunta y pulsar enviar. Pero, si alguna vez ha pensado «no, no era eso», probablemente el problema no estaba en la herramienta, sino en el contexto que faltaba.La IA no conoce su vida, su trabajo, sus objetivos ni sus límites. Si no se los explica,...

-5%
9,90 € 9,41 €
  • Añadir a favoritos
Inteligencia Artificial Generativa en Microsoft Az

Inteligencia Artificial Generativa en Microsoft Az

Adrian Gonzalez Sanchez

Marcombo

Domine la IA generativa en Azure y convierta sus proyectos en realidadLa inteligencia artificial generativa ya no pertenece solo al terreno de la experimentación. Cada vez más empresas necesitan llevar sus soluciones del laboratorio a producción, integrarlas en procesos reales y construir sistemas fiables, escalables y seguros.Inteligencia artificial generativa en Microsoft Azu...

-5%
34,80 € 33,06 €
  • Añadir a favoritos
Ética Digital

Ética Digital

Piercarlo Maggiolini / Ramon Salvador Valles / Norberto Patrignani

Pirámide

https://www.edicionespiramide.es/libro/economia-y-empresa/etica-digital-ramon-salvador-valles-9788436851793/La obra, con un enfoque riguroso basado en hechos reales y estudios de caso, analiza cómo las tecnologías de la información -Internet, redes sociales, big data y, sobre todo, inteligencia artificial- transforman la sociedad y exigen una nueva ética centrada en la responsa...

-5%
26,50 € 25,18 €
  • Añadir a favoritos
Saqueo de Datos

Saqueo de Datos

Nick Couldry

Ediciones Godot

-5%
19,90 € 18,91 €
  • Añadir a favoritos
Oracle Database y Mysql. Curso Práctico. SQL, Pl/Sql, Administración, Seguridad
-5%
39,90 € 37,91 €
  • Añadir a favoritos
Diseño Asistido por IA

Diseño Asistido por IA

Anna María López López

Anaya, S. a.

La revolución de la inteligencia artificial ha llegado al mundo del diseño para transformar la manera en que los creativos conciben, desarrollan y ejecutan sus proyectos. Lejos de reemplazar la creatividad humana, la IA se presenta como el aliado más estratégico y poderoso del diseñador actual. Este libro es una guía esencial para integrar la IA como asistente en el proceso cre...

-5%
35,95 € 34,15 €
  • Añadir a favoritos
Ciberseguridad: Protocolos y Procedimientos Prácticos

Ciberseguridad: Protocolos y Procedimientos Prácticos

Juan Miguel Rosa Mondragon / Fernando Romero Urdiain

Fc Editorial

Una pyme de quince empleados, un despacho profesional o un ayuntamiento pueden verse, en cuestión de horas, ante un ransomware, una fuga de datos o un fraude por correo electrónico. Lo que separa a la organización que lo supera de la que naufraga no suele ser el presupuesto, sino haber decidido, antes de que suene la alarma, qué hacer y en qué orden. Este libro convierte los di...

-5%
28,00 € 26,60 €
  • Añadir a favoritos
Lo que Preguntamos a Google

Lo que Preguntamos a Google

Simon Rogers

Anaya, S. a.

¿Alguna vez te has preguntado qué pasa por la mente de otras personas, como preguntas absurdas, inquietudes muy íntimas, esperanzas y sueños?En 'Lo que preguntamos a Google', Simon Rogers analiza las conclusiones extraídas del mayor conjunto de datos del mundo. Es una instantánea épica de nuestro cerebro colectivo con dos décadas de historia que sigue creciendo. Lo que revela s...

-5%
24,95 € 23,70 €
  • Añadir a favoritos