Recuperar antes de generar. Un sistema que responde con los documentos de una empresa — y las tres formas en que eso sale mal.
De dónde venimos
El tercer corte, en una línea
10
Construimos un modelo de lectura una tabla con la suma ya hecha, separada de donde se escribe
11
Lo mantuvimos vivo con eventos alguien publica un hecho, otro reacciona, sin conocerse
12
Hoy lo armamos en el instante de la pregunta y para un consumidor nuevo: un modelo de lenguaje
Si faltó a las dos anterioresNo importa. Hoy se arranca de cero y no se necesita nada de ellas para operar.
Capa 2 · la disrupción de la disciplina
El modelo no sabe nada de su empresa
Pregúntele a una IA cualquier cosa y responde. Ahora pregúntele cuál es la política de devoluciones de la empresa donde va a trabajar.
Nunca la vio. Y lo grave no es que no sepa: es que a veces responde igual.
Capa 1 · el patrón, con nombre propio
La definición
Buscar la información en documentos propios y pegársela a la pregunta, antes de que el modelo la vea.
R
Retrieval recuperar · decidir qué pedazos de sus documentos entran
A
Augmented aumentada · la pregunta se arma con esos pedazos pegados
G
Generation generación · el modelo redacta con lo que recibió
El orden importaCasi todo el mundo se enfoca en la G. Nosotros vamos a pasar la clase entera en la R, porque es la única que diseñamos — y al final les muestro por qué.
Qué quiere decir «enfocarse en la G»
Cuatro cosas que usted ya ha visto
Lo que hace todo el mundo
Qué parte está mirando
«¿Cuál modelo es mejor?» · comparar proveedores, mirar rankings
la G
Cursos y hilos de prompt engineering · «los 50 mejores prompts»
la G
Cuando responde mal, el reflejo: «probemos con otro modelo»
la G
Las demos muestran la respuesta bonita. Nunca muestran el ranking
la G
Hoy hacemos lo contrarioVamos a mirar el ranking toda la mañana. La respuesta del modelo casi no nos va a importar — y al final de la clase van a entender por qué.
Vocabulario · antes de usarlo
Seis palabras que van a oír toda la mañana
Palabra
Qué es, en cristiano
Corpus
El montón de documentos que el sistema puede consultar
Chunk o pedazo
Cada trozo en que se parte el corpus. Hoy: un archivo = un pedazo
Recuperador
El que decide qué pedazos entran. Es lo que vamos a escribir
Prompt aumentado
La pregunta más los pedazos, pegados. Es lo único que ve el modelo
Top-k
Cuántos pedazos se entregan. Hoy k = 2
Umbral
Qué tan parecido tiene que ser para que valga la pena entregarlo
Lo que RAG NO es
Tres cosas que la gente confunde
No es entrenar
El modelo no aprende nada de sus documentos. Mañana amanece igual de ignorante sobre su empresa.
No es un modelo distinto
Es el mismo modelo de siempre, recibiendo un prompt más largo.
No es magia
Es buscar y pegar. Lo van a escribir en cuarenta líneas de Python, sin instalar nada.
Si les quitan los documentos, el sistema vuelve a no saber nada. Todo el conocimiento vive afuera del modelo.
El ejemplo completo · lo que van a construir hoy
Cuatro momentos
Café Altamar · de la pregunta a la respuesta
1. EL CLIENTE PREGUNTA "¿Puedo devolver un cafe abierto?"
2. EL RECUPERADOR BUSCA revisa los 6 documentos y trae el de
devoluciones, con puntaje 1.00
3. SE ARMA EL PROMPT la pregunta + ese documento, pegados
4. EL MODELO REDACTA "No. La politica exige que el empaque
este sin abrir."
El punto que se les tiene que quedarEl modelo nunca vio la pregunta sola. Vio la pregunta con la política pegada. Y por eso respondió bien — no porque supiera de Café Altamar.
La pregunta que alguien va a hacer
¿Esto no es lo que el modelo hace por dentro?
No. Y la diferencia es la clase de hoy.
Dentro del modelo
Afuera · nuestro código
Qué hace
predice la siguiente palabra con lo que aprendió entrenando
busca en archivos de texto que nosotros escogimos
¿Hay documentos adentro?
No. Lo aprendido quedó disuelto en números
sí: son archivos .txt que usted abre y edita
¿Quién lo programó?
nadie línea por línea
ustedes, en 40 líneas que leyeron enteras
¿Puede ir a buscar algo?
No. Solo ve el texto que le llega
es exactamente su único trabajo
El modelo ni siquiera sabe que RAG existe. Recibe un prompt más largo, y ya.
De dónde sale la confusión · y vale la pena aclararla
Cuando usted le sube un PDF a un chat
Se siente como si el modelo «leyera» su archivo. No lo hace. Alguien le montó un RAG encima: trocea el PDF, busca los pedazos que importan y se los pega a su pregunta.
Es el mismo patrón de hoy. La diferencia es que hoy ese «alguien» son ustedes.
Cuidado con una palabraAlguien va a decir que el modelo «presta atención» a las partes relevantes, y es cierto: existe un mecanismo con ese nombre adentro. Pero opera sobre el texto que ya le dieron — no sale a buscar nada. Prestar atención no es recuperar.
Capa 1 · qué se puede cambiar y qué no
Tres capas, y solo dos son suyas
La capa
Qué es
¿La tocamos?
Los pesos del modelo
lo que aprendió en su entrenamiento
Nunca. Ni hoy ni en producción
Los documentos
el conocimiento de la empresa, en .txt
Sí · los escriben en el taller
El código del recuperador
el umbral, cuántos pedazos, la guarda del prompt
Sí · es lo que escribimos esta mañana
Entonces, ¿qué cambiamos hoy?En la parte guiada, solo código: los documentos de Café Altamar no se tocan. En el taller cambian los documentos, con su propio negocio. El modelo no se toca en ninguna de las dos.
Capa 1 · separación de datos y código
Dos palancas, y ninguna es el modelo
Palanca 1 · editar un .txt
Sin tocar una sola línea de código. El área legal cambia una política y el sistema cambia con ella — el mismo día.
Palanca 2 · editar el umbral
Sin tocar un solo documento. El sistema se vuelve más prudente o más atrevido según lo que el negocio necesite.
Que esas dos palancas sean independientes no es casualidad: es una decisión de arquitectura.
Y la prueba de por qué importaSi las políticas estuvieran escritas dentro del Python, cambiar una exigiría tocar el código, probarlo y desplegarlo. Al vivir en archivos aparte, la cambia quien la entiende, no quien programa.
Capa 1 · el patrón, contra sus alternativas
LLM, RAG y fine-tuning
Tres cosas distintas que casi todo el mundo mezcla. No compiten: resuelven problemas diferentes.
Qué es
Qué cambia
Qué cuesta
El LLM
el modelo ya entrenado, tal como viene
nada · viene dado
lo que cobre el proveedor
RAG
código que busca en SUS documentos y los pega al prompt
lo que el modelo sabe en esa pregunta
editar un .txt
Fine-tuning
ajustar el modelo con ejemplos suyos
cómo responde: tono, formato, tarea
horas o días, y un especialista
La confusión que cuesta proyectosEl fine-tuning enseña forma, no hechos. Si lo ajusta con sus políticas esperando que se las memorice, obtiene un modelo que suena como sus documentos y sigue inventando las cifras.
La tabla de decisión
Cuándo usar cada uno
Lo que usted necesita
La respuesta
Que responda con los datos de la empresa
RAG
Que cite de dónde sacó la respuesta
RAG · el fine-tuning no puede
Que los datos cambien seguido
RAG · minutos contra días
Que poder borrar un dato sea posible
RAG · un modelo no se desentrena
Que responda con el tono o el formato de la casa
fine-tuning
Que haga una tarea nueva: resumir, clasificar
fine-tuning
Las dos cosas
las dos · no son excluyentes
Y un dato que sorprendeEl fine-tuning tiene MÁS riesgo de alucinación, no menos. Y es peor de lo que suena: ahora la respuesta inventada suena a circular oficial de la empresa. El formato parece autoridad.
Lo que casi nadie necesita
¿Y entrenar un LLM desde cero?
Prácticamente nadie lo hace, y no es solo por plata: es por volumen de datos. Un modelo se entrena con billones de palabras. Todo el archivo documental de una empresa grande es una migaja al lado de eso.
El resultado sería un modelo peor que cualquiera que usted puede usar hoy sin pagar nada.
Y cuando un cliente lo pide, casi siempre quiere decir otra cosa«Quiero mi propio modelo» suele significar «no quiero mandar mis datos a un proveedor». Eso se resuelve con dónde corre el modelo, no entrenándolo: un modelo de pesos abiertos en su propia infraestructura, con RAG contra sus documentos. Es un problema de despliegue, no de entrenamiento.
El ejemplo que ustedes ya usan
Esto es lo que hace Claude Projects
Cuando usted sube archivos a un proyecto y no los vuelve a pegar en cada chat:
Por defecto, carga el conocimiento completo en la ventana de contexto.
Cuando se acerca al límite, cambia solo a modo RAG y recupera únicamente las partes relevantes.
Eso multiplica la capacidad hasta 10 veces, y hay un indicador visual cuando está activo.
Fíjense en lo que esto confirmaHasta cierto tamaño, el camino barato es pegarle todo. RAG aparece cuando ya no cabe. Es exactamente la slide de los tres caminos — en un producto que ustedes abren todos los días.
Capa 2 · dónde vive esto fuera del salón
Para qué sirve, en la vida real
Dónde
Qué documentos le dan
Qué resuelve
Servicio al cliente
políticas, garantías, tarifas
el agente deja de buscar en PDFs mientras el cliente espera
Mesa de ayuda interna
manuales, instructivos, runbooks
el que entró ayer responde como el que lleva cinco años
Jurídico
contratos, normativa, conceptos
encontrar la cláusula, con el documento citado
Salud y seguros
coberturas, exclusiones, protocolos
saber qué cubre el plan sin llamar a un experto
Su propia empresa
lo que ustedes escriban
cualquier cosa que hoy vive en un Word que nadie encuentra
El patrón detrás de todasSon el mismo problema: conocimiento que existe, está escrito, y nadie lo encuentra a tiempo.
Tres caminos, y solo uno es viable
¿Cómo le enseño a un modelo algo que no sabe?
1 · Reentrenarlo
Meterle los datos en el entrenamiento. Caro, lento, y queda viejo apenas cambie una política.
2 · Pegarle todo
Mandarle los 400 documentos en cada pregunta. No cabe, cuesta una fortuna y entre más ruido, peor responde.
3 · RAG
Mandarle solo los pedazos que importan. Barato, instantáneo, y refleja el documento de hoy.
Por eso casi ningún proyecto corporativo entrena un modelo propio: cambian lo que le llega al prompt.
Los límites · para que no los cojan fuera de base
Qué no arregla RAG
No sirve para
Por qué
«¿Cuál es el contrato más caro de los 400?»
Solo ve los pedazos que trajo, nunca el corpus completo
Documentos mal escritos
RAG reproduce el error con más autoridad
Hacer al modelo más inteligente
Solo lo hace mejor informado. No es lo mismo
Preguntas que nadie escribió
Si no está en los documentos, no existe para el sistema
La frase para el clienteEl sistema nunca va a ser mejor que sus documentos. Si la empresa no tiene nada escrito, no hay RAG que valga.
Las tres piezas
Y el modelo no es ninguna
El dibujo del tablero
PREGUNTA
|
v
[RECUPERADOR] <---- [ LOS DOCUMENTOS, EN PEDAZOS ]
|
v
PREGUNTA + PEDAZOS = EL PROMPT ARMADO
|
v
[ MODELO ] ----> RESPUESTA
La columna que importa
¿Quién controla qué?
Pieza
Qué hace
Quién la controla
El corpus troceado
Los documentos partidos en pedazos
Ustedes
El recuperador
Decide cuáles pedazos entran
Ustedes
El prompt armado
Pregunta + pedazos, pegados
Ustedes
El modelo
Lee el prompt y redacta
Nadie de este salón
El modelo es un proveedor, no una decisión de arquitectura. Puede cambiar mañana porque subió de precio.
Capa 1 · objetivo oficial de la asignatura
Esto es diseño por atributos de calidad
La decisión
El atributo que mueve
¿Pedazos grandes o pequeños?
Precisión contra contexto
¿Cuántos pedazos le entrego?
Precisión contra costo
¿Qué hago cuando la evidencia no alcanza?
Confiabilidad
Por qué esta clase no es de inteligencia artificialEl modelo no lo construimos, no lo entendemos por dentro y no lo controlamos. Lo único que diseñamos es qué le llega — y ahí se decide toda la calidad del sistema.
El acertijo de hoy · queda en el tablero
¿Dónde estuvo la falla?
Un asistente de servicio al cliente le responde a una señora que su garantía cubre el daño. La señora reclama. No era cierto: esa garantía no cubría nada de eso.
El documento de la empresa estaba bien escrito y el modelo no inventó nada.
Guarden su respuestaLa escribimos en el tablero y volvemos al final de la clase.
Cómo se reparte la mañana
Cuatro bloques
30
El concepto al tablero, computadores cerrados
70
Lo construimos juntos diez pasos · y lo vemos fallar
55
Taller por grupos lo mismo, con su negocio
15
Sorteo y cierre de aquí sale la nota
Más 10 de break · y hoy sale notaTodo el código se copia con un botón desde su guía. Hoy nadie transcribe nada.
Abran prompt.txt, cópienlo completo y péguenlo en su chat. Guarden la respuesta.
Una rareza del ranking
La palabra más inútil del corpus
Los seis documentos puntuaron por encima de cero. Los tres últimos entraron por una sola palabra: cafe.
Porque la empresa se llama Café Altamar, y el nombre está en los seis archivos.
La ironía que vale la pena anotarEn el corpus de una empresa, la palabra más inútil para buscar es el nombre de la empresa. Está en todo, luego no distingue nada — y aun así le sube el puntaje a documentos que no tienen que ver.
0.67. El recuperador está seguro de que la política de devoluciones responde esta pregunta.
Léanla otra vez
¿Esa política dice algo de molinos?
documentos/01-devoluciones.txt
Cafe Altamar recibe devoluciones de cafe en grano y cafe
molido dentro de los 8 dias calendario siguientes a la compra...
Café en grano y café molido. Un molino es un aparato. No es café.
Lo que acaba de pasarEl recuperador entregó, con alta confianza, evidencia que no responde la pregunta. Y no tiene forma de saberlo.
Computadores a un lado
La mayoría no recibió una mentira
El modelo probablemente les dijo que el molino no estaba cubierto. Qué bueno.
Ahora díganme una cosa: ¿qué línea de las cuarenta que escribimos evitó ese resultado?
Ninguna. Nos salvó el proveedor, no el diseño.El nombre feo de lo que tienen
Corrección prestada
Esa prudencia es una propiedad del modelo, no de su arquitectura. El día que cambien de proveedor porque este subió de precio, la prudencia se queda allá.
Tienen un sistema cuya corrección depende de algo que ni controlan ni compraron.
Y si a dos de ustedes les respondió distintoMismo código, misma evidencia, misma pregunta. Lo único que cambió fue el proveedor. ¿Le entregarían eso a un cliente?
Paso 7 de su guía · sobre una copia
El arreglo: dos capas, las dos suyas
Primero, la copia — el original no se toca
cp buscador.py buscador2.py
Capa 1 · el umbral
Si ni el mejor documento se parece lo suficiente, no se llama al modelo. Determinista y nuestro.
Capa 2 · la guarda
«Responde solo con la evidencia. Si no alcanza, dilo.» Le quita la decisión al azar.
Y el original queda
Para poder comparar. Un cambio que no se mide contra lo anterior es una opinión.
El molino, contra buscador2.py
EVIDENCIA INSUFICIENTE (mejor puntaje 0.67 < 0.7)
No le pregunto al modelo. Esta pregunta no la cubren los documentos.
Lo contraintuitivo
La guarda no lo vuelve más listo. Lo vuelve predecible
Con esa instrucción, los chats distintos del salón empiezan a responder igual.
Predecible es un atributo de calidad, y en un sistema de producción vale más que listo.
Paso 8 de su guía
Cómo se fabrica una trampa
El molino no salió de la nada. Hay receta, y en el taller les toca hacer la suya.
Escoja un documento y mire de qué habla.
Pregunte por un primo de esa cosa que el documento no menciona.
Use las palabras del documento. Si no, saca 0.00 y no sirve.
La regla 3 es la que se olvida«¿Abren el 20 de julio?» saca 0.00 y no engaña a nadie: el sistema ya sabe que no sabe. La trampa peligrosa es la que saca puntaje alto.
Paso 8 de su guía
Y ahora, qué nos costó
python probar.py · banco de 10 preguntas
¿Cuántos días tengo para devolver un café? 1.00 devoluciones PASA
¿Qué cubre la garantía? 1.00 garantias PASA
¿Cuánto cuesta el domicilio? 0.50 (bloqueado) FALLA
¿A qué hora abren los sábados? 0.33 (bloqueado) FALLA
¿Dónde pongo un reclamo? 0.33 (bloqueado) FALLA
¿Puedo devolver un molino de café? 0.67 (bloqueado) PASA
7 de 10 con UMBRAL = 0.7
Tres preguntas legítimas que el sistema sí podía responder quedaron bloqueadas.
Buscando el umbral bueno
No miren el total. Miren las dos de la derecha
Umbral
Acierta
Se calla teniendo la respuesta
Contesta sin tenerla
0.20
7/10
0
3
0.40
7/10
2
1
0.70
7/10
3
0
Lo que gana una, lo pierde la otra. Ningún umbral llega a 10 — subirlo no lo mejora, solo cambia cuál error comete.
Y aquí está el remate
Cuatro preguntas, el mismo puntaje
Lo encuentra el programa solo
Las cuatro SE CALLAN con el umbral en 0.70. La diferencia es otra:
0.33 ¿A que hora abren los sabados? la respuesta SI estaba
0.33 ¿Donde pongo un reclamo? la respuesta SI estaba
0.33 ¿Cuanto cuesta el domicilio a Barranquilla? la respuesta NO estaba
0.33 ¿Puedo pagar el domicilio con puntos? la respuesta NO estaba
¿Qué umbral las separa? Ninguno. Es imposible. O entran las cuatro, o se bloquean las cuatro.
El puntaje no mide si responde. Mide si comparten palabras.Capa 1 · la decisión se documenta
Una EPS y una tienda escogen al revés
Umbral alto
Una EPS, un banco. Prefieren callarse antes que afirmar algo falso sobre una autorización. El costo de equivocarse es enorme.
Umbral bajo
Un buscador de productos. Prefiere mostrar algo antes que una pantalla vacía. El costo de callarse es una venta perdida.
Misma arquitectura, decisión opuesta, y las dos correctas. Y eso hay que saberlo explicar.
El taller · 55 minutos · sale nota
Su negocio, su trampa, su umbral
#
Qué hacen
Ya lo ensayaron en
Pts
1
5 documentos de su negocio, con cifras concretas
paso 2
10
2
El buscador corriendo contra su corpus
pasos 3 y 4
18
3
Su pregunta trampa, con las tres reglas
paso 8
18
4
Ese prompt en dos chats distintos
paso 4
14
5
Banco de 8 — 5 que sí responden, 3 que no — y tres umbrales
paso 9
20
6
El correo al jefe, cinco frases sin jerga
paso 10
20
Nada de esto es nuevoLos seis movimientos los hicieron esta mañana con Café Altamar. Lo único que cambia es el negocio. Si se atascan, vuelvan al paso que dice la tabla.
Uno por grupo · sin repetir
Seis negocios
Grupo
Negocio
La trampa va a aparecer sola
G1
EPS o centro médico
Un procedimiento que el plan no cubre
G2
Aerolínea
Equipaje raro: un instrumento, una mascota
G3
Reglamento estudiantil
Una homologación que nadie previó
G4
Banco · tarjeta de crédito
Un cobro que no está en la lista
G5
Operador celular
Un plan viejo que ya no se vende
G6
Arriendo de vivienda
Una reparación que no dice quién paga
La entrega
Hoy mismo, a AVATA
Un solo envío por grupo, antes de las 11:59 p.m., en la actividad «Clase 12 · Buscador con evidencia».
Lo que va dentro del zip · solo tres cosas
taller12/
documentos/ los 5 documentos del negocio
buscador.py funcionando contra su corpus
respuestas-clase12.txt lo baja de su guía, con un botón
El botón azul, abajo en su guíaBaja un archivo con todo lo que llenaron hoy, el correo al jefe incluido. Ese archivo es la entrega, y sin nombre y grupo no deja bajarlo. Lo que no esté en el zip no se califica.
Al cerrar · saco un nombre por grupo
Noventa segundos, sin ayuda
«Dígame su pregunta trampa y el puntaje que sacó»
«¿Qué umbral escogieron y qué perdieron por escogerlo?»
«Si mañana cambian de modelo de IA, ¿qué parte de su sistema se rompe?»
Cómo responde
Multiplica la nota del grupo
Completo y con los datos de su grupo
×1,0
Entiende la idea pero no lo de su grupo
×0,8
No sabe de qué le hablan
×0,6
Volvamos al tablero
La señora y la garantía
Nadie mintió. El documento estaba bien escrito y el modelo leyó bien lo que le dieron.
Falló el recuperador, que entregó con toda confianza la garantía equivocada. Y el sistema no tenía dónde decir «no sé».
Lo que les prometí al principio
Todo lo que se rompió hoy, se rompió en la R
Lo que falló
¿Dónde?
¿Lo arreglaba otro modelo?
El molino: evidencia que no responde, entregada con 0.67
el recuperador
No
Tres preguntas legítimas bloqueadas por el umbral
el recuperador
No
Cuatro preguntas empatadas en 0.33, dos con respuesta y dos sin ella
el recuperador
No
La palabra «café» subiéndole el puntaje a tres documentos ajenos
el recuperador
No
Y el modelo, mientras tanto, se portó bien todo el día. Ni una sola vez nos mintió.
Capa 2 · y no es solo nuestra experiencia
Lo mismo encontraron en sistemas reales
Un estudio de 2024 siguió tres sistemas RAG en operación y catalogó siete puntos de falla. Los tres primeros son el problema de hoy:
1
El contenido no está la pregunta no se puede responder con los documentos... y el sistema responde igual
2
No quedó entre los mejores la respuesta sí estaba, pero su documento no alcanzó el top-k
3
No entró al contexto se recuperó, y aun así no llegó al prompt
Y su conclusión es la de hoyUn RAG solo se valida operándolo: la robustez no se diseña, se descubre corriéndolo. Por eso ustedes armaron un banco de pruebas.
Cuál leer si solo lee unaLa de IBM, si quiere entender el patrón. La de AWS, si mañana le toca defender en una reunión por qué no van a entrenar un modelo propio.
Para leer · 2 de 2 · las fuentes primarias
Y los dos papers
El original · Lewis et al., 2020 · le puso nombre al patrón
arxiv.org/abs/2005.11401
Los siete puntos de falla · Barnett et al., 2024
arxiv.org/abs/2401.05856
Por qué vale la pena uno de 2020Su resumen ya nombra las dos razones que vimos hoy: un modelo entrenado no deja rastrear de dónde sacó la respuesta y no se puede actualizar. Cinco años después, siguen siendo las mismas dos.
Lo que se llevan
Cinco ideas
1
Recuperar y después generar casi todo el trabajo de arquitectura está en la primera palabra
2
El puntaje no mide si el documento responde mide si comparten palabras, y no es lo mismo
3
El modelo es un proveedor, no una decisión de arquitectura lo que ustedes diseñan es qué le llega
4
Un sistema que no puede decir «no sé» va a afirmar algo falso tarde o temprano, y sin dar error
5
No existe el umbral correcto existe el que usted escogió, y la razón — y eso se escribe