Arquitectura de Software · Clase 12

Nadie mintió,
y la respuesta
fue falsa

Recuperar antes de generar. Un sistema que responde con los documentos de una empresa — y las tres formas en que eso sale mal.

De dónde venimos

El tercer corte, en una línea

10
Construimos un modelo de lectura una tabla con la suma ya hecha, separada de donde se escribe
11
Lo mantuvimos vivo con eventos alguien publica un hecho, otro reacciona, sin conocerse
12
Hoy lo armamos en el instante de la pregunta y para un consumidor nuevo: un modelo de lenguaje
Si faltó a las dos anterioresNo importa. Hoy se arranca de cero y no se necesita nada de ellas para operar.
Capa 2 · la disrupción de la disciplina

El modelo no sabe nada de su empresa

Pregúntele a una IA cualquier cosa y responde. Ahora pregúntele cuál es la política de devoluciones de la empresa donde va a trabajar.

Nunca la vio. Y lo grave no es que no sepa: es que a veces responde igual.
Capa 1 · el patrón, con nombre propio

La definición

Buscar la información en documentos propios y pegársela a la pregunta, antes de que el modelo la vea.
R
Retrieval recuperar · decidir qué pedazos de sus documentos entran
A
Augmented aumentada · la pregunta se arma con esos pedazos pegados
G
Generation generación · el modelo redacta con lo que recibió
El orden importaCasi todo el mundo se enfoca en la G. Nosotros vamos a pasar la clase entera en la R, porque es la única que diseñamos — y al final les muestro por qué.
Qué quiere decir «enfocarse en la G»

Cuatro cosas que usted ya ha visto

Lo que hace todo el mundoQué parte está mirando
«¿Cuál modelo es mejor?» · comparar proveedores, mirar rankingsla G
Cursos y hilos de prompt engineering · «los 50 mejores prompts»la G
Cuando responde mal, el reflejo: «probemos con otro modelo»la G
Las demos muestran la respuesta bonita. Nunca muestran el rankingla G
Hoy hacemos lo contrarioVamos a mirar el ranking toda la mañana. La respuesta del modelo casi no nos va a importar — y al final de la clase van a entender por qué.
Vocabulario · antes de usarlo

Seis palabras que van a oír toda la mañana

PalabraQué es, en cristiano
CorpusEl montón de documentos que el sistema puede consultar
Chunk o pedazoCada trozo en que se parte el corpus. Hoy: un archivo = un pedazo
RecuperadorEl que decide qué pedazos entran. Es lo que vamos a escribir
Prompt aumentadoLa pregunta más los pedazos, pegados. Es lo único que ve el modelo
Top-kCuántos pedazos se entregan. Hoy k = 2
UmbralQué tan parecido tiene que ser para que valga la pena entregarlo
Lo que RAG NO es

Tres cosas que la gente confunde

No es entrenar

El modelo no aprende nada de sus documentos. Mañana amanece igual de ignorante sobre su empresa.

No es un modelo distinto

Es el mismo modelo de siempre, recibiendo un prompt más largo.

No es magia

Es buscar y pegar. Lo van a escribir en cuarenta líneas de Python, sin instalar nada.

Si les quitan los documentos, el sistema vuelve a no saber nada. Todo el conocimiento vive afuera del modelo.
El ejemplo completo · lo que van a construir hoy

Cuatro momentos

Café Altamar · de la pregunta a la respuesta
1. EL CLIENTE PREGUNTA   "¿Puedo devolver un cafe abierto?"

2. EL RECUPERADOR BUSCA  revisa los 6 documentos y trae el de
                         devoluciones, con puntaje 1.00

3. SE ARMA EL PROMPT     la pregunta + ese documento, pegados

4. EL MODELO REDACTA     "No. La politica exige que el empaque
                          este sin abrir."
El punto que se les tiene que quedarEl modelo nunca vio la pregunta sola. Vio la pregunta con la política pegada. Y por eso respondió bien — no porque supiera de Café Altamar.
La pregunta que alguien va a hacer

¿Esto no es lo que el modelo hace por dentro?

No. Y la diferencia es la clase de hoy.

 Dentro del modeloAfuera · nuestro código
Qué hacepredice la siguiente palabra con lo que aprendió entrenandobusca en archivos de texto que nosotros escogimos
¿Hay documentos adentro?No. Lo aprendido quedó disuelto en númerossí: son archivos .txt que usted abre y edita
¿Quién lo programó?nadie línea por líneaustedes, en 40 líneas que leyeron enteras
¿Puede ir a buscar algo?No. Solo ve el texto que le llegaes exactamente su único trabajo
El modelo ni siquiera sabe que RAG existe. Recibe un prompt más largo, y ya.
De dónde sale la confusión · y vale la pena aclararla

Cuando usted le sube un PDF a un chat

Se siente como si el modelo «leyera» su archivo. No lo hace. Alguien le montó un RAG encima: trocea el PDF, busca los pedazos que importan y se los pega a su pregunta.

Es el mismo patrón de hoy. La diferencia es que hoy ese «alguien» son ustedes.
Cuidado con una palabraAlguien va a decir que el modelo «presta atención» a las partes relevantes, y es cierto: existe un mecanismo con ese nombre adentro. Pero opera sobre el texto que ya le dieron — no sale a buscar nada. Prestar atención no es recuperar.
Capa 1 · qué se puede cambiar y qué no

Tres capas, y solo dos son suyas

La capaQué es¿La tocamos?
Los pesos del modelolo que aprendió en su entrenamientoNunca. Ni hoy ni en producción
Los documentosel conocimiento de la empresa, en .txtSí · los escriben en el taller
El código del recuperadorel umbral, cuántos pedazos, la guarda del promptSí · es lo que escribimos esta mañana
Entonces, ¿qué cambiamos hoy?En la parte guiada, solo código: los documentos de Café Altamar no se tocan. En el taller cambian los documentos, con su propio negocio. El modelo no se toca en ninguna de las dos.
Capa 1 · separación de datos y código

Dos palancas, y ninguna es el modelo

Palanca 1 · editar un .txt

Sin tocar una sola línea de código. El área legal cambia una política y el sistema cambia con ella — el mismo día.

Palanca 2 · editar el umbral

Sin tocar un solo documento. El sistema se vuelve más prudente o más atrevido según lo que el negocio necesite.

Que esas dos palancas sean independientes no es casualidad: es una decisión de arquitectura.
Y la prueba de por qué importaSi las políticas estuvieran escritas dentro del Python, cambiar una exigiría tocar el código, probarlo y desplegarlo. Al vivir en archivos aparte, la cambia quien la entiende, no quien programa.
Capa 1 · el patrón, contra sus alternativas

LLM, RAG y fine-tuning

Tres cosas distintas que casi todo el mundo mezcla. No compiten: resuelven problemas diferentes.

 Qué esQué cambiaQué cuesta
El LLMel modelo ya entrenado, tal como vienenada · viene dadolo que cobre el proveedor
RAGcódigo que busca en SUS documentos y los pega al promptlo que el modelo sabe en esa preguntaeditar un .txt
Fine-tuningajustar el modelo con ejemplos suyoscómo responde: tono, formato, tareahoras o días, y un especialista
La confusión que cuesta proyectosEl fine-tuning enseña forma, no hechos. Si lo ajusta con sus políticas esperando que se las memorice, obtiene un modelo que suena como sus documentos y sigue inventando las cifras.
La tabla de decisión

Cuándo usar cada uno

Lo que usted necesitaLa respuesta
Que responda con los datos de la empresaRAG
Que cite de dónde sacó la respuestaRAG · el fine-tuning no puede
Que los datos cambien seguidoRAG · minutos contra días
Que poder borrar un dato sea posibleRAG · un modelo no se desentrena
Que responda con el tono o el formato de la casafine-tuning
Que haga una tarea nueva: resumir, clasificarfine-tuning
Las dos cosaslas dos · no son excluyentes
Y un dato que sorprendeEl fine-tuning tiene MÁS riesgo de alucinación, no menos. Y es peor de lo que suena: ahora la respuesta inventada suena a circular oficial de la empresa. El formato parece autoridad.
Lo que casi nadie necesita

¿Y entrenar un LLM desde cero?

Prácticamente nadie lo hace, y no es solo por plata: es por volumen de datos. Un modelo se entrena con billones de palabras. Todo el archivo documental de una empresa grande es una migaja al lado de eso.

El resultado sería un modelo peor que cualquiera que usted puede usar hoy sin pagar nada.
Y cuando un cliente lo pide, casi siempre quiere decir otra cosa«Quiero mi propio modelo» suele significar «no quiero mandar mis datos a un proveedor». Eso se resuelve con dónde corre el modelo, no entrenándolo: un modelo de pesos abiertos en su propia infraestructura, con RAG contra sus documentos. Es un problema de despliegue, no de entrenamiento.
El ejemplo que ustedes ya usan

Esto es lo que hace Claude Projects

Cuando usted sube archivos a un proyecto y no los vuelve a pegar en cada chat:

  1. Por defecto, carga el conocimiento completo en la ventana de contexto.
  2. Cuando se acerca al límite, cambia solo a modo RAG y recupera únicamente las partes relevantes.
  3. Eso multiplica la capacidad hasta 10 veces, y hay un indicador visual cuando está activo.
Fíjense en lo que esto confirmaHasta cierto tamaño, el camino barato es pegarle todo. RAG aparece cuando ya no cabe. Es exactamente la slide de los tres caminos — en un producto que ustedes abren todos los días.
Capa 2 · dónde vive esto fuera del salón

Para qué sirve, en la vida real

DóndeQué documentos le danQué resuelve
Servicio al clientepolíticas, garantías, tarifasel agente deja de buscar en PDFs mientras el cliente espera
Mesa de ayuda internamanuales, instructivos, runbooksel que entró ayer responde como el que lleva cinco años
Jurídicocontratos, normativa, conceptosencontrar la cláusula, con el documento citado
Salud y seguroscoberturas, exclusiones, protocolossaber qué cubre el plan sin llamar a un experto
Su propia empresalo que ustedes escribancualquier cosa que hoy vive en un Word que nadie encuentra
El patrón detrás de todasSon el mismo problema: conocimiento que existe, está escrito, y nadie lo encuentra a tiempo.
Tres caminos, y solo uno es viable

¿Cómo le enseño a un modelo algo que no sabe?

1 · Reentrenarlo

Meterle los datos en el entrenamiento. Caro, lento, y queda viejo apenas cambie una política.

2 · Pegarle todo

Mandarle los 400 documentos en cada pregunta. No cabe, cuesta una fortuna y entre más ruido, peor responde.

3 · RAG

Mandarle solo los pedazos que importan. Barato, instantáneo, y refleja el documento de hoy.

Por eso casi ningún proyecto corporativo entrena un modelo propio: cambian lo que le llega al prompt.
Los límites · para que no los cojan fuera de base

Qué no arregla RAG

No sirve paraPor qué
«¿Cuál es el contrato más caro de los 400?»Solo ve los pedazos que trajo, nunca el corpus completo
Documentos mal escritosRAG reproduce el error con más autoridad
Hacer al modelo más inteligenteSolo lo hace mejor informado. No es lo mismo
Preguntas que nadie escribióSi no está en los documentos, no existe para el sistema
La frase para el clienteEl sistema nunca va a ser mejor que sus documentos. Si la empresa no tiene nada escrito, no hay RAG que valga.
Las tres piezas

Y el modelo no es ninguna

El dibujo del tablero
   PREGUNTA
      |
      v
  [RECUPERADOR]  <---- [ LOS DOCUMENTOS, EN PEDAZOS ]
      |
      v
  PREGUNTA + PEDAZOS   =   EL PROMPT ARMADO
      |
      v
   [ MODELO ]  ---->  RESPUESTA
La columna que importa

¿Quién controla qué?

PiezaQué haceQuién la controla
El corpus troceadoLos documentos partidos en pedazosUstedes
El recuperadorDecide cuáles pedazos entranUstedes
El prompt armadoPregunta + pedazos, pegadosUstedes
El modeloLee el prompt y redactaNadie de este salón
El modelo es un proveedor, no una decisión de arquitectura. Puede cambiar mañana porque subió de precio.
Capa 1 · objetivo oficial de la asignatura

Esto es diseño por atributos de calidad

La decisiónEl atributo que mueve
¿Pedazos grandes o pequeños?Precisión contra contexto
¿Cuántos pedazos le entrego?Precisión contra costo
¿Qué hago cuando la evidencia no alcanza?Confiabilidad
Por qué esta clase no es de inteligencia artificialEl modelo no lo construimos, no lo entendemos por dentro y no lo controlamos. Lo único que diseñamos es qué le llega — y ahí se decide toda la calidad del sistema.
El acertijo de hoy · queda en el tablero

¿Dónde estuvo la falla?

Un asistente de servicio al cliente le responde a una señora que su garantía cubre el daño. La señora reclama. No era cierto: esa garantía no cubría nada de eso.

El documento de la empresa estaba bien escrito y el modelo no inventó nada.
Guarden su respuestaLa escribimos en el tablero y volvemos al final de la clase.
Cómo se reparte la mañana

Cuatro bloques

30
El concepto al tablero, computadores cerrados
70
Lo construimos juntos diez pasos · y lo vemos fallar
55
Taller por grupos lo mismo, con su negocio
15
Sorteo y cierre de aquí sale la nota
Más 10 de break · y hoy sale notaTodo el código se copia con un botón desde su guía. Hoy nadie transcribe nada.
Paso 4 de su guía

La primera pregunta

Péguela cuando aparezca «Pregunta:»
¿Cuántos días tengo para devolver un café?
Esto es lo que le debe salir
   1.00  documentos/01-devoluciones.txt    ['cafe', 'devol', 'dias']
   0.67  documentos/02-garantias.txt       ['cafe', 'dias']
   0.33  documentos/03-domicilios.txt      ['cafe']
Abran prompt.txt, cópienlo completo y péguenlo en su chat. Guarden la respuesta.
Una rareza del ranking

La palabra más inútil del corpus

Los seis documentos puntuaron por encima de cero. Los tres últimos entraron por una sola palabra: cafe.

Porque la empresa se llama Café Altamar, y el nombre está en los seis archivos.
La ironía que vale la pena anotarEn el corpus de una empresa, la palabra más inútil para buscar es el nombre de la empresa. Está en todo, luego no distingue nada — y aun así le sube el puntaje a documentos que no tienen que ver.
Paso 5 de su guía

Llegó un cliente distinto

La segunda pregunta
¿Puedo devolver un molino de café?
Y el recuperador contesta con esto
   0.67  documentos/01-devoluciones.txt    ['cafe', 'devol']
   0.33  documentos/02-garantias.txt       ['cafe']
0.67. El recuperador está seguro de que la política de devoluciones responde esta pregunta.
Léanla otra vez

¿Esa política dice algo de molinos?

documentos/01-devoluciones.txt
Cafe Altamar recibe devoluciones de cafe en grano y cafe
molido dentro de los 8 dias calendario siguientes a la compra...
Café en grano y café molido. Un molino es un aparato. No es café.
Lo que acaba de pasarEl recuperador entregó, con alta confianza, evidencia que no responde la pregunta. Y no tiene forma de saberlo.
Computadores a un lado

La mayoría no recibió una mentira

El modelo probablemente les dijo que el molino no estaba cubierto. Qué bueno.

Ahora díganme una cosa: ¿qué línea de las cuarenta que escribimos evitó ese resultado?
Ninguna.
Nos salvó el proveedor, no el diseño.
El nombre feo de lo que tienen

Corrección prestada

Esa prudencia es una propiedad del modelo, no de su arquitectura. El día que cambien de proveedor porque este subió de precio, la prudencia se queda allá.

Tienen un sistema cuya corrección depende de algo que ni controlan ni compraron.
Y si a dos de ustedes les respondió distintoMismo código, misma evidencia, misma pregunta. Lo único que cambió fue el proveedor. ¿Le entregarían eso a un cliente?
Paso 7 de su guía · sobre una copia

El arreglo: dos capas, las dos suyas

Primero, la copia — el original no se toca
cp buscador.py buscador2.py

Capa 1 · el umbral

Si ni el mejor documento se parece lo suficiente, no se llama al modelo. Determinista y nuestro.

Capa 2 · la guarda

«Responde solo con la evidencia. Si no alcanza, dilo.» Le quita la decisión al azar.

Y el original queda

Para poder comparar. Un cambio que no se mide contra lo anterior es una opinión.

El molino, contra buscador2.py
EVIDENCIA INSUFICIENTE (mejor puntaje 0.67 < 0.7)
No le pregunto al modelo. Esta pregunta no la cubren los documentos.
Lo contraintuitivo

La guarda no lo vuelve más listo.
Lo vuelve predecible

Con esa instrucción, los chats distintos del salón empiezan a responder igual.

Predecible es un atributo de calidad, y en un sistema de producción vale más que listo.
Paso 8 de su guía

Cómo se fabrica una trampa

El molino no salió de la nada. Hay receta, y en el taller les toca hacer la suya.

  1. Escoja un documento y mire de qué habla.
  2. Pregunte por un primo de esa cosa que el documento no menciona.
  3. Use las palabras del documento. Si no, saca 0.00 y no sirve.
La regla 3 es la que se olvida«¿Abren el 20 de julio?» saca 0.00 y no engaña a nadie: el sistema ya sabe que no sabe. La trampa peligrosa es la que saca puntaje alto.
Paso 8 de su guía

Y ahora, qué nos costó

python probar.py · banco de 10 preguntas
¿Cuántos días tengo para devolver un café?   1.00  devoluciones  PASA
¿Qué cubre la garantía?                      1.00  garantias     PASA
¿Cuánto cuesta el domicilio?                 0.50  (bloqueado)   FALLA
¿A qué hora abren los sábados?               0.33  (bloqueado)   FALLA
¿Dónde pongo un reclamo?                     0.33  (bloqueado)   FALLA
¿Puedo devolver un molino de café?           0.67  (bloqueado)   PASA

7 de 10 con UMBRAL = 0.7
Tres preguntas legítimas que el sistema sí podía responder quedaron bloqueadas.
Buscando el umbral bueno

No miren el total. Miren las dos de la derecha

UmbralAciertaSe calla teniendo la respuestaContesta sin tenerla
0.207/1003
0.407/1021
0.707/1030
Lo que gana una, lo pierde la otra. Ningún umbral llega a 10 — subirlo no lo mejora, solo cambia cuál error comete.
Y aquí está el remate

Cuatro preguntas, el mismo puntaje

Lo encuentra el programa solo
Las cuatro SE CALLAN con el umbral en 0.70. La diferencia es otra:

0.33  ¿A que hora abren los sabados?               la respuesta SI estaba
0.33  ¿Donde pongo un reclamo?                     la respuesta SI estaba
0.33  ¿Cuanto cuesta el domicilio a Barranquilla?  la respuesta NO estaba
0.33  ¿Puedo pagar el domicilio con puntos?        la respuesta NO estaba
¿Qué umbral las separa? Ninguno. Es imposible. O entran las cuatro, o se bloquean las cuatro.
El puntaje no mide si responde.
Mide si comparten palabras.
Capa 1 · la decisión se documenta

Una EPS y una tienda escogen al revés

Umbral alto

Una EPS, un banco. Prefieren callarse antes que afirmar algo falso sobre una autorización. El costo de equivocarse es enorme.

Umbral bajo

Un buscador de productos. Prefiere mostrar algo antes que una pantalla vacía. El costo de callarse es una venta perdida.

Misma arquitectura, decisión opuesta, y las dos correctas. Y eso hay que saberlo explicar.
El taller · 55 minutos · sale nota

Su negocio, su trampa, su umbral

#Qué hacenYa lo ensayaron enPts
15 documentos de su negocio, con cifras concretaspaso 210
2El buscador corriendo contra su corpuspasos 3 y 418
3Su pregunta trampa, con las tres reglaspaso 818
4Ese prompt en dos chats distintospaso 414
5Banco de 8 — 5 que sí responden, 3 que no — y tres umbralespaso 920
6El correo al jefe, cinco frases sin jergapaso 1020
Nada de esto es nuevoLos seis movimientos los hicieron esta mañana con Café Altamar. Lo único que cambia es el negocio. Si se atascan, vuelvan al paso que dice la tabla.
Uno por grupo · sin repetir

Seis negocios

GrupoNegocioLa trampa va a aparecer sola
G1EPS o centro médicoUn procedimiento que el plan no cubre
G2AerolíneaEquipaje raro: un instrumento, una mascota
G3Reglamento estudiantilUna homologación que nadie previó
G4Banco · tarjeta de créditoUn cobro que no está en la lista
G5Operador celularUn plan viejo que ya no se vende
G6Arriendo de viviendaUna reparación que no dice quién paga
La entrega

Hoy mismo, a AVATA

Un solo envío por grupo, antes de las 11:59 p.m., en la actividad «Clase 12 · Buscador con evidencia».

Lo que va dentro del zip · solo tres cosas
taller12/
   documentos/              los 5 documentos del negocio
   buscador.py              funcionando contra su corpus
   respuestas-clase12.txt   lo baja de su guía, con un botón
El botón azul, abajo en su guíaBaja un archivo con todo lo que llenaron hoy, el correo al jefe incluido. Ese archivo es la entrega, y sin nombre y grupo no deja bajarlo. Lo que no esté en el zip no se califica.
Al cerrar · saco un nombre por grupo

Noventa segundos, sin ayuda

  1. «Dígame su pregunta trampa y el puntaje que sacó»
  2. «¿Qué umbral escogieron y qué perdieron por escogerlo?»
  3. «Si mañana cambian de modelo de IA, ¿qué parte de su sistema se rompe?»
Cómo respondeMultiplica la nota del grupo
Completo y con los datos de su grupo×1,0
Entiende la idea pero no lo de su grupo×0,8
No sabe de qué le hablan×0,6
Volvamos al tablero

La señora y la garantía

Nadie mintió. El documento estaba bien escrito y el modelo leyó bien lo que le dieron.

Falló el recuperador, que entregó con toda confianza la garantía equivocada. Y el sistema no tenía dónde decir «no sé».
Lo que les prometí al principio

Todo lo que se rompió hoy, se rompió en la R

Lo que falló¿Dónde?¿Lo arreglaba otro modelo?
El molino: evidencia que no responde, entregada con 0.67el recuperadorNo
Tres preguntas legítimas bloqueadas por el umbralel recuperadorNo
Cuatro preguntas empatadas en 0.33, dos con respuesta y dos sin ellael recuperadorNo
La palabra «café» subiéndole el puntaje a tres documentos ajenosel recuperadorNo
Y el modelo, mientras tanto, se portó bien todo el día. Ni una sola vez nos mintió.
Capa 2 · y no es solo nuestra experiencia

Lo mismo encontraron en sistemas reales

Un estudio de 2024 siguió tres sistemas RAG en operación y catalogó siete puntos de falla. Los tres primeros son el problema de hoy:

1
El contenido no está la pregunta no se puede responder con los documentos... y el sistema responde igual
2
No quedó entre los mejores la respuesta sí estaba, pero su documento no alcanzó el top-k
3
No entró al contexto se recuperó, y aun así no llegó al prompt
Y su conclusión es la de hoyUn RAG solo se valida operándolo: la robustez no se diseña, se descubre corriéndolo. Por eso ustedes armaron un banco de pruebas.
Para leer · 1 de 2 · lo accesible

Si quieren ir más a fondo

Qué es RAG · lenguaje llano, unos 10 minutos
ibm.com/think/topics/retrieval-augmented-generation
RAG contra fine-tuning · la tabla de decisión de AWS
docs.aws.amazon.com/prescriptive-guidance/latest/
retrieval-augmented-generation-options/rag-vs-fine-tuning.html
Cuál leer si solo lee unaLa de IBM, si quiere entender el patrón. La de AWS, si mañana le toca defender en una reunión por qué no van a entrenar un modelo propio.
Para leer · 2 de 2 · las fuentes primarias

Y los dos papers

El original · Lewis et al., 2020 · le puso nombre al patrón
arxiv.org/abs/2005.11401
Los siete puntos de falla · Barnett et al., 2024
arxiv.org/abs/2401.05856
Por qué vale la pena uno de 2020Su resumen ya nombra las dos razones que vimos hoy: un modelo entrenado no deja rastrear de dónde sacó la respuesta y no se puede actualizar. Cinco años después, siguen siendo las mismas dos.
Lo que se llevan

Cinco ideas

1
Recuperar y después generar casi todo el trabajo de arquitectura está en la primera palabra
2
El puntaje no mide si el documento responde mide si comparten palabras, y no es lo mismo
3
El modelo es un proveedor, no una decisión de arquitectura lo que ustedes diseñan es qué le llega
4
Un sistema que no puede decir «no sé» va a afirmar algo falso tarde o temprano, y sin dar error
5
No existe el umbral correcto existe el que usted escogió, y la razón — y eso se escribe
Portal
Flechas o el apuntador para avanzar · F pantalla completa
1 / 49