Sesión 4: Probabilidad Condicional (Bayes para Política Pública)

Caso de Política Pública

La Contraloría Municipal implementó un sistema de IA para detectar posibles irregularidades en compras públicas. El sistema tiene: - Sensibilidad: 90% (detecta 9 de cada 10 casos reales de corrupción) - Especificidad: 95% (solo 5% de casos honestos son marcados incorrectamente)

Suena genial, ¿verdad? Pero… solo el 5% de las compras tienen irregularidades reales

Tu tarea: Calcular: - Si el sistema marca una compra, ¿cuál es la probabilidad REAL de que sea fraudulenta? - ¿Cuántos falsos positivos generaremos? - ¿Vale la pena auditar todas las compras marcadas?

Paradoja de Bayes: Un test “muy preciso” puede generar más falsos que verdaderos.

Parte 1: Configuración y Conceptos

Parte 2: Simulación de la Realidad

Parte 3: Matriz de Confusión

Parte 4: El Valor Predictivo Positivo (VPP)

LA PREGUNTA CLAVE: Si la IA marca una compra, ¿cuál es la probabilidad de que SEA REALMENTE fraudulenta?

Parte 5: Fórmula de Bayes

Parte 6: Análisis de Sensibilidad (Prevalencia)

Parte 7: Estrategias de Mejora

Parte 8: Visualización del Problema

Parte 9: Tabla de Decisión

Parte 10: Comparación Visual de Estrategias

Ejercicio Individual (Entregable)

Parte A: Variación de Parámetros

  1. Re-simula con prevalencia = 1% (fraude muy raro):
    • Calcula el nuevo VPP
    • ¿Cuántos falsos positivos genera?
    • ¿Cambiaría tu recomendación?
  2. Mejora de sensibilidad: Cambia sensibilidad a 95% (mantén todo lo demás):
    • ¿Mejora más el VPP que mejorar especificidad?
    • Explica por qué

Parte B: Análisis Escrito

  1. Tabla comparativa de las 4 estrategias: | Estrategia | VPP | Costo | Fraudes detectados | Trade-off | |————|—–|——-|——————-|———–|

  2. Explica en 6 líneas:

    • ¿Por qué un test “90% preciso” puede generar más falsos que verdaderos?
    • ¿Qué factor importa más: sensibilidad, especificidad, o prevalencia?

Parte C: Aplicación Práctica

  1. Diseña un protocolo de auditoría (1 página):
    • ¿Qué compras auditar?
    • ¿En qué orden?
    • ¿Con qué criterios adicionales?
    • Incluye 1 limitación

Preguntas de Discusión

  1. Falsos positivos vs falsos negativos:
    • ¿Qué es peor: auditar inocentes o dejar pasar fraudes?
    • ¿Cambia tu respuesta según el contexto?
  2. Comunicación del riesgo:
    • ¿Cómo explicas “VPP = 30%” a un no-experto?
    • ¿Dirías “70% son falsos” o “solo 30% son reales”?
  3. Dilema ético:
    • ¿Es justo marcar compras sabiendo que la mayoría son honestas?
    • ¿Cómo proteges reputaciones ante falsos positivos?
  4. Mejora continua:
    • ¿Invertirías más en mejorar sensibilidad o especificidad?
    • ¿Por qué importa tanto la prevalencia?

Recursos Adicionales

Conceptos clave:

  • Teorema de Bayes: P(A|B) = P(B|A) × P(A) / P(B)
  • Sensibilidad: Proporción de positivos correctamente identificados
  • Especificidad: Proporción de negativos correctamente identificados
  • VPP: Probabilidad de enfermedad dado resultado positivo
  • Prevalencia: Proporción de casos en la población

Aplicaciones:

  • 🏥 Tests médicos (COVID, VIH, cáncer)
  • 🔍 Sistemas anticorrupción
  • ✈️ Detección de amenazas en aeropuertos
  • 📧 Filtros de spam
  • 🎯 Sistemas de recomendación

Para profundizar: - “Thinking, Fast and Slow” - Kahneman (sobre sesgos) - “The Signal and the Noise” - Nate Silver - “Base rate fallacy” en Wikipedia

Última reflexión: Un test perfecto con población incorrecta genera basura. El contexto (prevalencia) importa tanto como la precisión.