Responsabilidad y supervisión humana
Automatizar una tarea no significa delegar la responsabilidad por sus consecuencias.
La IA no elimina la responsabilidad
Cuando algo sale mal con una herramienta de IA, decir “fue el sistema” no resuelve el problema. Un sistema no tiene intenciones ni obligaciones: detrás de cada herramienta hay personas y organizaciones que tomaron decisiones.
Principio según el cual las personas y organizaciones que desarrollan, implementan o utilizan sistemas de IA responden por sus resultados, incluidas las consecuencias no previstas.
Eligen datos, definen qué se considera un buen resultado y deciden qué controles incorporar.
Deciden para qué se usará la herramienta, en qué procesos y con qué supervisión.
Deciden qué información introducen, qué resultados aceptan y cómo los aplican.
No existe una legislación universal sobre IA: los países y regiones desarrollan normas con enfoques diferentes. Más allá de cada ley, el principio ético es el mismo: alguien tiene que poder responder por lo que la herramienta produce.
Supervisión humana y verificación
La supervisión humana implica que una persona con conocimiento del tema revise los resultados antes de que tengan efectos. Esta idea suele llamarse humano en el circuito (human-in-the-loop).
La intensidad de la supervisión debe ajustarse al riesgo. Una lista de ideas para un evento no requiere el mismo control que un informe técnico, un contrato o una comunicación a pacientes. La responsabilidad también incluye revisar el funcionamiento con el tiempo, recoger reclamos y corregir, limitar o suspender una herramienta si produce resultados inadecuados.
Tres riesgos a tener en cuenta
Lenguaje de odio, insultos, obscenidades o mensajes hostigadores.
Contenido falso que parece verdadero y puede orientar decisiones incorrectas.
Un sistema alimentado con información reservada sin resguardos puede reproducirla en sus respuestas.
Los límites de la automatización
Automatizar una tarea no significa automatizar la responsabilidad. Las decisiones que afectan derechos, salud, empleo, situación económica o seguridad no deberían delegarse por completo. La IA puede aportar información, borradores u opciones, pero la decisión final debe quedar en manos de alguien que pueda justificarla y responder por ella.
Repartir tareas
Una estudiante que trabaja en un estudio contable usa IA generativa para preparar un correo a un cliente con vencimientos impositivos y un monto estimado.
- ¿Qué parte puede hacer razonablemente la herramienta?
- ¿Qué debe revisar la estudiante?
- ¿Qué decisión no debería delegarse?
Ver orientación
La herramienta puede proponer estructura y redacción. La persona debe verificar fechas, montos, normativa vigente y datos del cliente. La decisión sobre qué informar y el envío final son responsabilidad del estudio.
Un resultado generado por IA es un insumo de trabajo, no un producto terminado. Quien lo utiliza es responsable de revisarlo.