Hace algún tiempo una noticia conmovió al sector empresarial: Deloitte Australia, nada menos que una de las Big 4, admitió que había utilizado un sistema de IA generativa en un informe oficial, incluyendo en él citas falsas y referencias inventadas. Como consecuencia, debió devolver parte de los US$290.000 recibidos por parte del gobierno de ese país.
El problema, lógicamente, no es sólo el monto que Deloitte debió reembolsar, sino la manera en que se está utilizando la IA por parte de las empresas en general y en especial las consultoras y quienes se ocupan de las auditorías más grandes a nivel internacional, que han destinado miles de millones de dólares a desarrollar sus propios sistemas.
En el caso de Deloitte, el tema no es consecuencia de una falla técnica, sino de un error de gestión. Y lo más preocupante es que podría pasarle a cualquier empresa que integre a la IA sin un sistema de gobernanza sólido.
Descontrolados
En este caso, el error fue no tener un proceso de control de calidad adaptado a herramientas generativas. En entornos tradicionales, las firmas ya tienen protocolos de revisión, validación y auditoría. Pero cuando entra la IA, estos procesos suelen quedarse atrás y deben desarrollarse otros nuevos adaptados a estas prácticas.
El resultado de esto es que se generen informes con errores difíciles de detectar, porque nadie sabe exactamente qué parte fue escrita por un humano y cuál por el modelo utilizado de IA.
Este reciente caso testigo deja en evidencia que se necesita de una supervisión humana estructurada. No alcanza con “revisar por encima”, que es lo que muchas veces se hace. Hay que establecer un doble control sobre todo lo generado por la IA.
Quién dijo qué
En este proceso de control y gestión, también es apropiado realizar una trazabilidad de las fuentes. Cada afirmación o cita debe poder rastrearse a su origen verificable, de manera de evitar lo ocurrido en el caso mencionado de Australia.
A su vez, es necesario ajustar la política de uso de la IA. Es decir, las empresas deben definir cuándo, cómo y con qué resguardos se puede usar esta herramienta en los trabajos profesionales, estableciendo límites y alcances que luego permitan un proceso de control adecuado.
En esa línea, resulta recomendable también llevar un registro de “prompts” y “outputs”: documentar qué se pidió, qué respondió el modelo y qué se corrigió. O sea, tener también una trazabilidad de este lado.
Capacitar y documentar
Como complemento, es indispensable una capacitación del equipo que vaya a utilizar estas herramientas. La IA no reemplaza criterio, sino que lo amplifica o lo distorsiona según quién la use, por lo que resulta esencial planificar la capacitación para su uso.
Las empresas, ya sean grandes o pymes, deben implementar un protocolo interno de validación de contenidos generados con IA, incluir etapas de revisión humana certificada, incluso en tareas automáticas y definir roles de control cruzados. Por ejemplo, quien genera no es quien valida.
Junto a ello, las firmas deben medir y auditar periódicamente los outputs para detectar sesgos o inconsistencias. El objetivo no es frenar a la IA, ni mucho menos, sino hacerla confiable. Porque la confianza es lo que diferencia a una herramienta útil de un riesgo reputacional.
La gobernanza no es un lujo, es la línea que separa la innovación del desastre.
Analista de sistemas, administrador de empresas y titular de Bissners
Ambito.-