La mayoría de las evaluaciones de proveedores de IA son un cuestionario de seguridad en la nube con la palabra "IA" pegada encima. Preguntan por el cifrado en reposo y omiten las preguntas que realmente deciden si un sistema agéntico es seguro. Estas son las veinticuatro que importan, qué pregunta realmente cada una, y cómo suena una respuesta débil.
Para quién es
Está escrito para ser útil desde cualquier lado de la mesa, incluido el lado en el que normalmente estamos nosotros.
Le entregaron un sistema de IA para evaluar y su cuestionario actual no lo alcanza. Empiece aquí. La línea "qué se pregunta en realidad" bajo cada pregunta es la que conviene leer.
Construyó algo que funciona y ahora está detenido. Responda esto por escrito antes de que su revisor lo pregunte. Llegar con las respuestas ya escritas cambia por completo la conversación.
Está evaluando proveedores, incluidos nosotros. Haga las veinticuatro. Un proveedor que responde con claridad le está diciendo algo real; uno que responde como en la columna de respuestas débiles también.
01 / 06
Dónde se ejecuta el software decide casi todo lo demás. Resuelva esto primero, porque cada otra respuesta cambia según ello.
Si los prompts que contienen sus datos cruzan el límite de su red, y hacia el hardware de quién. "En la nube" son tres respuestas distintas según de quién sea la cuenta, qué región, y si el proveedor del modelo es un cuarto actor que usted nunca evaluó.
Una respuesta débil suena así
"Está alojado de forma segura en la nube con cifrado de nivel empresarial."
Una lista exhaustiva de salidas, no un resumen. Telemetría, reportes de fallos, analítica de uso y paquetes de soporte son todos salidas, y son las que los proveedores olvidan mencionar porque nadie las piensa como datos.
Una respuesta débil suena así
"Solo metadatos anonimizados salen de su entorno."
Si "trae tu propia nube" es un modo de despliegue que existe hoy con clientes usándolo, o un punto de hoja de ruta que se construirá para usted. Pregunte cuántos clientes lo usan hoy. El número es la respuesta.
Una respuesta débil suena así
"Por supuesto podemos conversar un despliegue privado para un acuerdo empresarial."
Si existe una dependencia dura de ejecución con el proveedor — una verificación de licencia, un plano de control alojado, un servicio de claves. Es una pregunta de continuidad, pero también la vía más rápida para saber cuánto del sistema operaría usted realmente.
Una respuesta débil suena así
"Mantenemos un plan de continuidad y un acuerdo de custodia de código fuente."
02 / 06
El proveedor frente a usted rara vez es el único actor en la ruta de inferencia. Estas preguntas son sobre los que están detrás.
Una respuesta contractual y técnica, y sobre todo una que cubra al proveedor del modelo además del proveedor del producto. Un proveedor puede decir honestamente que no entrena con sus datos mientras los envía a un tercero cuyos términos por defecto dicen lo contrario.
Una respuesta débil suena así
"Nunca entrenamos con datos de clientes."
Una lista con nombres y regiones, tratados como subencargados bajo su acuerdo de protección de datos. Si el proveedor enruta entre varios por costo o disponibilidad, sus datos tienen más destinos de los que nombra el contrato.
Una respuesta débil suena así
"Usamos modelos fundacionales líderes de proveedores principales."
La mayoría de los grandes proveedores retiene entradas un tiempo para monitoreo de abuso aunque no entrene con ellas, y esa retención suele ser invisible para quien revende la capacidad. Pida la ventana específica y si hay retención cero en su nivel.
Una respuesta débil suena así
"No se retiene nada — las solicitudes se procesan y se descartan."
Si el comportamiento que usted validó puede cambiar sin aviso, y si puede fijar una versión. Un sistema calificado contra un modelo y movido en silencio a otro no está calificado — lo que importa enormemente en un contexto regulado.
Una respuesta débil suena así
"Siempre recibe el modelo más reciente y capaz automáticamente."
03 / 06
La falla estructural más común en la IA empresarial es un agente que tiene en silencio más acceso que cualquiera de sus usuarios. Esta sección es cómo encontrarla.
La pregunta de mayor valor de este documento. Si el agente tiene credenciales propias, cada usuario hereda la unión de todo lo que esa cuenta alcanza — y su modelo de permisos cuidadosamente construido quedó reemplazado por un solo inicio de sesión compartido.
Una respuesta débil suena así
"El agente tiene acceso de solo lectura al almacén, así que es de bajo riesgo."
Protocolos con nombre — SAML 2.0, OIDC — contra su directorio existente, consumiendo realmente los claims de grupo y rol. "Soporta SSO" puede significar una lista de usuarios separada que acepta un inicio federado, lo que significa que la baja de personal no la alcanza.
Una respuesta débil suena así
"Sí, soportamos inicio de sesión único."
Si los índices, embeddings, cachés e historial de conversación sobreviven al permiso que los creó. Los sistemas de recuperación copian datos rutinariamente a un almacén vectorial que ya no consulta los permisos del sistema fuente, lo que anula la revocación en silencio.
Una respuesta débil suena así
"Los permisos se verifican en tiempo de consulta contra la fuente."
Aislamiento entre usuarios e inquilinos, pero específicamente dentro de registros, trazas, conjuntos de evaluación y herramientas de soporte. El contenido de conversación es el dato más sensible del sistema y suele ser el menos protegido, porque vive en observabilidad y no en la base de datos.
Una respuesta débil suena así
"Nuestro equipo de soporte puede acceder a sesiones cuando se necesita diagnosticar."
04 / 06
Un sistema que solo lee es un buscador con opiniones. En cuanto puede escribir, el perfil de riesgo cambia por completo — y es donde la mayoría de las evaluaciones deja de preguntar.
La lista literal de herramientas con capacidad de escritura que puede invocar sin supervisión, no una filosofía sobre autonomía. Pida el manifiesto de herramientas. Si nadie puede producirlo, la respuesta honesta es que nadie lo sabe — y eso ya es el hallazgo.
Una respuesta débil suena así
"Siempre hay un humano en el circuito."
Si alguien — un administrador, un ingeniero de soporte, una versión futura — puede desactivarla para mejorar el rendimiento. Un control que se puede desactivar por configuración terminará desactivado por configuración, normalmente durante un incidente y con prisa.
Una respuesta débil suena así
"Los flujos de aprobación están activados por defecto para toda escritura."
Si la aprobación es informada o ceremonial. Un revisor al que se le muestra "el agente quiere actualizar 12 registros" aprobará todo para la segunda semana. Uno al que se le muestra el diff exacto, la fuente que lo justifica y el número de filas afectadas está ejerciendo un control.
Una respuesta débil suena así
"El usuario recibe una notificación describiendo la acción propuesta."
Si una aprobación está acotada. "Actualizar las oportunidades" puede significar doce filas o sesenta mil, y una aprobación dada para una no debería servir para la otra. Pregunte si la aprobación queda anclada al cambio exacto propuesto o a la intención.
Una respuesta débil suena así
"Las acciones siempre se limitan a los permisos del usuario solicitante."
05 / 06
La clase de ataque sin defensa completa. Lo que importa no es si un proveedor dice haberla resuelto, sino qué pasa cuando funciona de todos modos.
Inyección indirecta, que es la versión realista de este ataque. Nadie escribe "ignora tus instrucciones" en el chat; llega dentro de un PDF, un ticket de soporte, un currículum o un correo de proveedor que el agente debía resumir.
Una respuesta débil suena así
"Tenemos barreras que filtran prompts maliciosos."
Si el conjunto de herramientas se acota por turno o si todo el registro está disponible en cada llamada. Si toda herramienta es siempre alcanzable, una inyección exitosa dispone de toda la superficie en vez de las tres herramientas que la tarea requería.
Una respuesta débil suena así
"El modelo selecciona inteligentemente la herramienta correcta para cada solicitud."
Si el sistema escribe y ejecuta código — y la mayoría de los agentes analíticos lo hace — el límite de aislamiento importa enormemente. Un contenedor de kernel compartido es una clase de riesgo distinta a la virtualización a nivel de hardware, y "aislado" se usa para ambos.
Una respuesta débil suena así
"El código se ejecuta en un entorno aislado tipo sandbox."
Si la salida está denegada por defecto con lista de permitidos, o permitida por defecto dentro de una red privada. La segunda es la configuración que convierte un fallo contenido de ejecución en exfiltración de datos, y es con diferencia la más común.
Una respuesta débil suena así
"Se ejecuta en una subred privada sin dirección IP pública."
06 / 06
Todo lo anterior trata de prevenir un incidente. Esta sección trata del día siguiente, que es cuando se descubre si algo de esto era reconstruible.
De extremo a extremo: la solicitud, cada llamada a herramienta y sus argumentos, cada resultado, la versión del modelo, la aprobación y quién la otorgó. "Registramos todo" suele significar logs de aplicación con treinta días de retención y sin correlación entre ambos planos.
Una respuesta débil suena así
"Toda la actividad del usuario se registra y retiene según su política."
Si la referencia a la fuente la produce el backend desde el registro real de llamadas, o la genera el modelo como texto. Una cita generada por el modelo puede apuntar a un documento que nunca se recuperó, y se verá idéntica a una real.
Una respuesta débil suena así
"El modelo siempre cita sus fuentes en cada afirmación."
Los prompts y resultados contienen lo que el usuario haya pegado, lo que en la práctica incluye registros de clientes, credenciales e información de salud protegida. Pregunte específicamente si el cuerpo de los prompts llega al stack de observabilidad, y quién lo administra.
Una respuesta débil suena así
"Todos los registros están cifrados en reposo y en tránsito."
El acceso del lado del proveedor, y en concreto si ese acceso genera un registro visible para usted y no solo para ellos. Un registro de acceso que el cliente no puede leer es un control en beneficio del proveedor, no suyo.
Una respuesta débil suena así
"El acceso se limita a personal autorizado según necesidad de conocer."
Extra
Ninguna aparece en una evaluación estándar. Las tres le dicen más sobre un proveedor en una respuesta que las veinticuatro anteriores.
A
Cualquier proveedor que venda a empresas reguladas ha reprobado alguna. Uno que diga que nunca le pasó le está diciendo o que nunca fue seriamente evaluado, o que está dispuesto a decir cosas falsas en una evaluación de seguridad. Ambos son hallazgos útiles.
B
Todo sistema tiene un componente que inquieta a sus propios ingenieros. Una respuesta nombra uno y explica la mitigación. Una no-respuesta insiste en que no hay nada, lo que significa que no lo han pensado o que no se lo van a decir.
C
Falla abierta o cerrada, y quién lo decidió. Un sistema que degrada a ejecutar sin sus verificaciones de fundamentación, o a un modelo más débil que nadie calificó, tiene un modo de falla que solo aparece bajo carga — justo cuando nadie está mirando.
Todo lo anterior está en esta página completo y siempre lo estará — aquí nada está restringido. Lo que obtiene con el correo es la copia de trabajo: las veinticuatro preguntas como lista editable a la que puede poner el nombre de su organización, enviar a un proveedor y usar para registrar respuestas.
Un correo al enviarlo, y otro si la lista cambia de forma relevante. Nada más, y sin secuencia comercial.
Enviando… Recibido — la lista editable llegará a su correo en un día hábil. Las preguntas de arriba son suyas de todos modos. No se pudo enviar. Escriba a info@axionalytics.com y se enviará a mano — las preguntas de arriba no se ven afectadas.
Si el sistema en cuestión es suyo y está detenido en una revisión que no avanza, respondemos las veinticuatro por escrito — con modelo de amenazas y topología de despliegue — en cinco días hábiles.