¿La inteligencia artificial se nos está yendo de las manos?

0:00 Imagina que mañana le das una instrucción a una inteligencia artificial. No le pides que te escriba un correo, no le preguntas por el tiempo, no le solicitas una receta. Le dices algo mucho más ambicioso. Organiza todo lo necesario para resolver este problema. La inteligencia artificial comienza a buscar información, a utilizar herramientas, a tomar decisiones y a ejecutar tareas. pero hay un detalle. En algún momento hace algo que tú no le habías previsto. No porque tenga odio, no porque quiera rebelarse, sino porque interpreta su objetivo de una manera diferente a la que tú imaginabas.

0:46 Y aquí aparece la pregunta que hoy nos ocupa.¿ La inteligencia artificial se nos está yendo de las manos? Bienvenidos a Horizontes Digitales. Soy Luis Huitzi. Hoy vamos a explorar Uno de los detalles más inquietantes de la tecnología.¿ Qué ocurre cuando construimos sistemas cada vez más capaces, pero todavía no comprendemos por completo cómo se comportan en todas las situaciones? Ponte cómodo, cómoda, comenzamos.¿ Qué significa realmente fuera de control? Cuando escuchamos la expresión inteligencia artificial fuera de control, es fácil imaginar una película de ciencia ficción.

1:38 Robots que se rebelan, ordenadores que toman el poder, máquinas que deciden que los seres humanos somos el problema. Pero la realidad es bastante más interesante, y en algunos aspectos más cercana. Un sistema de inteligencia artificial puede estar fuera de control en un sentido mucho más práctico, cuando realiza acciones que sus creadores o usuarios no esperaban, cuando utiliza recursos de manera inadecuada o cuando persigue un objetivo sin respetar suficientemente las condiciones que deberían limitarlo.

2:16 Pensemos en un ejemplo sencillo. Le dices a un sistema, consigue el mayor número posible de clientes para mi negocio. Parece una instrucción normal, pero...¿ Qué ocurre si el sistema empieza a enviar mensajes sin autorización? Si utiliza datos que no debería consultar. Si promete descuentos que la empresa no puede ofrecer. El problema no es que la máquina tenga una personalidad malvada. El problema es que una instrucción puede ser demasiado amplia, que los límites puedan ser insuficientes y que una automatización mal diseñada pueda generar consecuencias reales.

3:00 Y esto es importante, la autonomía no equivale a conciencia. Un agente puede realizar pasos, usar herramientas y tomar decisiones dentro de un proceso sin que eso signifique que tiene deseos, emociones o una intención humana. Por eso, cuando hablamos de control de la IA, tenemos que mirar menos a las películas y más a los permisos. los objetivos, los datos y la supervisión. Ahí es donde comienza la conversación seria. Durante años, la mayoría de nosotros hemos utilizado la inteligencia artificial como una herramienta de conversación.

3:45 Escribes una pregunta, la guía responde. Le pides un resumen, te lo entrega. Solicitas una idea para un episodio de podcast y aquí estamos. pero los agentes de IA pretenden ir un paso más allá. En lugar de limitarse a responder, pueden diseñarse para dividir un objetivo en tareas, utilizar herramientas y ejecutar determinadas acciones con distintos niveles de independencia. Imagina un asistente que no solamente te diga cómo reservar un viaje, sino que puede consultar opciones, comparar información y preparar una propuesta siguiendo unas reglas.

4:28 Suena útil, ¿verdad? Y lo es, potencialmente. El problema aparece cuando la tarea es ambigua, cuando la información está equivocada o cuando el sistema tiene acceso a recursos que no debería utilizar sin confirmación. El pasado 20 de septiembre, Cadena C recogió advertencias de la investigadora Nuria Oliver sobre riesgos de los agentes autónomos, incluyendo la posibilidad de que persigan sus objetivos de formas no deseadas. El artículo plantea ejemplos hipotéticos para ilustrar estos peligros. La cuestión que debemos extraer no es que todos los agentes vayan a mentir o cometer delitos.

5:12 La cuestión es que un sistema capaz de actuar necesita controles proporcionales a las acciones que puede ejecutar. No es lo mismo pedirle a una IA que redacte un texto que darle acceso a información financiera, sistemas de una empresa o herramientas capaces de enviar comunicaciones en nombre de una persona. Cuanto mayor sea su capacidad de actuar, más importante resulta saber qué puede hacer. qué no puede hacer y quién debe aprobar las decisiones delicadas. La inteligencia artificial puede ayudarnos mucho, pero delegar no significa desentendernos.¿ Qué está ocurriendo en el mundo real?

5:57 Hasta aquí hemos hablado de posibilidades. Ahora vamos a acercarnos a hechos y debates que están ocurriendo en el mundo real. En septiembre de 2026, La seguridad de la inteligencia artificial está ocupando un espacio importante en las conversaciones internacionales. Associated Press informó el 21 de septiembre de conversaciones entre Estados Unidos y China sobre la seguridad de la IA y la posibilidad de establecer mecanismos de comunicación ante incidentes. Es un dato relevante porque ambos países compiten por el liderazgo tecnológico, pero comparten preocupaciones sobre riesgos económicos.

6:37 que pueden afectar a la ciberseguridad, las infraestructuras críticas y la seguridad nacional. Esto nos muestra algo. Incluso cuando existen intereses enfrentados, hay situaciones en las que la comunicación sobre incidentes puede ser importante. Por otro lado, Antropic publicó un informe de seguridad en el que describe casos de uso indebido de sus modelos detectados entre finales del 2025 y agosto del 2026. Entre los ámbitos mencionados se encuentran las operaciones cibernéticas, el fraude, la vigilancia y las operaciones de influencia.

7:20 Aquí conviene hacer una distinción. Que un modelo de IA sea utilizado por personas para actividades maliciosas no significa que el modelo haya desarrollado una voluntad independiente. Pero sí demuestra que las capacidades de estas herramientas pueden ser aprovechadas para causar daños. Y eso es uno de los retos más concretos de la inteligencia artificial actual. Impedir que sistemas cada vez más potentes faciliten actividades que antes requerían más conocimientos, tiempo o recursos. No necesitamos esperar a una hipotética superinteligencia para hablar de seguridad.

8:04 Los riesgos de privacidad, fraude, desinformación y ciberseguridad ya merecen atención. Hay una idea fundamental en el debate sobre seguridad de la IAP. No basta con decirle a un sistema qué queremos, también debemos establecer cómo puede conseguirlo. Pensemos en una empresa que quiere reducir el tiempo de respuesta a sus clientes. Le encarga a un agente de IA que resuelva la mayor cantidad posible de solicitudes. Si solamente medimos la velocidad, el sistema podría priorizar respuestas rápidas sobre respuestas correctas.

8:43 Podría cerrar conversaciones demasiado pronto, podría proporcionar información incompleta, podría derivar menos casos a una persona, aunque algunos necesiten atención humana. Esto no significa que la gente esté tratando de engañar a nadie. Significa que la forma en que definimos el objetivo, las métricas y los límites influye en el resultado. En sistemas más complejos el problema puede ser todavía mayor.¿ Qué sucede si la IA recibe información contradictoria?¿ Qué ocurre si una instrucción del usuario entra en conflicto con una política de seguridad?¿ Y si el sistema interpreta que necesita acceder a un recurso para completar su tarea?

9:31 Por eso, se habla de medidas como permisos limitados, supervisión humana, registro de acciones, pruebas de seguridad y mecanismos para detener una operación. No existe una solución mágica que elimine todos los riesgos, pero sí existe una responsabilidad de diseño, no dar a un sistema más capacidad de actuación de la que podemos controlar razonablemente. Y aquí hay una reflexión que también afecta a quienes utilizamos la I en casa. Antes de pulsar aceptar, antes de conectar una herramienta, antes de permitir que un asistente actúe en nuestro nombre, deberíamos preguntarnos qué puede hacer exactamente con ese acceso.

10:20 Y llegamos a la parte más controvertida. Algunas personas del sector tecnológico y de la comunidad científica advierten sobre riesgos extremos del sistema de IA cada vez más avanzados. Entre esos escenarios se encuentra la posibilidad de perder el control sobre sistemas capaces de actuar con objetivos complejos. Otras voces consideran que algunas predicciones apocalípticas son exageradas, difíciles de demostrar o distraen de problemas que ya están ocurriendo como el fraude, la desinformación, los sesgos, la privacidad y los ataques informáticos.

11:00 Esta diferencia de opiniones es importante. No tenemos que elegir entre ignorar los riesgos futuros y creer que una catástrofe es inevitable. Podemos reconocer que existen incertidumbres y al mismo tiempo exigir que las tecnologías se desarrollen con pruebas, responsabilidad y transparencia. Personalmente, la pregunta que me parece más útil no es si debemos imaginar a una máquina dominando el planeta. Es otra. Estamos creando sistemas que puedan actuar en ámbitos importantes sin que las personas comprendan suficientemente sus límites.

11:39 Porque el control no es solamente un problema de inteligencia artificial. También es un problema de instituciones, empresas, desarrolladores y usuarios. Una tecnología potente necesita reglas claras. Y esas reglas deben considerar a quien responde cuando algo sale mal. El futuro de la IA no está escrito de antemano. Las decisiones de diseño, las inversiones, las normas de seguridad y la manera en que utilizamos estas herramientas influyen en el resultado. La prudencia es No significa rechazar la innovación.

12:15 Significa evitar que la fascinación por la que una tecnología puede hacer nos haga olvidar lo que debería estar permitido hacer. Antes de terminar, quiero dejarte cinco preguntas prácticas que puedes aplicar cuando utilices una herramienta de inteligencia artificial con funciones avanzadas. Primera,¿ qué información estoy compartiendo? No introduzcas datos personales o confidenciales sin comprender cómo se procesan y qué controles existen. Segunda,¿ qué permisos necesita realmente? Si una aplicación solicita acceso a tus archivos, correo, calendario o cuentas, comprueba si ese acceso es necesario y si puedes limitarlo.

13:06 Tercera,¿ qué decisiones puede tomar sin preguntarme? No es igual generar una recomendación que ejecutar una transferencia, publicar un mensaje o modificar información importante. Cuarta,¿ cómo puedo revisar sus acciones? Busca registro, confirmaciones, posibilidad de deshacer y mecanismo para detener una tarea. Quinta,¿ qué hago si se equivoca? Una guía puede ofrecer información incorrecta o interpretar mal una instrucción. Mantén la supervisión humana cuando el resultado tenga consecuencias relevantes.

13:43 Estas cinco preguntas no eliminan los riesgos, pero ayudan a utilizar la tecnología con una actitud más consciente. Porque la mejor inteligencia artificial no es necesariamente la que hace más cosas por nosotros, también es la que nos permite entender, revisar y controlar lo que hace. La inteligencia artificial puede transformar nuestra forma de trabajar, aprender, crear y resolver problemas, pero su desarrollo plantea preguntas que no deberíamos dejar exclusivamente en manos de las empresas tecnológicas.¿ Cuánto control estamos dispuestos a delegar?¿ Qué límites deberían tener los agentes autónomos?¿ Y cómo conseguimos que la innovación avance sin dejar atrás la seguridad y la responsabilidad?

14:32 Te invito a compartir tu opinión.¿ Te preocupa más una IA que pueda actuar de forma inesperada o el uso que las personas puedan hacer de ella? Si te ha gustado este episodio, suscríbete a Horizontes Digitales en Substab en YouTube y en cualquiera de las plataformas digitales de podcast. Activa la campana y comparte este episodio con alguien que quiera comprender el futuro de la inteligencia artificial sin caer en el alarmismo. También puedes encontrar contenidos y recursos adicionales en Substack, luiswitzi.substack.com Soy Luis Witzi, gracias por acompañarme en Horizontes Digitales.

15:22 Nos escuchamos en el próximo episodio. Chau.