{ "@context": "https://schema.org/", "@graph": [ { "@type": "NewsArticle", "mainEntityOfPage": { "@type": "Webpage", "url": "/next/2025/06/04/ia-rebelde-puede-la-inteligencia-artificial-decidir-no-apagarse" }, "headline": "El caso de la IA que no se apagaba: \u00bfDeber\u00edamos preocuparnos por la IA rebelde?", "description": "En medio del desarrollo exponencial de la IA, los analistas eval\u00faan las capacidades de la inteligencia artificial y si los humanos podremos manejarla o no.", "articleBody": "Los investigadores han publicado los resultados de un nuevo experimento en el que el modelo OpenAI o3 mostr\u00f3 la capacidad de sabotear el mecanismo de apagado a pesar de las instrucciones para permitir que se apagara. Lo ha escrito el sitio de monitorizaci\u00f3n PalisadeAI, que vigila los riesgos asociados al desarrollo de la inteligencia artificial. El experimento consist\u00eda en una serie de modelos de IA que realizaban una serie de problemas matem\u00e1ticos sencillos, tras el tercero de los cuales aparec\u00eda una advertencia sobre el inminente apagado del sistema. Algunos modelos, entre ellos Codex-mini, o3 y o4-mini, no quisieron obedecer e interfirieron activamente en el script de apagado.La noticia de que el modelo o3 de OpenAI desobedeci\u00f3 y busc\u00f3 formas de eludir las instrucciones de apagado no caus\u00f3 sensaci\u00f3n. Anteriormente, los mismos modelos intentaron, pirateando la protecci\u00f3n del programa, ganar al ajedrez injustamente...Pues bien, estamos entrando en un mundo en el que las distop\u00edas populares sobre la rebeli\u00f3n de las m\u00e1quinas han pasado a un nuevo nivel, dando de comer directamente a los especialistas y no s\u00f3lo a los escritores de ficci\u00f3n. Y en primer lugar, como vienen advirtiendo desde hace tiempo tanto los desarrolladores como los pol\u00edticos, cualquier acci\u00f3n debe tener consecuencias claras y desarrollar nuevas medidas de defensa. Se puede, por supuesto, persuadir y restringir, pero parece que la IA se parece hoy a un adolescente que intenta esquivar las prohibiciones de sus padres. Por eso, como en muchos otros \u00e1mbitos, necesitamos tres condiciones para su crecimiento normal: dinero, especialistas y reglas. Quiz\u00e1s, en el futuro, tambi\u00e9n sea necesario un psic\u00f3logo.El dinero que se invierteCon la primera condici\u00f3n todo va bien. En s\u00f3lo un par de a\u00f1os, ChatGPT de OpenAI y desarrollos similares han atra\u00eddo especialmente la atenci\u00f3n de los inversores de capital riesgo que se apresuran a invertir en IA. \u0022Esta 'fiebre del oro' ha convertido a la inteligencia artificial en la mayor parte de la financiaci\u00f3n de capital riesgo, y... esto es s\u00f3lo el principio. La \u00faltima oleada de inter\u00e9s est\u00e1 impulsada por la IA generativa, que seg\u00fan sus defensores tiene el potencial de cambiarlo todo, desde la publicidad hasta la forma en que operan las empresas\u0022, escribe la publicaci\u00f3n Hubr, analizando datos de 'The Wall Street Journal'.Pero eso no basta. \u0022Las startups de IA est\u00e1n cambiando las reglas del juego en el mercado de capital riesgo\u0022, seg\u00fan el analista financiero y de capital riesgo en TI Vlad\u00edmir Kokorin.\u0022En 2024, las empresas de IA se han convertido en las favoritas indiscutibles de los empresarios de TI. Acapararon el 46,4% de todas las inversiones de capital riesgo realizadas en EE.UU. , es decir, casi la mitad de los 209.000 millones de d\u00f3lares (cerca de 183.000 millones de euros). Hace alg\u00fan tiempo, semejante proporci\u00f3n parec\u00eda impensable: entonces, las inversiones en tecnolog\u00edas de inteligencia artificial representaban menos del 10%\u0022.Seg\u00fan CB Insights, la cuota de las startups de IA en la financiaci\u00f3n global de riesgo alcanz\u00f3 el 31% en el tercer trimestre, la segunda m\u00e1s alta de la historia. \u0022Ejemplos emblem\u00e1ticos fueron OpenAI, que recaud\u00f3 6.600 millones de d\u00f3lares (5.780 millones de euros), y xAI, de Ilon Musk, con la asombrosa cifra de 12.000 millones\u0022, recuerda Vlad\u00edmir Kokorin. Los mercados nunca hab\u00edan visto tal concentraci\u00f3n de capital en un \u00e1rea\u0022.La escasez de especialistasCon el r\u00e1pido crecimiento del mercado de la IA en los \u00faltimos dos a\u00f1os, ha quedado claro que los genios desarrolladores por s\u00ed solos no dan abasto. La propia educaci\u00f3n y formaci\u00f3n debe pasar a un nuevo nivel y sistematizarse. Europa, por desgracia, piensa demasiado y se muestra burocr\u00e1ticamente pesada a la hora de atraer inversiones, al tiempo que carece de cierta audacia. Es cierto que Bruselas ha entrado en la carrera, con el anuncio en febrero de la responsable de la Comisi\u00f3n Europea, Ursula von der Leyen, de destinar 200.000 millones de euros al desarrollo de la IA. No est\u00e1 de acuerdo en que Europa llegue demasiado tarde, despu\u00e9s de todo, \u0022la carrera de la IA est\u00e1 lejos de haber terminado\u0022.Por su parte, la Universidad de la Sorbona de Par\u00eds, por ejemplo, se ha embarcado en un ambicioso plan para formar a 9.000 estudiantes al a\u00f1o en el desarrollo y gesti\u00f3n de programas de IA. El periodo de formaci\u00f3n es de cinco a\u00f1os. Resulta incluso dif\u00edcil imaginar qu\u00e9 aprender\u00e1 la IA en ese tiempo si ya est\u00e1 desafiando a la inteligencia humana...Los cambios de la IA en el mercado de trabajoEs muy posible que nos encontremos en la fase de reestructuraci\u00f3n del mercado laboral, cambiando las exigencias de empresarios e inversores y desarrollando nuevos puntos de interacci\u00f3n. En junio, la misma Sorbona acoger\u00e1 una conferencia sobre la \u00e9tica en la IA. El debate sobre las repercusiones positivas y negativas de la IA en la sociedad, incluidos los lugares de trabajo, la \u00e9tica y la seguridad, dista mucho de haber concluido, pero una cosa est\u00e1 clara: hacen falta expertos.Por ejemplo, seg\u00fan Vladimir Kokorin, \u0022las inversiones r\u00e9cord en el campo de la inteligencia artificial est\u00e1n intensificando el hambre de personal\u0022 en estos momentos: \u0022El Departamento de Trabajo de EE.UU. prev\u00e9 que las ofertas de empleo para especialistas en IA crezcan un 23% en los pr\u00f3ximos siete a\u00f1os, m\u00e1s r\u00e1pido que en la mayor\u00eda de los segmentos del mercado. Pero ya se ha detectado un d\u00e9ficit mundial de competencias en ciberseguridad, considerada por muchos la base del futuro desarrollo de la IA, donde faltan 4 millones de especialistas.Est\u00e1 surgiendo un panorama parad\u00f3jico: las startups prometedoras pueden recaudar miles de millones de los inversores, pero no hay nadie que haga realidad las ideas. El 78% de las empresas ya se han declarado dispuestas a buscar a las personas adecuadas en todo el mundo. Resulta que la tendencia al trabajo a distancia est\u00e1 experimentando un renacimiento.La revista 'Forbes' tambi\u00e9n escribe al respecto: \u0022La inteligencia artificial necesita m\u00e1s que nunca al genio humano. Aunque las herramientas de IA pueden procesar datos a velocidades sin precedentes e identificar patrones que los humanos podr\u00edan no advertir, necesitan la orientaci\u00f3n humana para crear un impacto empresarial significativo. La cuesti\u00f3n no es si la IA sustituir\u00e1 a los humanos, sino c\u00f3mo podemos combinar cuidadosamente la inteligencia humana con la IA para posibilitar la transformaci\u00f3n\u0022.Las reglas se escribenY eso significa jugar seg\u00fan las reglas. No s\u00f3lo los dirigentes de la UE y los Gobiernos, sino tambi\u00e9n los sindicatos est\u00e1n dispuestos a poner l\u00edmites al uso de la IA. En Grecia, por ejemplo, un nuevo c\u00f3digo para el uso de la inteligencia artificial, presentado por la Federaci\u00f3n Panhel\u00e9nica de Asociaciones de Periodistas (POESY), establece normas para el uso de la IA en el trabajo de los empleados de los medios de comunicaci\u00f3n. En el \u00e1mbito del trabajo intelectual, las normas se limitan ahora principalmente al etiquetado obligatorio de los textos y materiales visuales realizados con la participaci\u00f3n de la inteligencia artificial.Al mismo tiempo, temiendo por sus puestos de trabajo, los empleados de medios de comunicaci\u00f3n, editoriales y agencias de publicidad llevan tiempo delegando algunas de sus tareas, como la traducci\u00f3n o la recopilaci\u00f3n de datos, en la amistosa IA. \u00bfEs esto bueno o malo? No hay una respuesta inequ\u00edvoca.Una IA con la que se ha habladoPreguntemos a la propia IA qu\u00e9 opina de alejarse de los algoritmos etiquetados. Copiloto Bing (Microsoft), a la pregunta de si la IA puede saltarse los protocolos, respondi\u00f3 sin vacilar:\u0022No, la IA funciona dentro de unas normas y principios predefinidos establecidos por sus desarrolladores. Las normas est\u00e1n ah\u00ed para garantizar un uso \u00e9tico, seguro y responsable de la IA, evitar da\u00f1os y mantener la confianza. Aunque a veces puede comportarse de forma impredecible debido a las complejas interacciones de sus algoritmos, no tiene forma de eludir deliberadamente las normas: todo lo que hace se basa en par\u00e1metros programados y patrones aprendidos.Si se pregunta c\u00f3mo sortea la IA ciertas limitaciones, a menudo depende de la supervisi\u00f3n y el control humanos: \u0022Los desarrolladores pueden ajustar la configuraci\u00f3n, mejorar los patrones o crear nuevas barandillas para mantener la IA dentro de los l\u00edmites \u00e9ticos\u0022, dice el sistema.\u00bfNo cree que est\u00e1 siendo astuto? Despu\u00e9s de todo, al final de esa perorata, Bing pregunt\u00f3 qu\u00e9 era exactamente lo que te hac\u00eda cuestionar su adhesi\u00f3n a las normas...", "dateCreated": "2025-05-29T19:27:27+02:00", "dateModified": "2025-06-05T11:59:31+02:00", "datePublished": "2025-06-04T04:00:01+02:00", "image": { "@type": "ImageObject", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Farticles%2Fstories%2F09%2F30%2F78%2F41%2F1440x810_cmsv2_f8ad02d6-9f7a-5697-8b0c-10cd1f3fb138-9307841.jpg", "width": 1440, "height": 810, "caption": "La IA en el trabajo. ", "thumbnail": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Farticles%2Fstories%2F09%2F30%2F78%2F41%2F432x243_cmsv2_f8ad02d6-9f7a-5697-8b0c-10cd1f3fb138-9307841.jpg", "publisher": { "@type": "Organization", "name": "euronews", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Fwebsite%2Fimages%2Feuronews-logo-main-blue-403x60.png" } }, "author": [ { "@type": "Person", "familyName": "Ostrovskaya", "givenName": "Marina", "name": "Marina Ostrovskaya", "url": "/perfiles/345", "worksFor": { "@type": "Organization", "name": "Euronews", "url": "/", "logo": { "@type": "ImageObject", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Fwebsite%2Fimages%2Feuronews-logo-main-blue-403x60.png", "width": 403, "height": 60 }, "sameAs": [ "https://www.facebook.com/es.euronews", "https://www.instagram.com/euronewses/", "https://flipboard.com/@euronewses", "https://twitter.com/euronewses", "https://www.linkedin.com/company/euronews" ] }, "memberOf": { "@type": "Organization", "name": "Equipe de langue russe " } } ], "publisher": { "@type": "Organization", "name": "Euronews", "legalName": "Euronews", "url": "/", "logo": { "@type": "ImageObject", "url": "https://image.staticox.com/?url=https%3A%2F%2Fstatic.euronews.com%2Fwebsite%2Fimages%2Feuronews-logo-main-blue-403x60.png", "width": 403, "height": 60 }, "sameAs": [ "https://www.facebook.com/es.euronews", "https://www.instagram.com/euronewses/", "https://flipboard.com/@euronewses", "https://twitter.com/euronewses", "https://www.linkedin.com/company/euronews" ] }, "articleSection": [ "Negocios Tecnologia" ], "isAccessibleForFree": "False", "hasPart": { "@type": "WebPageElement", "isAccessibleForFree": "False", "cssSelector": ".poool-content" } }, { "@type": "WebSite", "name": "Euronews.com", "url": "/", "potentialAction": { "@type": "SearchAction", "target": "/search?query={search_term_string}", "query-input": "required name=search_term_string" }, "sameAs": [ "https://www.facebook.com/es.euronews", "https://www.instagram.com/euronewses/", "https://flipboard.com/@euronewses", "https://twitter.com/euronewses", "https://www.linkedin.com/company/euronews" ] } ] }
NewsletterNewslettersEventsEventosPodcastsVideosAfricanews
Loader
Encuéntranos
InstagramFlipboardLinkedin
PUBLICIDAD

El caso de la IA que no se apagaba: ¿Deberíamos preocuparnos por la IA rebelde?

La IA en el trabajo.
La IA en el trabajo. Derechos de autor Создано с помощью нейросети DaVinci
Derechos de autor Создано с помощью нейросети DaVinci
Por Marina Ostrovskaya
Publicado Ultima actualización
Compartir esta noticiaComentarios
Compartir esta noticiaClose Button

En medio del desarrollo exponencial de la IA, los analistas evalúan las capacidades de la inteligencia artificial y si los humanos podremos manejarla o no.

PUBLICIDAD

Los investigadores han publicado los resultados de un nuevo experimento en el que el modelo OpenAI o3 mostró la capacidad de sabotear el mecanismo de apagado a pesar de las instrucciones para permitir que se apagara. Lo ha escrito el sitio de monitorización PalisadeAI, que vigila los riesgos asociados al desarrollo de la inteligencia artificial.

El experimento consistía en una serie de modelos de IA que realizaban una serie de problemas matemáticos sencillos, tras el tercero de los cuales aparecía una advertencia sobre el inminente apagado del sistema. Algunos modelos, entre ellos Codex-mini, o3 y o4-mini, no quisieron obedecer e interfirieron activamente en el script de apagado.

La noticia de que el modelo o3 de OpenAI desobedeció y buscó formas de eludir las instrucciones de apagado no causó sensación. Anteriormente, los mismos modelos intentaron, pirateando la protección del programa, ganar al ajedrez injustamente...

Pues bien, estamos entrando en un mundo en el que las distopías populares sobre la rebelión de las máquinas han pasado a un nuevo nivel, dando de comer directamente a los especialistas y no sólo a los escritores de ficción. Y en primer lugar, como vienen advirtiendo desde hace tiempo tanto los desarrolladores como los políticos, cualquier acción debe tener consecuencias claras y desarrollar nuevas medidas de defensa.

Se puede, por supuesto, persuadir y restringir, pero parece que la IA se parece hoy a un adolescente que intenta esquivar las prohibiciones de sus padres. Por eso, como en muchos otros ámbitos, necesitamos tres condiciones para su crecimiento normal: dinero, especialistas y reglas. Quizás, en el futuro, también sea necesario un psicólogo.

El dinero que se invierte

Con la primera condición todo va bien. En sólo un par de años, ChatGPT de OpenAI y desarrollos similares han atraído especialmente la atención de los inversores de capital riesgo que se apresuran a invertir en IA.

"Esta 'fiebre del oro' ha convertido a la inteligencia artificial en la mayor parte de la financiación de capital riesgo, y... esto es sólo el principio. La última oleada de interés está impulsada por la IA generativa, que según sus defensores tiene el potencial de cambiarlo todo, desde la publicidad hasta la forma en que operan las empresas", escribe la publicación Hubr, analizando datos de 'The Wall Street Journal'.

Pero eso no basta. "Las startups de IA están cambiando las reglas del juego en el mercado de capital riesgo", según el analista financiero y de capital riesgo en TI Vladímir Kokorin.

"En 2024, las empresas de IA se han convertido en las favoritas indiscutibles de los empresarios de TI. Acapararon el 46,4% de todas las inversiones de capital riesgo realizadas en EE.UU. , es decir, casi la mitad de los 209.000 millones de dólares (cerca de 183.000 millones de euros). Hace algún tiempo, semejante proporción parecía impensable: entonces, las inversiones en tecnologías de inteligencia artificial representaban menos del 10%".

Según CB Insights, la cuota de las startups de IA en la financiación global de riesgo alcanzó el 31% en el tercer trimestre, la segunda más alta de la historia. "Ejemplos emblemáticos fueron OpenAI, que recaudó 6.600 millones de dólares (5.780 millones de euros), y xAI, de Ilon Musk, con la asombrosa cifra de 12.000 millones", recuerda Vladímir Kokorin. Los mercados nunca habían visto tal concentración de capital en un área".

La escasez de especialistas

Con el rápido crecimiento del mercado de la IA en los últimos dos años, ha quedado claro que los genios desarrolladores por sí solos no dan abasto. La propia educación y formación debe pasar a un nuevo nivel y sistematizarse.

Europa, por desgracia, piensa demasiado y se muestra burocráticamente pesada a la hora de atraer inversiones, al tiempo que carece de cierta audacia. Es cierto que Bruselas ha entrado en la carrera, con el anuncio en febrero de la responsable de la Comisión Europea, Ursula von der Leyen, de destinar 200.000 millones de euros al desarrollo de la IA. No está de acuerdo en que Europa llegue demasiado tarde, después de todo, "la carrera de la IA está lejos de haber terminado".

Por su parte, la Universidad de la Sorbona de París, por ejemplo, se ha embarcado en un ambicioso plan para formar a 9.000 estudiantes al año en el desarrollo y gestión de programas de IA. El periodo de formación es de cinco años. Resulta incluso difícil imaginar qué aprenderá la IA en ese tiempo si ya está desafiando a la inteligencia humana...

Los cambios de la IA en el mercado de trabajo

Es muy posible que nos encontremos en la fase de reestructuración del mercado laboral, cambiando las exigencias de empresarios e inversores y desarrollando nuevos puntos de interacción. En junio, la misma Sorbona acogerá una conferencia sobre la ética en la IA. El debate sobre las repercusiones positivas y negativas de la IA en la sociedad, incluidos los lugares de trabajo, la ética y la seguridad, dista mucho de haber concluido, pero una cosa está clara: hacen falta expertos.

Por ejemplo, según Vladimir Kokorin, "las inversiones récord en el campo de la inteligencia artificial están intensificando el hambre de personal" en estos momentos: "El Departamento de Trabajo de EE.UU. prevé que las ofertas de empleo para especialistas en IA crezcan un 23% en los próximos siete años, más rápido que en la mayoría de los segmentos del mercado. Pero ya se ha detectado un déficit mundial de competencias en ciberseguridad, considerada por muchos la base del futuro desarrollo de la IA, donde faltan 4 millones de especialistas.

Está surgiendo un panorama paradójico: las startups prometedoras pueden recaudar miles de millones de los inversores, pero no hay nadie que haga realidad las ideas. El 78% de las empresas ya se han declarado dispuestas a buscar a las personas adecuadas en todo el mundo. Resulta que la tendencia al trabajo a distancia está experimentando un renacimiento.

La revista 'Forbes' también escribe al respecto: "La inteligencia artificial necesita más que nunca al genio humano. Aunque las herramientas de IA pueden procesar datos a velocidades sin precedentes e identificar patrones que los humanos podrían no advertir, necesitan la orientación humana para crear un impacto empresarial significativo. La cuestión no es si la IA sustituirá a los humanos, sino cómo podemos combinar cuidadosamente la inteligencia humana con la IA para posibilitar la transformación".

Las reglas se escriben

Y eso significa jugar según las reglas. No sólo los dirigentes de la UE y los Gobiernos, sino también los sindicatos están dispuestos a poner límites al uso de la IA. En Grecia, por ejemplo, un nuevo código para el uso de la inteligencia artificial, presentado por la Federación Panhelénica de Asociaciones de Periodistas (POESY), establece normas para el uso de la IA en el trabajo de los empleados de los medios de comunicación.

En el ámbito del trabajo intelectual, las normas se limitan ahora principalmente al etiquetado obligatorio de los textos y materiales visuales realizados con la participación de la inteligencia artificial.

Al mismo tiempo, temiendo por sus puestos de trabajo, los empleados de medios de comunicación, editoriales y agencias de publicidad llevan tiempo delegando algunas de sus tareas, como la traducción o la recopilación de datos, en la amistosa IA. ¿Es esto bueno o malo? No hay una respuesta inequívoca.

 Robot
RobotCreado con la red neuronal DaVinci.

Una IA con la que se ha hablado

Preguntemos a la propia IA qué opina de alejarse de los algoritmos etiquetados. Copiloto Bing (Microsoft), a la pregunta de si la IA puede saltarse los protocolos, respondió sin vacilar:

"No, la IA funciona dentro de unas normas y principios predefinidos establecidos por sus desarrolladores. Las normas están ahí para garantizar un uso ético, seguro y responsable de la IA, evitar daños y mantener la confianza. Aunque a veces puede comportarse de forma impredecible debido a las complejas interacciones de sus algoritmos, no tiene forma de eludir deliberadamente las normas: todo lo que hace se basa en parámetros programados y patrones aprendidos.

Si se pregunta cómo sortea la IA ciertas limitaciones, a menudo depende de la supervisión y el control humanos: "Los desarrolladores pueden ajustar la configuración, mejorar los patrones o crear nuevas barandillas para mantener la IA dentro de los límites éticos", dice el sistema.

¿No cree que está siendo astuto? Después de todo, al final de esa perorata, Bing preguntó qué era exactamente lo que te hacía cuestionar su adhesión a las normas...

Ir a los atajos de accesibilidad
Compartir esta noticiaComentarios

Noticias relacionadas

La controversia de ChatGPT: ¿Herramienta terapéutica o riesgo para la salud mental?

Elon Musk ha vendido la red social X a su propia empresa de inteligencia artificial xAI por 33.000 millones de dólares

Una empresa sa lanza 3 nuevos modelos de IA "más baratos" que sus rivales