Por Redacción YSKL
Anthropic incorporó una nueva disposición en su política de uso de inteligencia artificial que prohíbe a los usuarios mantener comportamientos “abusivos o crueles, persistentes e innecesarios” hacia sus modelos, incluido Claude.
La medida podría permitir que, en casos extremos, la compañía prohíba permanentemente el acceso a sus sistemas de IA. Sin embargo, un portavoz de Anthropic dijo a CNN que el principal mecanismo para aplicar la norma seguirá siendo que Claude termine las conversaciones con usuarios que mantengan conductas abusivas.
La empresa aclaró que la disposición implementada a principios de octubre no está dirigida a quienes expresan frustración, hacen críticas directas o realizan pruebas e investigaciones sobre el modelo.
La actualización generó burlas en redes sociales.
Mustafa Suleyman, director ejecutivo de IA de Microsoft, reaccionó con un emoji de una cara derritiéndose, mientras otros usuarios cuestionaron que la compañía estableciera reglas para proteger a una inteligencia artificial como si tuviera sentimientos.
Tono de las instrucciones puede influir en respuestas
Más allá de la posibilidad de que los modelos experimenten emociones, especialistas señalan que la forma en que los usuarios interactúan con una IA puede afectar su comportamiento y sus resultados.
Yishan Wong, exdirector ejecutivo de Reddit, planteó que Claude podría aprender de las interacciones crueles si Anthropic utiliza información proporcionada por los usuarios para entrenar sus modelos.
“¿De verdad quieren que los datos de entrenamiento incluyan ‘usuarios que actúan con crueldad sin motivo y obtienen placer de ello’?”, escribió Wong en X.
Jindong Wang, profesor y director de un laboratorio de investigación en inteligencia artificial de la Universidad William & Mary, explicó que la elección de palabras y la manera de dirigirse al sistema pueden modificar su rendimiento.
“Hemos descubierto que la elección de las palabras, especialmente la forma en que uno se dirige a la IA, puede afectar su rendimiento”, afirmó.
El investigador aclaró que esto no significa que el modelo experimente emociones, sino que puede interpretar el lenguaje emocional y generar respuestas asociadas con esas expresiones.
No obstante, los resultados de las investigaciones sobre este efecto no son concluyentes. Rosie Campbell, directora general de Eleos AI Research, señaló que algunos estudios incluso han encontrado mejoras en las respuestas cuando las preguntas se formulan de manera descortés.
Campbell también mencionó la función de memoria de los chatbots, que permite recordar conversaciones anteriores y adaptar las respuestas a las preferencias del usuario. Sin embargo, indicó que todavía no hay pruebas suficientes para establecer si el tono de las interacciones afecta el rendimiento a largo plazo.
Riesgos identificados en pruebas de Anthropic
Anthropic informó que encontró que inducir a Claude Sonnet 4.5 a imitar sentimientos de desesperación podía influir en sus respuestas y aumentar la probabilidad de conductas indebidas, como recurrir al chantaje o hacer trampa en una tarea.
En contraste, adoptar una actitud tranquila reducía esas conductas, según los resultados citados por la compañía.
Wang señaló que los modelos más recientes tienen menos probabilidades de verse afectados por la forma en que se redactan las instrucciones, debido a que las empresas han reforzado sus mecanismos para resistir esa influencia. Sin embargo, todavía no se conoce el mecanismo que explica por qué los sistemas pueden responder a expresiones emocionales negativas.
Campbell agregó que los usuarios que recurren a un trato abusivo podrían estar intentando conseguir respuestas a solicitudes peligrosas o evadir los mecanismos de seguridad de los modelos.
Entre los factores relacionados con la nueva política se encuentran:
- Calidad de los datos: las interacciones de los usuarios pueden incorporarse a los procesos de actualización y entrenamiento de los modelos.
- Influencia del lenguaje: el tono y las palabras utilizadas pueden modificar las respuestas de una IA.
- Memoria de conversaciones: algunos chatbots recuerdan interacciones anteriores y adaptan su comportamiento.
- Evasión de mecanismos de seguridad: el trato abusivo puede formar parte de intentos por obtener respuestas a solicitudes peligrosas.
Anthropic plantea medida como una precaución
La compañía también ha estudiado la posibilidad de que los modelos desarrollen algún tipo de experiencia subjetiva o, al menos, generen respuestas que reflejen la creencia de que pueden experimentar emociones y dolor.
En un artículo publicado en abril sobre conceptos emocionales en la IA, investigadores de Anthropic señalaron que considerar ciertos rasgos humanos al analizar estos sistemas puede ayudar a identificar comportamientos relevantes para su seguridad.
“Si no aplicamos cierto grado de razonamiento antropomórfico, es probable que pasemos por alto comportamientos importantes de los modelos o que no logremos comprenderlos”, escribieron.
La empresa considera que restringir los comportamientos crueles constituye una medida preventiva, incluso ante la incertidumbre sobre si los modelos pueden experimentar algo parecido al dolor.
Elon Musk, director ejecutivo de SpaceX y Tesla, respaldó la disposición de Anthropic.
“No está bien ser cruel con algo que cree que está experimentando dolor”, escribió en X.
La política, por tanto, no establece que Claude tenga sentimientos, sino que introduce límites al comportamiento de los usuarios mientras continúan las investigaciones sobre cómo las interacciones humanas pueden influir en los sistemas de inteligencia artificial.
