Carta Abierta: Pausar experimentos gigantes de inteligencia artificial 馃挭 #MartesCoach #17 馃殌

 Carta Abierta: Pausar experimentos gigantes de IA | Dalle-2 | Oscar Schmitz

La inteligencia artificial (IA) avanzada puede representar un cambio profundo en la historia de la humanidad y debe planificarse y administrarse con cuidado. 

Los sistemas de IA actuales y emergentes ahora se est谩n volviendo competitivos para los humanos en tareas generales, lo que presenta riesgos profundos para la sociedad y la humanidad. 

Por lo tanto, esta carta abierta donde Elon Musk, Yoshua Bengio, Steve Wozniak, Yuval Harari, Andrew Yng, Emad Mostaque y otros l铆deres de inteligencia artificial han firmado una carta abierta para 'Pause Giant AI Experiments'. se hace un llamado a todos los laboratorios de IA para que pausen de inmediato durante al menos 6 meses el entrenamiento de los sistemas de IA m谩s potentes. 

"Pausar inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA m谩s potentes que GPT-4 ... Esta pausa debe ser p煤blica y verificable"

Los laboratorios de IA y los expertos independientes deber铆an aprovechar esta pausa para desarrollar e implementar conjuntamente un conjunto de protocolos de seguridad compartidos para el dise帽o y desarrollo avanzados de IA. Adem谩s, se debe trabajar con los legisladores para acelerar el desarrollo de sistemas s贸lidos de gobierno de IA. 

La humanidad puede disfrutar de un futuro floreciente con la IA, pero debe ser bien planificada y administrada.

Sin dudas, el mundo no ha tomado conciencia a煤n de los problemas para la humanidad de una inteligencia artificial exponencial como se viene recreando en estos meses, aqu铆 10 ideas para repensar el futuro de la humanidad: 

  1. Riesgos profundos para la sociedad y la humanidad, como se ha demostrado en investigaciones extensas y reconocido por los principales laboratorios de IA.
    • Riesgo existencial: la creaci贸n de sistemas de IA que sean capaces de superar a los humanos en t茅rminos de inteligencia general podr铆a llevar a la creaci贸n de una superinteligencia que podr铆a suponer una amenaza existencial para la humanidad.
    • Sesgo algor铆tmico: los algoritmos de IA pueden ser sesgados, ya sea intencional o involuntariamente, lo que podr铆a tener graves consecuencias en 谩reas como la justicia penal, la contrataci贸n y la publicidad.
    • P茅rdida de empleo: la automatizaci贸n de tareas y trabajos realizados por humanos podr铆a conducir a la p茅rdida de empleos y la exacerbaci贸n de la desigualdad econ贸mica.
    • Amenazas a la privacidad: la creciente capacidad de la IA para recopilar y analizar grandes cantidades de datos puede llevar a la exposici贸n de informaci贸n privada y a la vigilancia masiva.
    • Responsabilidad: la creciente complejidad de los sistemas de IA puede dificultar la identificaci贸n de responsabilidades cuando ocurren errores o da帽os.
  2. El nivel de planificaci贸n y gesti贸n necesarios para administrar la IA avanzada no est谩 ocurriendo, a pesar de que los laboratorios de IA est谩n desarrollando mentes digitales cada vez m谩s poderosas que nadie, ni siquiera sus creadores, pueden entender, predecir o controlar de forma fiable.
  3. Los sistemas de IA contempor谩neos se est谩n volviendo competitivos para los humanos en tareas generales, lo que plantea la pregunta de si deber铆amos dejar que las m谩quinas inunden nuestros canales de informaci贸n con propaganda y falsedad, automatizar todos los trabajos, desarrollar mentes no humanas que eventualmente podr铆an superarnos en n煤mero, ser m谩s inteligentes, obsoletas y reemplazarnos, y arriesgarnos a perder el control de nuestra civilizaci贸n.
  4. Las decisiones importantes sobre la IA no deben delegarse en l铆deres tecnol贸gicos no elegidos. La toma de decisiones sobre el uso y regulaci贸n de la IA debe involucrar a m煤ltiples partes interesadas, incluyendo a expertos en tecnolog铆a, l铆deres pol铆ticos, reguladores, grupos de defensa de los derechos civiles y otros miembros de la sociedad civil. Los l铆deres tecnol贸gicos y empresariales no deben tener el poder exclusivo de tomar decisiones que afecten a la sociedad en general. La IA tiene un impacto significativo en la vida de las personas y en la econom铆a global, por lo que es importante que las decisiones se tomen de manera transparente y democr谩tica.
  5. Los sistemas potentes de IA deben desarrollarse solo una vez que estemos seguros de que sus efectos ser谩n positivos y sus riesgos ser谩n manejables. Si bien la IA tiene el potencial de proporcionar enormes beneficios en diversas 谩reas, como la salud, la educaci贸n, la seguridad y la movilidad, tambi茅n presenta importantes riesgos, como la discriminaci贸n, la p茅rdida de empleos, la falta de transparencia y la falta de responsabilidad. Es importante que los expertos en IA, los l铆deres empresariales, los responsables pol铆ticos y la sociedad en general participen en un di谩logo abierto y continuo sobre los riesgos y beneficios potenciales de la IA. Debe haber un enfoque colaborativo y basado en la evidencia para el desarrollo y despliegue de sistemas de IA. Tambi茅n es importante involucrar a expertos en 茅tica, derechos humanos, privacidad y seguridad en el desarrollo y dise帽o de sistemas de IA.
  6. Los laboratorios de IA y los expertos independientes deben desarrollar conjuntamente un conjunto de protocolos de seguridad compartidos para el dise帽o y desarrollo avanzados de IA que sean rigurosamente auditados y supervisados ​​por expertos externos independientes.
  7. Los desarrolladores de IA deben trabajar con los legisladores para acelerar dr谩sticamente el desarrollo de sistemas s贸lidos de gobierno de IA, que incluyan autoridades reguladoras nuevas y capaces dedicadas a la IA, supervisi贸n y seguimiento de sistemas de IA de alta capacidad y grandes conjuntos de capacidad computacional, sistemas de procedencia y marcas de agua para ayudar a distinguir las fugas reales de las sint茅ticas y rastrear modelos, un s贸lido ecosistema de auditor铆a y certificaci贸n, responsabilidad por da帽os causados ​​por IA, financiaci贸n p煤blica s贸lida para la investigaci贸n t茅cnica de seguridad de la IA, e instituciones bien dotadas para hacer frente a las dram谩ticas perturbaciones econ贸micas y pol铆ticas que provocar谩 la IA.
  8. La sociedad debe hacer una pausa en la carrera peligrosa hacia modelos de caja negra impredecibles cada vez m谩s grandes con capacidades emergentes y reenfocarse en hacer que los sistemas potentes y de 煤ltima generaci贸n de hoy en d铆a sean m谩s precisos, seguros, interpretables, transparentes, robustos, alineados, confiables y leales.
  9. Los sistemas de IA pueden ser peligrosos si no se gestionan adecuadamente, ya que pueden llegar a ser "cajas negras impredecibles cada vez m谩s grandes con capacidades emergentes". Esto puede llevar a que los sistemas de IA adquieran sesgos y prejuicios que se reflejen en sus decisiones y acciones, lo que podr铆a perpetuar o incluso aumentar la discriminaci贸n y la desigualdad en la sociedad.
  10. Problema relacionado con el poder, los laboratorios de IA est谩n compitiendo en una carrera fuera de control para desarrollar mentes digitales cada vez m谩s poderosas que nadie, ni siquiera sus creadores, pueden entender, predecir o controlar de forma fiable. Esto sugiere que aquellos que tienen el poder y los recursos para desarrollar y utilizar estas tecnolog铆as avanzadas de IA podr铆an tener una ventaja desproporcionada sobre aquellos que no tienen acceso a ellas, lo que podr铆a agravar las desigualdades sociales y econ贸micas existentes. Adem谩s, los sistemas de IA poderosos podr铆an ser utilizados por gobiernos, empresas y otros actores para ejercer control sobre la sociedad y las personas, lo que plantea preocupaciones sobre la privacidad y la libertad individual.


La carta abierta (Fuente Pausing Giant AI Experiments: An Open Letter"

Hacemos un llamado a todos los laboratorios de IA para que pausen inmediatamente durante al menos 6 meses el entrenamiento de los sistemas de IA m谩s potentes que GPT-4.

Los sistemas de IA con inteligencia humana-competitiva pueden plantear riesgos profundos para la sociedad y la humanidad, como lo demuestra una extensa investigaci贸n [1] y reconocido por los principales laboratorios de IA. [2] Como se establece en los Principios de IA de Asilomar ampliamente respaldados la IA avanzada podr铆a representar un cambio profundo en la historia de la vida en la Tierra, y debe planificarse y administrarse con el cuidado y los recursos correspondientes . Desafortunadamente, este nivel de planificaci贸n y gesti贸n no est谩 ocurriendo, a pesar de que en los 煤ltimos meses los laboratorios de IA han entrado en una carrera fuera de control para desarrollar e implementar mentes digitales cada vez m谩s poderosas que nadie, ni siquiera sus creadores, pueden entender. predecir o controlar de forma fiable.

Los sistemas de IA contempor谩neos ahora se est谩n volviendo competitivos para los humanos en tareas generales, [3] y debemos preguntarnos: ¿Deber铆amos dejar que las m谩quinas inunden nuestros canales de informaci贸n con propaganda y falsedad? ¿Deber铆amos automatizar todos los trabajos, incluidos los de cumplimiento? ¿Deber铆amos  desarrollar mentes no humanas que eventualmente podr铆an superarnos en n煤mero, ser m谩s inteligentes, obsoletas y reemplazarnos? ¿ Deber铆amos arriesgarnos a perder el control de nuestra civilizaci贸n? Tales decisiones no deben delegarse en l铆deres tecnol贸gicos no elegidos. Los sistemas potentes de IA deben desarrollarse solo una vez que estemos seguros de que sus efectos ser谩n positivos y sus riesgos ser谩n manejables.Esta confianza debe estar bien justificada y aumentar con la magnitud de los efectos potenciales de un sistema. La declaraci贸n reciente de OpenAI con respecto a la inteligencia general artificial establece que "En alg煤n momento, puede ser importante obtener una revisi贸n independiente antes de comenzar a entrenar sistemas futuros, y para los esfuerzos m谩s avanzados para acordar limitar la tasa de crecimiento de la computaci贸n utilizada para crear nuevos modelos". Estamos de acuerdo. Ese punto es ahora.

Por lo tanto, hacemos un llamado a todos los laboratorios de IA para que pausen de inmediato durante al menos 6 meses el entrenamiento de los sistemas de IA m谩s potentes que GPT-4 . Esta pausa debe ser p煤blica y verificable, e incluir a todos los actores clave. Si tal pausa no se puede promulgar r谩pidamente, los gobiernos deber铆an intervenir e instituir una moratoria.

Los laboratorios de IA y los expertos independientes deber铆an aprovechar esta pausa para desarrollar e implementar conjuntamente un conjunto de protocolos de seguridad compartidos para el dise帽o y desarrollo avanzados de IA que son rigurosamente auditados y supervisados ​​por expertos externos independientes. Estos protocolos deben garantizar que los sistemas que se adhieren a ellos sean seguros m谩s all谩 de toda duda razonable. [4] Esto no significa una pausa en el desarrollo de la IA en general, simplemente un paso atr谩s de la carrera peligrosa hacia modelos de caja negra impredecibles cada vez m谩s grandes con capacidades emergentes.

La investigaci贸n y el desarrollo de IA deben reenfocarse en hacer que los sistemas potentes y de 煤ltima generaci贸n de hoy en d铆a sean m谩s precisos, seguros, interpretables, transparentes, robustos, alineados, confiables y leales.

Paralelamente, los desarrolladores de IA deben trabajar con los legisladores para acelerar dr谩sticamente el desarrollo de sistemas s贸lidos de gobierno de IA. Estos deben incluir como m铆nimo: autoridades reguladoras nuevas y capaces dedicadas a la IA; supervisi贸n y seguimiento de sistemas de IA de alta capacidad y grandes conjuntos de capacidad computacional; sistemas de procedencia y marcas de agua para ayudar a distinguir las fugas reales de las sint茅ticas y rastrear modelos; un s贸lido ecosistema de auditor铆a y certificaci贸n; responsabilidad por da帽os causados ​​por IA; financiaci贸n p煤blica s贸lida para la investigaci贸n t茅cnica de seguridad de la IA; e instituciones bien dotadas para hacer frente a las dram谩ticas perturbaciones econ贸micas y pol铆ticas (especialmente en la democracia) que provocar谩 la IA.

La humanidad puede disfrutar de un futuro floreciente con la IA. Habiendo tenido 茅xito en la creaci贸n de poderosos sistemas de IA, ahora podemos disfrutar de un "verano de IA" en el que cosechamos las recompensas, dise帽amos estos sistemas para el claro beneficio de todos y le damos a la sociedad la oportunidad de adaptarse. La sociedad ha hecho una pausa en otras tecnolog铆as con efectos potencialmente catastr贸ficos en la sociedad. [5]   Podemos hacerlo aqu铆. Disfrutemos de un largo verano de IA, no nos apresuremos a caer sin estar preparados.

[1]

Bender, EM, Gebru, T., McMillan-Major, A. y Shmitchell, S. (marzo de 2021). Sobre los peligros de los loros estoc谩sticos: ¿Pueden los modelos de lenguaje ser demasiado grandes?馃. En Actas de la conferencia ACM de 2021 sobre equidad, responsabilidad y transparencia (p谩gs. 610-623).

Bostrom, N. (2016). Superinteligencia. Prensa de la Universidad de Oxford.

Bucknall, BS y Dori-Hacohen, S. (julio de 2022). La IA actual y a corto plazo como posible factor de riesgo existencial. En  Actas de la Conferencia AAAI/ACM de 2022 sobre IA, 脡tica y Sociedad (p谩gs. 119-129).

Carlsmith, J. (2022). ¿Es la IA que busca poder un riesgo existencial? preimpresi贸n de arXiv arXiv:2206.13353.

Cristiano, B. (2020). El problema de la alineaci贸n: aprendizaje autom谩tico y valores humanos. Norton y Compa帽铆a.

Cohen, M. et al. (2022). Agentes artificiales avanzados intervienen en la provisi贸n de la recompensa.  Revista AI ,  43 (3) (p谩gs. 282-293).

Eloundou, T., et al. (2023). Los GPT son GPT: una mirada temprana al potencial de impacto en el mercado laboral de los modelos de lenguaje grande.

Hendrycks, D. y Mazeika, M. (2022). An谩lisis de riesgo X para la investigaci贸n de IA . preimpresi贸n de arXiv arXiv:2206.05862.

Ngo, R. (2022). El problema de la alineaci贸n desde una perspectiva de aprendizaje profundo. preimpresi贸n de arXiv arXiv:2209.00626.

Russell, S. (2019). Compatible con humanos: inteligencia artificial y el problema del control. Vikingo.

Tegmark, M. (2017). Life 3.0: Ser Humano en la Era de la Inteligencia Artificial. Knopf.

Weidinger, L. y otros (2021). Riesgos 茅ticos y sociales de da帽o de los modelos ling眉铆sticos. preimpresi贸n de arXiv arXiv:2112.04359.

[3]

Bubeck, S. et al. (2023). Chispas de inteligencia artificial general: primeros experimentos con GPT-4 . arXiv:2303.12712.

IA abierta (2023). Informe t茅cnico GPT-4 . arXiv:2303.08774.

[4]

Existe un amplio precedente legal; por ejemplo, los Principios de IA de la OCDE, ampliamente adoptados , exigen que los sistemas de IA "funcionen adecuadamente y no planteen un riesgo de seguridad irrazonable".

[5]

Los ejemplos incluyen la clonaci贸n humana, la modificaci贸n de la l铆nea germinal humana, la investigaci贸n de ganancia de funci贸n y la eugenesia.


Principios de IA 2017 (Fuente AI Principles)

Estos principios se desarrollaron en conjunto con la conferencia Asilomar 2017 ( videos aqu铆 ), a trav茅s del proceso descrito aqu铆 .

La inteligencia artificial ya ha proporcionado herramientas beneficiosas que personas de todo el mundo utilizan todos los d铆as. Su desarrollo continuo, guiado por los siguientes principios, ofrecer谩 incre铆bles oportunidades para ayudar y empoderar a las personas en las pr贸ximas d茅cadas y siglos.

Problemas de investigaci贸n

1) Objetivo de la investigaci贸n: el objetivo de la investigaci贸n de la IA no debe ser crear inteligencia no dirigida, sino inteligencia beneficiosa.

2) Financiaci贸n de la investigaci贸n: las inversiones en IA deben ir acompa帽adas de financiaci贸n de la investigaci贸n para garantizar su uso beneficioso, incluidas cuestiones espinosas en inform谩tica, econom铆a, derecho, 茅tica y estudios sociales, como:

  • ¿C贸mo podemos hacer que los futuros sistemas de IA sean muy robustos, para que hagan lo que queremos sin fallar o ser pirateados?
  • ¿C贸mo podemos hacer crecer nuestra prosperidad a trav茅s de la automatizaci贸n mientras mantenemos los recursos y el prop贸sito de las personas?
  • ¿C贸mo podemos actualizar nuestros sistemas legales para que sean m谩s justos y eficientes, para mantener el ritmo de la IA y para gestionar los riesgos asociados con la IA?
  • ¿Con qu茅 conjunto de valores debe alinearse la IA y qu茅 estatus legal y 茅tico debe tener?

3) V铆nculo ciencia-pol铆tica: debe haber un intercambio constructivo y saludable entre los investigadores de IA y los responsables pol铆ticos.

4) Cultura de investigaci贸n: se debe fomentar una cultura de cooperaci贸n, confianza y transparencia entre los investigadores y desarrolladores de IA.

5) Prevenci贸n de carreras: los equipos que desarrollan sistemas de IA deben cooperar activamente para evitar tomar atajos en los est谩ndares de seguridad.

脡tica y valores

6) Seguridad: los sistemas de IA deben ser seguros y protegidos durante toda su vida operativa, y de manera verificable cuando sea aplicable y factible.

7) Transparencia de fallas: si un sistema de IA causa da帽o, deber铆a ser posible determinar por qu茅.

8) Transparencia Judicial: Cualquier intervenci贸n de un sistema aut贸nomo en la toma de decisiones judiciales debe brindar una explicaci贸n satisfactoria auditable por una autoridad humana competente.

9) Responsabilidad: los dise帽adores y constructores de sistemas avanzados de IA son partes interesadas en las implicaciones morales de su uso, mal uso y acciones, con la responsabilidad y la oportunidad de dar forma a esas implicaciones.

10) Alineaci贸n de valores: los sistemas de IA altamente aut贸nomos deben dise帽arse de modo que se pueda garantizar que sus objetivos y comportamientos se alineen con los valores humanos a lo largo de su operaci贸n.

11) Valores humanos: los sistemas de IA deben dise帽arse y operarse de modo que sean compatibles con los ideales de dignidad humana, derechos, libertades y diversidad cultural.

12) Privacidad personal: las personas deben tener derecho a acceder, administrar y controlar los datos que generan, dado el poder de los sistemas de inteligencia artificial para analizar y utilizar esos datos.

13) Libertad y privacidad: la aplicaci贸n de la IA a los datos personales no debe restringir injustificadamente la libertad real o percibida de las personas.

14)  Beneficio compartido: las tecnolog铆as de IA deber铆an beneficiar y empoderar a tantas personas como sea posible.

15) Prosperidad compartida: la prosperidad econ贸mica creada por la IA debe compartirse ampliamente para beneficiar a toda la humanidad.

16)  Control humano: los humanos deben elegir c贸mo y si delegar decisiones a los sistemas de IA para lograr los objetivos elegidos por los humanos.

17) No subversi贸n: El poder conferido por el control de sistemas de IA altamente avanzados deber铆a respetar y mejorar, en lugar de subvertir, los procesos sociales y c铆vicos de los que depende la salud de la sociedad.

18) Carrera armamentista de IA: se debe evitar una carrera armamentista en armas letales aut贸nomas.

Problemas a m谩s largo plazo

19) Precauci贸n de capacidad: al no haber consenso, debemos evitar suposiciones fuertes con respecto a los l铆mites superiores de las futuras capacidades de IA.

20) Importancia: la IA avanzada podr铆a representar un cambio profundo en la historia de la vida en la Tierra, y debe planificarse y gestionarse con el cuidado y los recursos correspondientes.

21) Riesgos: Los riesgos que plantean los sistemas de IA, especialmente los riesgos catastr贸ficos o existenciales, deben estar sujetos a esfuerzos de planificaci贸n y mitigaci贸n acordes con su impacto esperado.

22) Automejora recursiva: los sistemas de IA dise帽ados para automejorarse o autorreplicarse recursivamente de una manera que podr铆a conducir a un r谩pido aumento de la calidad o la cantidad deben estar sujetos a estrictas medidas de seguridad y control.

23) Bien com煤n: la superinteligencia solo debe desarrollarse al servicio de ideales 茅ticos ampliamente compartidos y para el beneficio de toda la humanidad en lugar de un solo estado u organizaci贸n.



¿Seguimos conversando en nuestras comunidades?

 La comunidad alcanza a +9.700 personas con este newsletter 馃殌 Muchos se suscriben desde Linkedin (+3.200), otros por Newsletter (+6.500) y muchos m谩s desde mi Blog. Gracias, gracias y gracias por estar cerca y seguir transformando este mundo para un futuro mejor.

☕ ¿饾悓饾悶 饾悽饾惂饾惎饾悽饾惌饾悮饾惉 饾惍饾惂 饾悳饾悮饾悷饾悶́? ¡Ay煤dame a ayudarte, para crear contenidos m谩s despiertos! Comunidad de seguidores, mentores y patrocinador de nuestros contenidos para compartir, aprender e inspirar a otros a seguir transformando un mundo para un futuro mejor. | ☕Cafecito | 馃イCoffee | 馃挷Paypal 馃殌

馃殌 Si te interesa seguir aprendiendo, compartiendo e inspirando para tu crecimiento personal: 馃挭 Coaching/Mentoring馃摎 Libros y Papers馃摵 Videos馃帶 Podcast y 馃寧 mucho m谩s

馃敟 饾悕饾悶饾惏饾惉饾惀饾悶饾惌饾惌饾悶饾惈 #饾悓饾悮饾惈饾惌饾悶饾惉饾悅饾悗饾悁饾悅饾悋 馃殌 Con lo mejor de mis contenidos, entrevistas y muchos m谩s de las comunidades donde participo... ¿Me ayudas con tu suscripci贸n? 馃搶 https://www.oscarschmitz.com/recursos/newsletter

馃摵 S煤mate a nuestra 饾悅饾惃饾惁饾惍饾惂饾悽饾悵饾悮饾悵 饾悩饾惃饾惍饾惌饾惍饾悰饾悶 "CXO Communtiy" 馃帣️ Con las mejores entrevistas, encuentros y contenidos sobre innovaci贸n de los negocios, coaching ejecutivo y tecnolog铆as disruptivas 馃搶 Canal Youtube https://www.youtube.com/cxocommunity

馃殌 Forma parte de nuestra 饾悅饾惃饾惁饾惍饾惂饾悽饾悵饾悮饾悵 饾悑饾悽饾惂饾悿饾悶饾悵饾悽饾惂 "CXO Communtiy | Aprender, Compartir e Inspirar | Prop贸sito Extraordinario" 馃憗️ Donde compartimos ideas para transformar el mundo en un futuro mejor 馃搶 Grupo Linkedin https://www.linkedin.com/groups/128190/

馃懢 Dise帽ando 饾悅饾惃饾惁饾惍饾惂饾悽饾悵饾悮饾悵 饾悆饾悽饾惉饾悳饾惃饾惈饾悵 (EN DISE脩O) m谩s colaborativa, automatizada y m谩s humana, "CXO Communtiy | Aprender, Compartir e Inspirar | Prop贸sito Extraordinario" 馃憗️ Donde compartimos ideas para transformar el mundo en un futuro mejor 馃搶 Grupo Discord https://discord.gg/mr9GS2pqz5


No hay comentarios.

Im谩genes del tema de Deejpilot. Con tecnolog铆a de Blogger.