Premio Loebner

El Premio Loebner era un concurso anual de inteligencia artificial que otorga premios a los programas informáticos considerados por los jueces como los más parecidos a los humanos. Se informa que el premio no existe desde 2020. El formato de la competencia fue el de una prueba de Turing estándar. En cada ronda, un juez humano mantiene simultáneamente conversaciones textuales con un programa de computadora y un ser humano a través de una computadora. Con base en las respuestas, el juez debe decidir cuál es cuál.

El concurso fue lanzado en 1990 por Hugh Loebner en conjunto con el Cambridge Center for Behavioral Studies, Massachusetts, Estados Unidos. Desde 2014 lo organiza la AISB en Bletchley Park. También se ha asociado con la Universidad de Flinders, el Dartmouth College, el Museo de Ciencias de Londres, la Universidad de Reading y la Universidad de Ulster, Magee Campus, Derry, Ciudad de la Cultura del Reino Unido. En 2004 y 2005, se llevó a cabo en el apartamento de Loebner en la ciudad de Nueva York. Dentro del campo de la inteligencia artificial, el Premio Loebner es algo controvertido; el crítico más destacado, Marvin Minsky, lo calificó como un truco publicitario que no ayuda al campo.

En 2019 cambió el formato de la competición. No hubo panel de jueces. En cambio, los chatbots fueron juzgados por el público y no habría competidores humanos.

Premios

Originalmente, se otorgaron $2000 al programa con la apariencia más humana de la competencia. El premio fue de $3,000 en 2005 y $2,250 en 2006. En 2008, se otorgaron $3,000.

Además, hay dos premios únicos que nunca se han entregado. Se ofrecen $25,000 por el primer programa que los jueces no puedan distinguir de un humano real y que pueda convencer a los jueces de que el humano es el programa de computadora. $ 100,000 es la recompensa por el primer programa que los jueces no pueden distinguir de un ser humano real en una prueba de Turing que incluye descifrar y comprender entradas de texto, visuales y auditivas. Una vez que esto se logre, la competencia anual terminará.

Reglas y restricciones de la competencia

Las reglas han variado a lo largo de los años y las primeras competiciones presentaban pruebas de Turing de conversación restringidas, pero desde 1995 la discusión no ha tenido restricciones.

Para las tres entradas en 2007, Robert Medeksza, Noah Duncan y Rollo Carpenter, algunas "preguntas de evaluación" fueron utilizados por el patrocinador para evaluar el estado de la tecnología. Estos incluían preguntas simples sobre el tiempo, en qué ronda del concurso es, etc.; conocimientos generales ("¿Para qué sirve un martillo?"); comparaciones ("¿Qué es más rápido, un tren o un avión?"); y preguntas que demuestran la memoria de partes anteriores de la misma conversación. "Todos los sustantivos, adjetivos y verbos provendrán de un diccionario adecuado para niños o adolescentes menores de 12 años." Las entradas no necesitaban responder "inteligentemente" a las preguntas para ser aceptado.

Por primera vez en 2008, el patrocinador permitió la introducción de una fase preliminar en el concurso, lo que abrió el concurso a participaciones web previamente rechazadas y juzgadas por una variedad de interrogadores invitados. Las reglas disponibles no establecen cómo se seleccionan o instruyen los interrogadores. Los interrogadores (que juzgan los sistemas) tienen un tiempo limitado: 5 minutos por entidad en la competencia de 2003, más de 20 por pareja en las competencias de 2004 a 2007, 5 minutos para realizar conversaciones simultáneas con un humano y el programa en 2008-2009, aumentó a 25 minutos de conversación simultánea desde 2010.

Críticas

El premio ha sido despreciado durante mucho tiempo por expertos en el campo, por una variedad de razones.

Muchos lo consideran un truco publicitario. Marvin Minsky ofreció mordazmente un 'premio' a cualquiera que pudiera detener la competencia. Loebner respondió bromeando diciendo que el hecho de que Minsky ofreciera un premio para detener la competencia lo convertía efectivamente en copatrocinador.

Las reglas de la competencia han alentado a los jueces poco calificados a emitir juicios rápidos. Las interacciones entre los jueces y los competidores fueron originalmente muy breves, por ejemplo, efectivamente 2,5 minutos de interrogatorio, lo que permitió solo unas pocas preguntas. Inicialmente, las preguntas se restringieron a "conversaciones caprichosas", un dominio que se adapta a los trucos estándar de los chatbots.

Los participantes de la competencia no tienen como objetivo la comprensión o la inteligencia, sino que recurren a los trucos básicos del estilo ELIZA, y los participantes exitosos encuentran que el engaño y la simulación son recompensados.

Concursos

2006

En 2006, el concurso fue organizado por Tim Child (CEO de Televirtual) y Huma Shah. El 30 de agosto se anunciaron los cuatro finalistas:

• Rollo Carpenter
• Richard Churchill y Marie-Claire Jenkins
• Noah Duncan
• Robert Medeksza

El concurso se llevó a cabo el 17 de septiembre en el teatro VR, campus de Torrington Place del University College London. Entre los jueces se encontraban el profesor de cibernética de la Universidad de Reading, Kevin Warwick, el profesor de inteligencia artificial, John Barnden (especialista en investigación de metáforas de la Universidad de Birmingham), la abogada, Victoria Butler-Cole y el periodista, Graham Duncan. -Rowe. La experiencia de este último sobre el evento se puede encontrar en un artículo en Technology Review. La ganadora fue 'Joan', basada en Jabberwacky, ambas creadas por Rollo Carpenter.

2007

La competencia de 2007 se llevó a cabo el 21 de octubre en la ciudad de Nueva York. Los jueces fueron: el profesor de informática Russ Abbott, el profesor de filosofía Hartry Field, el profesor asistente de psicología Clayton Curtis y el profesor de inglés Scott Hutchins.

Ningún bot pasó la prueba de Turing, pero los jueces clasificaron a los tres concursantes de la siguiente manera:

• 1a: Robert Medeksza, creador de Ultra Hal
• 2a: Noah Duncan, una entrada privada, creador de Cletus
• 3a: Rollo Carpenter de Icogno, creador de Jabberwacky

El ganador recibió $2250 y la medalla anual. Los finalistas recibieron $250 cada uno.

2008

La competencia de 2008 fue organizada por el profesor Kevin Warwick, coordinada por Huma Shah y se llevó a cabo el 12 de octubre en la Universidad de Reading, Reino Unido. Después de las pruebas de más de cien jueces durante la fase preliminar, en junio y julio de 2008, se seleccionaron seis finalistas entre trece entidades conversacionales artificiales (ACE) participantes originales. Cinco de los invitados compitieron en la final:

• Hermano Jerome, Peter Cole y Benji Adams
• Elbot, Fred Roberts / Soluciones artificiales
• Eugene Goostman, Vladimir Veselov, Eugene Demchenko y Sergey Ulasen
• Jabberwacky, Rollo Carpenter
• Ultra Hal, Robert Medeksza

En la final, cada uno de los jueces disponía de cinco minutos para mantener conversaciones simultáneas en pantalla dividida con dos entidades ocultas. Elbot de Soluciones Artificiales ganó el premio de bronce del Premio Loebner 2008, a la entidad conversacional artificial más parecida a un humano, al engañar a tres de los doce jueces que la interrogaron (en las comparaciones paralelas humanas) haciéndoles creer que era humano. Esto se acerca mucho al 30% que tradicionalmente se requiere para considerar que un programa realmente ha pasado la prueba de Turing. Eugene Goostman y Ultra Hal engañaron a un juez cada uno de que era el humano.

Will Pavia, periodista de The Times, ha escrito sobre su experiencia; una final de Loebner' juez, fue engañado por Elbot y Eugene. Kevin Warwick y Huma Shah han informado sobre las pruebas de Turing en pares paralelos.

2009

El Concurso del Premio Loebner 2009 se llevó a cabo el 6 de septiembre de 2009 en el Brighton Centre, Brighton, Reino Unido, junto con la conferencia Interspeech 2009. El monto del premio para 2009 fue de $ 3,000.

Los participantes fueron David Levy, Rollo Carpenter y Mohan Embar, quienes terminaron en ese orden.

El escritor Brian Christian participó en el Concurso del Premio Loebner de 2009 como cómplice humano y describió sus experiencias en el concurso en su libro The Most Human Human.

2010

El Concurso del Premio Loebner 2010 se llevó a cabo el 23 de octubre en la Universidad Estatal de California, Los Ángeles. La competencia de 2010 fue la vigésima edición del concurso. El ganador fue Bruce Wilcox con Suzette.

2011

El Concurso del Premio Loebner 2011 se llevó a cabo el 19 de octubre en la Universidad de Exeter, Devon, Reino Unido. El monto del premio para 2011 fue de $ 4,000.

Los cuatro finalistas y sus chatterbots fueron Bruce Wilcox (Rosette), Adeena Mignogna (Zoe), Mohan Embar (Chip Vivant) y Ron Lee (Tutor), quienes terminaron en ese orden.

Ese año se incorporó un panel de jueces junior, a saber, Georgia-Mae Lindfield, William Dunne, Sam Keat y Kirill Jerdev. Los resultados del concurso junior fueron marcadamente diferentes a los del concurso principal, con los chatterbots Tutor y Zoe empatados en el primer lugar y Chip Vivant y Rosette en tercer y cuarto lugar, respectivamente.

2012

El Concurso del Premio Loebner 2012 se llevó a cabo el 15 de mayo en Bletchley Park en Bletchley, Buckinghamshire, Inglaterra, en honor a las celebraciones del centenario de Alan Turing. El monto del premio para 2012 fue de $ 5,000. El organizador de los arreglos locales fue David Levy, quien ganó el Premio Loebner en 1997 y 2009.

Los cuatro finalistas y sus chatterbots fueron Mohan Embar (Chip Vivant), Bruce Wilcox (Angela), Daniel Burke (Adam), M. Allan (Linguo), quienes terminaron en ese orden.

Ese año, un equipo del departamento de informática de la Universidad de Exeter (Ed Keedwell, Max Dupenois y Kent McClymont) realizó la primera transmisión web en vivo de las conversaciones.

2013

La competencia del Premio Loebner 2013 se llevó a cabo, por única vez en la isla de Irlanda, el 14 de septiembre en la Universidad de Ulster, Magee College, Derry, Irlanda del Norte, Reino Unido.

Los cuatro finalistas y sus chatbots fueron Steve Worswick (Mitsuku), Dr. Ron C. Lee (Tutor), Bruce Wilcox (Rose) y Brian Rigsby (Izar), quienes terminaron en ese orden.

Los jueces fueron el profesor Roger Schank (Artes socráticas), el profesor Noel Sharkey (Universidad de Sheffield), el profesor Minhua (Eunice) Ma (Universidad de Huddersfield, entonces Universidad de Glasgow) y el profesor Mike McTear (Universidad de Ulster).

Para el Concurso del Premio Junior Loebner 2013, los chatbots Mitsuku y Tutor empataron en el primer lugar con Rose e Izar en el 3er y 4to lugar respectivamente.

2014

La competencia del Premio Loebner 2014 se llevó a cabo en Bletchley Park, Inglaterra, el sábado 15 de noviembre de 2014. El evento fue filmado en vivo por Sky News. El juez invitado fue el presentador de televisión y locutor James May.

Después de 2 horas de evaluación, 'Rose' de Bruce Wilcox fue declarado ganador. Bruce recibirá un cheque por $4000 y una medalla de bronce. Los rangos fueron los siguientes:

Rose: rango 1 ($4000 y medalla de bronce); Izar - Rango 2.25 ($1500); Uberbot - Rango 3.25 ($1000); y Mitsuku - Rango 3.5 ($500).

Los jueces fueron el Dr. Ian Hocking, escritor & Profesor Titular de Psicología, Christ Church College, Canterbury; Dra. Ghita Kouadri-Mostefaoui, profesora de informática y tecnología de la Universidad de Bedfordshire; Sr. James May, presentador de televisión y locutor; y Dr. Paul Sant, Decano de UCMK, Universidad de Bedfordshire.

2015

El Concurso del Premio Loebner 2015 fue nuevamente ganado por 'Rose' por Bruce Wilcox.

Los jueces fueron Jacob Aaron, reportero de ciencias físicas de New Scientist; Rory Cellan-Jones, corresponsal de Tecnología de la BBC; Brett Marty, director de cine y fotógrafo; Ariadne Tampion, escritora.

2016

El Premio Loebner 2016 se llevó a cabo en Bletchley Park el 17 de septiembre de 2016. Después de 2 horas de evaluación, se anunciaron los resultados finales. Los rangos fueron los siguientes:

• Primer lugar: Mitsuku
• Segundo lugar: Tutor
• Tercer lugar: Rose

Ganadores

Lista oficial de ganadores.