Could GPT-4 pass the Turing Test?/¿Podría pasar GPT-4 el Test de Turing?

in #science2 years ago


Source

As you all know, Alan Turing was a genius born in London in 1912, a mathematician, theoretical computer scientist, cryptographer, philosopher and theoretical biologist is considered by many to be the father of computing and best known to all for having hacked the Enigma machine that used by the Germans in the Second War to encrypt their communications.

Como todos sabéis, Alan Turing fue un genio nacido en Londres en el año 1912, matemático, informático teórico, criptógrafo, filósofo y biólogo teórico es considerado por muchos como el padre de la computación y más conocido por todos por haber jaqueado la máquina Enigma que utilizaban los alemanes en la segunda guerra para codificar sus comunicaciones.

Turing was the first person to seriously consider whether machines could one day think and designed the so-called "Turing Test", roughly speaking the test consists of a person talking to a computer, if the human is unable to distinguish whether he is speaking with a computer or with a person, the machine will have passed the test.

Turing fue la primera persona en plantearse seriamente si las máquinas podrían algún día llegar a pensar y diseñó el llamado "Test de Turing", grosso modo la prueba consiste en una persona hablando con una computadora, si el humano es incapaz de distinguir si está hablando con una computadora o con una persona, la máquina habrá superado el test.


Source

After all the commotion caused by chatGPT and its counterparts such as Bard, it seems logical to ask if these language treatment models would be able to pass the Touring test, fortunately or unfortunately, according to the latest studies carried out, it seems that they have not yet passed it and that are still far from achieving it.

Tras todo el revuelo provocado por chatGPT y sus homólogos como Bard parece lógico preguntarse si estos modelos de tratamiento de leguaje serían capaces de superar el test de Touring, por suerte o por desgracia según los últimos estudios realizados parece ser que todavía no lo han superado y que aún están lejos de lograrlo.

For the tests, twenty-five different language models were prepared based on various versions of GPT, including up to GPT-4, with which they conversed with an interface similar to that of a mobile messaging app, to which small variations were introduced. random in terms of delays, spelling errors, upper/lower case, etc.

Para las pruebas se prepararon veinticinco modelos de lenguaje distintos basados en diversas versiones de GPT, incluyendo hasta GPT-4, con los que se conversó con una interfaz similar a la de una app de mensajería en el móvil a los que se introdujeron pequeñas variaciones aleatorias en cuanto a retardos, fallos de ortografía, mayúsculas/minúsculas, etcétera.

image.png
Source

The test consisted of talking through the application for a maximum of five minutes using messages of no more than 300 characters, then each player had to decide whether they were talking to a human or an artificial intelligence. The test was carried out by 652 people who completed 1,810 tests.

El test consistía en hablar a través de la aplicación durante un máximo de cinco minutos utilizando mensajes de no más de 300 caracteres, posteriormente cada jugador debería decidir si estaba hablando con una humano o con una inteligencia artificial. La prueba fue realizada por 652 personas que completaron 1.810 pruebas.

Once the tests were completed, the result was that models like GPT-3.5 only reach 14%, however the GPT-4 version already reaches 41%, which is still far from achieving it, but the progress from version 3.5 to 4 in just over a year is really significant.
If we take into account that artificial intelligence a decade ago was truly unknown, I fear that version 5 or 6 of GPT will end up passing the Touring test.

Finalizados los test el resultado fue que modelos como GPT-3.5 sólo llegan al 14%, sin embargo la versión GPT-4 ya alcanza el 41% que aún está lejos de conseguirlo pero el avance de la versión 3.5 a la 4 en poco mas de un año es realmente significativa.
Si tenemos en cuenta que la inteligencia artificial hace una década era una auténtica desconocida me temo que la versión 5 o 6 de GPT acabará pasando el test de Touring.

More information/Más información
https://www.reemanrobot.com/news/gpt-4-fails-the-turing-test-challenges-remain-72307725.html#:~:text=%22We%20found%20no%20evidence%20that,test%2C%22%20the%20researchers%20concluded.

https://arxiv.org/abs/2310.20216

https://www.microsiervos.com/archivo/ia/gpt4-test-turing-41-por-ciento-pruebas-humanos.html