Experiencia de usuario y captchas, explorando la semiótica visual

Cabezas Mena, Víctor
Sabaté Mojica, Andrea
Vendrell Villafruela, Albert
Marcos, Mari-Carmen

Resumen: Los captchas son una de las pruebas de Turing más utilizadas en seguridad web para evitar el spam . En este artículo se evalúan la eficacia y la percepción de facilidad en la resolución de varios tipos de captchas: re-captchas y captchas basado en las imágenes, y entre éstos uno de ellos que apela a la semiótica para su resolución. 50 usuarios han sido expuestos a 10 captchas a través de UserZoom, una herramienta para pruebas en remoto; por medio de un cuestionario se ha recogido su percepción de facilidad de resolución para estos captchas antes de intentar resolverlos y una vez realizados, y su experiencia con los captchas en general. Se ha medido la eficiencia con la que se han resuelto, y la percepción de los usuarios en cuanto a su facilidad para ser resueltos. Los resultados muestran que los re-captchas (los más comunes) son menos eficaces que los basados en imágenes aunque se perciben como más fáciles de resolver, y que el captcha que incorpora aspectos semióticos obtiene la mayor ratio de eficacia.

1. Introducción

Los captchas (acrónimo de Completely Automated Public Turing test to tell Computers and Humans Apart) son unos "puzzles" que los webmasters incluyen en su sitio web para asegurarse de que los visitantes que quieren interactuar con el contenido son personas, y no robots spam que tratan de registrarse en el sitio web, incluir comentarios en blogs, etc. Estos "puzzles" consisten en pruebas que requieren inteligencia humana, es decir, pruebas que las personas podemos resolver mejor que los robots. Los creadores de captchas han ideado multitud de formas para estos acertijos; los más conocidos son los llamados re-captchas, que muestran una serie de letras y/o números distorsionados y piden al usuario que los teclee; otros implican la lógica humana, por ejemplo para resolver operaciones; y otros más nuevos proponen un juego de reconocimiento de imagen (Bushell; 2011) (Castro; s.f.).

Tal como fueron concebidos, los captchas benefician al propietario de un sitio web porque filtran los no deseables robots spammers, y de paso pueden proporcionar mayor percepción de seguridad al usuario. Pero cuando las tareas que el captcha propone al usuario superan cierto nivel de complejidad, la experiencia de usuario puede resultar frustrante e irritante, y poner al usuario en contra del sitio web, que frena sus acciones al mostrarle un problema que no estaba previsto en su proceso de navegación.

El estudio de Bursztein et al. (2010) ofrece evidencias de la pobre experiencia de usuario que proporcionan los captchas. Estos investigadores pusieron a prueba 318.000 captchas de 21 tipos (13 tipos estaban basados en textos, números o imágenes, y 8 en audio). A través de la plataforma Amazon Mechanical Turk contaron con al menos 3 personas para resolver cada captcha. Los resultados ponen de manifiesto que efectivamente resolver captchas es a menudo una tarea compleja, y especialmente los captchas de audio; además, las personas que no son hablantes nativos tienen más dificultad para resolver captchas basados en este idioma.

Las razones por las que los participantes abandonan o no obtienen una buena experiencia de usuario respecto a los captchas pueden ser diversas:

• Los usuarios no siempre entienden qué acción se debe acometer
• Les resulta difícil o imposible visualizar el captcha, como en el caso de los re-captchas, que proponen al usuario que transcriba una serie de letras y/o números, y en ocasiones están tan distorsionados que es muy complicado
• A menudo desconocen su utilidad

Ante estas dificultades, la probabilidad de abandono de la página web aumenta, con la consecuente pérdida de participantes, clientes y ventas, afectando negativamente al sitio web y su negocio.

Por otro lado, la supuesta seguridad que proporcionan se ha puesto muchas veces en entredicho. Sin ir más lejos, en octubre de 2013 la prensa hacía referencia a la creación de un software que había conseguido engañar a una serie de captchas con un porcentaje de acierto del 90% [i].

Los constantes problemas que plantea la resolución de los captchas por gran parte de los internautas, unido a que cada vez son más los spambots capaces de descifrarlos, nos lleva a plantear un estudio que tiene como objetivo detectar qué tipos de captchas pueden lograr ese equilibrio entre facilidad de resolución para los usuarios y seguridad para los propietarios de los sitios web. La hipótesis inicial es que los captchas basados en imágenes son más eficaces que otros más habituales que consisten en transcribir letras y/o números poco legibles y distorsionados. Partiendo de este punto, se ha seleccionado una muestra de captchas que incluye los dos tipos mencionados, y dentro de los captchas de imágenes se han incorporado algunos de creación propia que creemos que pueden ser eficaces y al mismo tiempo proporcionar una experiencia de usuario satisfactoria. Entre ellos, se observará si la incorporación de semiótica visual (Peirce; 1991) puede ser un factor de interés para explorar en el futuro en la creación de captchas.

2. Metodología

2.1. Participantes

A partir de contactos personales y profesionales, se envió una invitación en la que se pedían tan solo dos requisitos para participar: ser un usuario medio o avanzado de Internet, y saber qué es un captcha. Se reclutaron 50 voluntarios que cumplían dichos requisitos.

2.2. Captchas

Para seleccionar una muestra de captchas se revisaron numerosos sitios web para tratar de contar con una amplia variedad de tipos de sistemas visuales (figura 1):

a) Re-captchas. Se consultaron diversos sitios web de noticias y de e-commerce y se detectó que este tipo de sistema es muy recurrente, sobre todo los que piden que se transcriban letras (1) y números (2), y se añadió también el de una empresa que ha hecho una adaptación de este tipo de captchas (4).

b) Captchas de cálculo (7).

c) Captchas formulados a través de imágenes en los que se trata de diferenciar y elementos entre varias imágenes (3 [ii], 5, 6 se tomaron de captchas existentes; 9 y 10 fueron de creación propia).

d) Captchas que implican una interpretación más allá de los objetos visibles en la imagen, a lo que hemos llamado "captcha semiótico" (8).

Figura 1. Captchas seleccionados para el experimento

2.3. Diseño experimental

El diseño de la prueba de usuarios consistió en varias partes:

1. Cuestionario sobre el perfil de los usuarios
2. Pregunta sobre la percepción de facilidad para la resolución de captchas
3. Tareas de resolución de los 10 captchas
4. Pregunta sobre la percepción de facilidad para la resolución de captchas
5. Cuestionario sobre la opinión con respecto al uso de captchas

Para la recogida de datos se utilizó el programa de testeo remoto UserZoom (UserZoom; 2011). El cuestionario para recoger datos del perfil contaba con preguntas relativas a la edad, el género, el tiempo diario de conexión a Internet, el dispositivo desde el que suelen conectarse y su preocupación por la seguridad en Internet.

La pregunta sobre la percepción de facilidad se planteó de manera que los usuarios veían en miniatura los 10 captchas y debían indicar a priori los 3 que creían que serían más fáciles de resolver.

Los 10 captchas se mostraron de forma secuencial, de manera que los usuarios los vieran de uno a uno, siempre en el mismo orden. Para resolverlos, debían escoger una de las respuestas que se les ofrecía como posible resolución, o bien escribirla si se trataba de captchas que así lo requirieran. De esta forma, los usuarios respondían en el formulario que se presentaba junto a cada captcha. En ningún momento se les indicó si la respuesta dada era o no correcta.

Una vez que los usuarios daban la respuesta de los 10 captchas, se les repetía la pregunta sobre la percepción de facilidad; de nuevo veían en miniatura los 10 captchas y debían indicar los 3 que les habían resultado más fáciles de resolver y los 3 que consideraban que habían sido más difíciles.

Para finalizar, se les pasaba un cuestionario de 20 preguntas para conocer su opinión sobre los captchas en general. Para diseñar las preguntas se realizó una adaptación del el CSUQ (Computer System Usability Questionary) (Lewis; 1995) (tabla 1), un conocido test que mide la satisfacción de los usuarios con respecto a la usabilidad de un sistema (tabla 2).

1. Overall, I am satisfied with how easy it is to use this system.

2. It is simple to use this system.

3. I can effectively complete my work using this system.

4. I am able to complete my work quickly using this system.

5. I am able to efficiently complete my work using this system.

6. I feel comfortable using this system.

7. It was easy to learn to use this system.

8. I believe I became productive quickly using this system.

9. The system gives error messages that clearly tell me how to fix problems.

10. Whenever I make a mistake using the system, I recover easily and quickly.

11. The information (such as on-line help, on-screen messages and other documentation) provided with this system is clear.

12. It is easy to find the information I need.

13. The information provided with the system is easy to understand.

14. The information is effective in helping me complete my work.

15. The organization of information on the system screens is clear.

16. The interface of this system is pleasant.

17. I like using the interface of this system.

18. This system has all the functions and capabilities I expect it to have.

19. Overall, I am satisfied with this system.

Tabla 1. Enunciados del test CSUQ

1- Los captchas me parecen útiles.

2- Los captchas me parecen simples de resolver.

3- Los captchas permiten que avance hasta el final la tarea que quería ejecutar.

4- Me siento cómodo cuando veo que una página usa captchas.

5- Me siento seguro cuando veo que una página usa captchas.

6- Por lo general, es fácil resolver los captchas.

7-Cuando me equivoco en la solución de los captchas, el sistema me proporciona instrucciones claras sobre qué debo hacer.

8- Cuando me equivoco en la solución de los captchas, al siguiente intento lo resuelvo fácil y rápidamente.

9- Por lo general, acierto en la resolución de los captchas.

10- Los captchas son útiles para acabar la tarea que quería ejecutar.

11- Los captchas me parecen útiles para mi seguridad.

12- Los captchas me parecen útiles para la seguridad de la página web.

13- Los captchas me provocan satisfacción.

14- Los captchas me parecen agradables.

15- Me gusta resolver captchas.

16- Prefiero las webs que utilizan captchas en procesos donde dejo datos sensibles, como por ejemplo en compras online.

17- Me parece imprescindible el uso de captchas como sistema de seguridad.

18- Todos los sistemas de recogida de datos (alta en redes sociales, formularios de contacto, creación de usuario, etc.) deberían usar captchas.

19- Una vez resuelto "tu primer" captcha, es fácil entender cómo se tienen que resolver otros aunque sean diferentes.

20- En general, estoy satisfecho/a en usar el sistema de captchas.

Tabla 2. Enunciados del test final aplicado a este estudio

Los usuarios debían puntuar cada enunciado entre 1 y 5, donde 1 significaba "totalmente en desacuerdo", y 5 "totalmente de acuerdo". Para cuantificar las respuestas se aplicó un sistema de ponderación de la siguiente manera:

Puntuación 1 = -2
Puntuación 2 = -1
Puntuación 3 = 0
Puntuación 4 = +1
Puntuación 5 = +2

Una vez recogidas las puntuaciones de los 50 usuarios y realizada la ponderación, se obtuvo el promedio para cada enunciado realizando el siguiente cálculo: porcentaje de usuarios que han puntuado el enunciado con cierto valor (del 1 al 5 respectivamente) multiplicado por la puntuación ponderada correspondiente, a partir de los datos sumatorio de los valores obtenidos (tabla 3).

Tabla 3. Ejemplo de cálculo de respuestas para un enunciado del cuestionario final

El promedio de todos los enunciados ofrece una cifra única que indica el grado de satisfacción que manifiestan los usuarios con respecto a los captchas. El valor obtenido se interpreta de esta forma:

• De -200 a -100 consideraremos que los captchas se valoraron como "nada usables"
• De -100 a 0 consideramos que son percibidos como "no usables"
• De 0 a 100 consideramos que se perciben como "poco usables"
• De 100 a 200 consideramos que se perciben como "usables".

Al finalizar el test se contaría con las respuestas sobre su perfil, su percepción de facilidad a priori, las respuestas dadas por los usuarios (50) para los captchas (10), es decir de las 500 tareas realizadas, su percepción de facilidad a posteriori, y su opinión acerca de los captchas en general.

2.4. Variables y métricas

Mientras el cuestionario inicial sobre el perfil de usuario y el cuestionario final con su opinión acerca de los captchas producen datos meramente descriptivos, las respuestas sobre la percepción de facilidad de los captchas mostrados y la propia resolución acertada o no de cada uno requieren un análisis para poder llegar a unas conclusiones.

En ese análisis de datos se considerarán las siguientes variables:

V1. Eficacia o resolución: para cada captcha planteado se considerará si los usuarios lo han resuelto correctamente o no. Se calculará el grado de acierto de cada captcha.

V2. Percepción que los usuarios tienen sobre la facilidad de los captchas que se les proponen. Se medirá qué captchas son los que los usuarios identifican como más fáciles antes de comenzar a resolverlos, y cuáles son más fáciles y más difíciles de resolver después de haberlo intentado. Comparando su percepción a priori y a posteriori se detectará si los participantes cambian de opinión una vez han estado enfrentados a su resolución los captchas.

También se analizará la relación entre eficacia y percepción de facilidad, es decir, entre el grado de acierto y la facilidad percibida a priori y a posteriori.

3. Resultados

Primero analizaremos cuál es la percepción inicial percibida de los participantes respecto a los captchas analizados; después se procederá a comparar la percepción de los participantes respecto a los captchas escogidos como más fáciles a priori con los que se han escogido a posteriori; y por último se analizará el número de aciertos de cada uno de los captchas y veremos el grado de coincidencia entre la facilidad percibida antes y los aciertos y el grado de coincidencia entre el grado de acierto y la facilidad percibida después de realizarlos. 

Captcha	Nombre	Aciertos	Fácil a priori	Fácil a posteriori
1	Re-captcha (palabras)	66% (33)	20% (10)	26% (13)
2	Re-captcha (números)	60% (30)	40% (20)	66% (33)
3	Contar elementos (gatos)	98% (49)	10% (5)	40% (20)
4	Variante del re-captcha (palabras)	8% (4)	8% (5)	34% (17)
5	Contar elementos (teteras)	74% (37)	0% (0)	0% (0)
6	Arrastrar elementos (diario)	94% (47)	10% (5)	36% (18)
7	Cálculo (multiplicación)	96% (48)	6% (3)	48% (24)
8	Interpretación de imagen (manos)	100% (50)	2% (1)	30% (15)
9	Interpretación de imagen (parc Güell)	88% (44)	4% (2)	8% (4)
10	Interpretación de imagen (nunca mais)	82% (41)	0% (0)	12% (6)

Tabla 4. Frecuencias % y datos absolutos de la percepción a priori, a posteriori y los aciertos conseguidos

3.1. Tasa de eficacia en la resolución de los captchas

Todos los captchas excepto el 4, que consiste en transcribir unas palabras, tienen un porcentaje de efectividad de más del 50%. Destaca el captcha 8 con un 100% de aciertos, el 3 sobre identificación de elementos con un 98%, el 7 sobre cálculo matemático con un 96%, y el 6, que consiste en identificar y arrastrar un elemento de un dibujo, con un 94% de tasa de acierto.

Los captchas que más errores han registrado son los tres re-captchas mostrados: el 4, que pide que se tecleen unas palabras, con un 8% de acierto; seguido de lejos por los re-captchas 1 y el 2, el 1 sobre trascripción de letras ha sido resuelto por el 66% de los usuarios, el 2 sobre trascripción de números por el 60%.

3.2. Relación entre percepción de facilidad y eficacia

Si ordenamos los captchas en un ranking de mayor facilidad percibida a priori y a posteriori, y de mayor acierto, encontramos resultados interesantes (tabla 5, figura 2).

Tabla 5. Ranking de los captchas en cuanto a la percepción de facilidad a priori, los aciertos y la percepción de facilidad a posteriori

Analizamos los casos en los que encontramos más variación entre las variables. En el caso de los re-captchas (1, 2 y 4) - el tipo de captcha más conocido por los usuarios por ser el más habitual por ahora- los usuarios perciben que serán fáciles de resolver, así que los etiquetan a menudo como "fáciles" y los llevan a ocupar los primeros puestos en el ranking de facilidad a priori (#1, #2 y #4). Precisamente esos tres captchas son los que menos aciertan los usuarios de los diez propuestos (#8, #9, #10). Al no tener feedback sobre su acierto o fracaso, los usuarios responden sin sesgos a la pregunta sobre su percepción de facilidad una vez que los han probado. El caso más llamativo de los tres es el del re-captcha 2, que consiste en transcribir números: los usuarios siguen pensando que es muy fácil. Los otros dos bajan posiciones una vez que han intentado resolverlos.

Otros casos interesantes son los captchas 7 y 8. El 7 consiste en realizar un cálculo matemático. Los usuarios, a priori, pensaron que podía tener cierta dificultad este tipo de operación (#5), pero el nivel de acierto es muy alto (#3) y la percepción de facilidad aumenta mucho (#2). En el caso del captcha 8, que consiste en interpretar el concepto que refleja una imagen (el "captcha semiótico"), los usuarios a priori pensaron que sería difícil de resolver (#7), en cambio fue el que más aciertos consiguió (#1), pero incluso a pesar de ello la percepción de facilidad una vez realizado se mantuvo en un nivel bajo (#6).

Otros captchas se mantienen en sus posiciones para todos los casos:

• En los captchas 3 y 6, que consisten en identificar elementos en una imagen, los usuarios creen que van a ser fáciles, de hecho la mayoría los resuelven bien, y la percepción a posteriori también es positiva.
• El captcha 5 (que consiste en contar elementos) y los captchas 9 y 10 (que consisten en identificar algún aspecto de una fotografía), los usuarios creen que van a ser difíciles, de hecho hay bastantes participantes que los resuelven mal –sin llegar al nivel de error de los captchas 1, 2 y 4-, y la percepción a posteriori es la más negativa en cuanto a la facilidad.

Figura 2. Tabla comparativa de las variables facilidad percibida a priori, tasa de acierto, y facilidad percibida a posteriori para cada captcha

3.3. Encuesta final

Una vez terminada la prueba consistente en resolver 10 captchas, y respondida la pregunta de facilidad, los participantes contestaron un test de 20 preguntas con el objetivo de valorar la satisfacción que perciben en cuanto a la usabilidad y la utilidad de este sistema. Las preguntas se refieren a los captchas en general, no sólo a los diez presentados previamente.

Las respuestas de los 50 usuarios se recogieron en el formulario. Respondieron cuál era su afinidad a cada enunciado en una escala de 1 ("totalmente en desacuerdo") a 5 ("totalmente de acuerdo"). En el apartado de metodología se ha detallado la ponderación realizada para el cálculo de las puntuaciones.

En la siguiente tabla podemos comprobar los resultados obtenidos por cada enunciado, ordenados de menor puntuación a mayor (tabla 6):

Enunciado	Valor
15. Me gusta resolver captchas	-136
14. Los captchas me parecen agradables	-128
13. Los captchas me provocan satisfacción	-122
7. Cuando me equivoco en la solución de los captchas, el sistema me proporciona instrucciones claras sobre qué debo hacer	-52
4. Me siento cómodo cuando veo que una página usa captchas	-50
10. Los captchas son útiles para acabar la tarea que quería ejecutar	-50
20. En general, estoy satisfecho/a en usar el sistema de captchas	-40
2. Los captchas me parecen simples de resolver	-30
3. Los captchas permiten que avance hasta el final la tarea que quería ejecutar	-16
6. Por lo general, es fácil resolver los captchas	-16
17. Me parece imprescindible el uso de captchas como sistema de seguridad	-10
8. Cuando me equivoco en la solución de los captchas, al siguiente intento lo resuelvo fácil y rápidamente	-8
11. Los captchas me parecen útiles para mi seguridad	-4
5. Me siento seguro cuando veo que una página usa captchas	2
18. Todos los sistemas de recogida de datos (alta en redes sociales, formularios de contacto, creación de usuario, etc.) deberían usar captchas	14
19. Una vez resuelto "tu primer" captcha, es fácil entender cómo se tienen que resolver otros aunque sean diferentes	24
1. Los captchas me parecen útiles	34
12. Los captchas me parecen útiles para la seguridad de la página web	48
16. Prefiero las webs que utilizan CAPCTHAs en procesos donde dejo datos sensibles, como por ejemplo en compras online	48
9. Por lo general, acierto en la resolución de los captchas	70

Tabla 6. Puntuaciones para los enunciados del cuestionario final

Los enunciados con peores puntuaciones son los que preguntan al usuario si los captchas les gustan y les resultan agradables. Son mayoritarias las respuestas negativas. En cambio cuando se trata de preguntas relativas a la percepción de seguridad, los usuarios no muestran tanto rechazo a los captchas, y hay una tendencia a responder que les parecen útiles para la seguridad del sitio web y la de sus propios datos. Esto indica que los usuarios, a pesar de no estar a gusto con estos sistemas, los consideran eficaces para la seguridad web, y además en muchos casos aseguran que suelen resolverlos.

Ya que todos los enunciados están formulados de manera afirmativa a favor de los captchas, tiene sentido calcular el promedio de las respuestas. Este promedio, que puede oscilar entre -200 y +200, es de -21,1. Es un valor que cae casi en la mitad del rango, con una leve inclinación hacia los números negativos, lo que es un indicio de que los usuarios consideran que los captchas no son sistemas usables. Si eliminamos los enunciados que tiene que ver con el servicio que hacen estos sistemas a la seguridad en sitios web (enunciados 1, 5, 11, 12, 16, 17 y 18), el promedio baja a -42,61 (valor negativo). Ese subconjunto de preguntas relativas a la seguridad ha obtenido una puntuación promedio mayor: 18,86 (valor positivo), y hace que el promedio suba.

4. Conclusiones

Los resultados ponen de manifiesto que los usuarios perciben inicialmente como más fáciles aquellos captchas con los que están más familiarizados, que son los llamados re-captchas y que consisten en transcribir las letras y/o números que aparecen en una imagen. Sin embargo, este tipo de captchas han resultado ser los que peor se han resuelto. En cambio otros tipos de captchas, concretamente los que están basados en imágenes y para los que los usuarios deben identificar elementos o conceptos en ellas, no se perciben como fáciles de resolver en un inicio; tras enfrentarse a ellos la percepción de facilidad cambia radicalmente en unos casos hacia muy positiva y se mantiene negativa en otros.

Los captchas de creación propia propuestos en este estudio (8, 9 y 10) están entre los percibidos como más difíciles tanto a priori como a posteriori, a pesar de que el grado de acierto ha sido mayor que en el caso de los re-captchas. Ese resultado es acorde con la idea que los usuarios perciben como fácil aquello que ya conocen. Como no se han enfrentado a un captcha de este tipo anteriormente, no saben de qué se trata exactamente ni qué grado de dificultad entrañará; por otro lado, en estos captchas que proponemos se debe interpretar y relacionar la imagen con las respuestas, por lo que pueden pensar que es una tarea más difícil que la de transcribir textos y números únicamente. Por otro lado, el usuario no intuye si ha resuelto bien o no el captcha, lo que genera cierta antipatía respecto a una nueva tipología. No podemos saber si los participantes los continuarían percibiendo como difíciles si estos captchas se popularizasen, pero probablemente cambiaría su opinión.

Si analizamos en global las puntuaciones obtenidas por todos los captchas en eficacia y facilidad percibida, vemos que hay dos captchas que mantienen rankings elevados en las tres variables; se trata de los captchas 3 y 6, ambos basados en la identificación de imágenes. Este resultado es también una prueba de que los sistemas basados en reconocimiento de imágenes son más eficaces y se perciben como fáciles de resolver por parte de los usuarios, por lo que debería ser el camino a seguir en la creación de captchas. Por otro lado, destaca "el captcha semiótico" (8) por haber sido resuelto por el 100% de los participantes, un tipo de captcha que debería explorarse más dado el alto grado de eficacia que presenta.

Una de las limitaciones de este estudio es la forma en que se ha realizado la prueba, con una simulación y no en un entorno web real. En el caso de los re-captchas, que implican la transcripción de letras y/o números, sí se ha recreado más fielmente el contexto real, pues los participantes debían teclear la solución; el tecleo es una forma de dotar de seguridad a los captchas, ya que programar un robots automático para que teclee es complicado, aunque como se mencionaba al inicio de este artículo existe tecnología que resuelve los re-captchas con un 90% de efectividad. En cambio para los captchas basados en imágenes se ha ofrecido a los participantes un desplegable en el que escoger una opción; hacerlo así ha reducido realmente las posibilidades de error, ya que sólo escogiendo cualquier respuesta al azar existe una probabilidad de acierto. Para paliar esta limitación, las respuestas que se daban a escoger estaban pensadas para que si una persona no se fijaba bien en la imagen y seguía fielmente las indicaciones del captcha pudiera fallar al responder, y de hecho ha habido errores en estos captchas de respuesta en el desplegable. Este sistema facilitaba la obtención de resultados para el presente estudio, pero de cara a probar captchas de imágenes –y en particular captchas semióticos- en el futuro, sería necesario eliminar los desplegables y buscar otra forma de respuesta que dificulte a los robots dar con la solución.

De cara a futuros experimentos se deberán probar más captchas, nuevas modalidades, explorar aquellos que implican semiótica e identificación de conceptos, y además se podrán incorporar otras métricas como la eficiencia, medida con el tiempo que tarda cada usuario en resolver un captcha y el número de intentos necesarios hasta hacerlo correctamente.

En conclusión, los captchas utilizados en la actualidad suelen ser confusos y su resolución dista de ser eficaz para los usuarios, perjudicando de esta manera la usabilidad y la experiencia de uso en el sitio web. Ya que su eliminación no parece viable a día de hoy, pues efectivamente los webmasters logran filtrar parte del spam con ellos, quienes escogen este sistema para dotar de mayor seguridad a su sitio web deben plantearse captchas que no supongan un elemento de frustración para los usuarios. En este estudio demostramos cómo los captchas basados en imágenes, y en particular aquellos que incorporan la semiótica, son un tipo de sistema que debe explorarse en el futuro.

Agradecimientos

Agradecemos a la empresa Xperience Consulting la licencia educativa del programa UserZoom cedida a la Universitat Pompeu Fabra. Asimismo, damos las gracias a los 50 usuarios que de forma desinteresada han participado en los tests.

5. Bibliografía

Bursztein, Elie; Bethard, Steven; Fabry, Celine (2010). How good are humans at solving captchas? : a large scale evaluation. En: IEEE Symposium on Security and Privacy. Disponible en:http://www.stanford.edu/~jurafsky/burszstein_2010_captcha.pdf

Bushell, David (2011). In search of the perfect captcha. In Smashing Magazine. Disponible en:
http://coding.smashingmagazine.com/2011/03/04/in-search-of-the-perfect-captcha/

Castro, Luis (s.f.). ¿Qué es captcha? About.com. Disponible en: http://aprenderinternet.about.com/od/Glosario/g/Que-Es-Captcha.htm

Lewis, James R. (1995). "IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use". International Journal of Human-Computer Interaction archive, v. 7, n. 1, 57-78. Disponible en:http://drjim.0catch.com/usabqtr.pdf

Peirce, Charles S. (1991). Peirce on signs: writings on semiotic. Chapel Hill, United States: The University of North Carolina Press.

UserZoom (2011). UserZoom's Unmoderated Online Remote Usability Testing. Disponible en:
http://www.userzoom.com/wp-content/uploads/2011/05/UZ_URUT_Business-Case.pdf

Notas

[i] http://www.europapress.es/portaltic/software/noticia-desarrollan-software-capaz-enganar-captchas-20131028113102.html

[ii] El captcha 3 es una adaptación del llamado captcha ASIRRA, obtenido de http://research.microsoft.com/en-us/um/redmond/projects/asirra/