Contenido
- Legitimidad
- No ver las caras de los usuarios
- Fallos tecnológicos
- No es tan económico como crees
- Desafíos organizativos del reclutamiento web
- Conseguir los reclutas adecuados
- Comportamiento natural del usuario
- Multitarea
- Seguridad y confidencialidad
- Negatividad persistente
Este extracto es el Capítulo 10 de Investigación remota por Nate Bolt y Tony Tulathimutte. Para obtener herramientas de investigación de usuarios remotos y artículos detallados, consulte también remoteresear.ch.
Ha visto cómo la investigación remota se ocupa de los problemas de la investigación tradicional en persona (distancia geográfica, contratación, validez de la tarea, etc.), pero también plantea muchos de sus propios problemas. Nos gustaría terminar esta discusión con una revisión de los mayores desafíos de la adopción de métodos de investigación remota: las dudas, preocupaciones y dolores de cuello que parecen surgir estudio tras estudio, incluso para los practicantes experimentados.
Legitimidad
La investigación remota se encuentra todavía en su adolescencia, y los posibles clientes escépticos a menudo nos preguntan: “¿Quién más realiza la investigación remota? Si es tan bueno, ¿por qué no I ¿escuche de eso?"
Como mencionamos al principio, la investigación de laboratorio ha funcionado durante mucho tiempo principalmente porque esa es la forma en que siempre se han hecho las cosas. A pesar de esto, muchas corporaciones de renombre han dado el paso felizmente con la investigación remota, incluyendo (solo por experiencia personal) Sony, Autodesk, Greenpeace, AAA, HP, Genentech, Citibank, Wikipedia, UCSF Medical Center, el Washington Post. , Esurance, Princess Cruises, Hallmark, Oracle, Blue Shield of California, Dolby y la California Health Care Foundation, por nombrar solo unos pocos. Los sitios de herramientas automatizados cuentan con Sony Ericsson, Motorola, YouTube, REI, eBay, Cisco, Bath & Body Works, Orbitz, Hyundai y Continental Airlines como clientes.
Si aún no está seguro, le recomendamos que consulte un estudio exhaustivamente documentado (completo con videos de sesión completa y clips destacados) de editores de Wikipedia por primera vez que realizamos para el proyecto de la Iniciativa de usabilidad de Wikipedia.
Incluye sesiones de laboratorio y remotas con objetivos idénticos, por lo que es un buen estudio de caso comparativo. Si tiene alguna reserva, debe ver las sesiones y decidir por sí mismo.
No ver las caras de los usuarios
Siempre hemos tenido la confianza de que ver la cara de un usuario no es necesario para obtener información de un estudio de usuario, pero los clientes y las partes interesadas y algunos investigadores de UX pueden ser muy quisquillosos sobre este tema. Si una persona no está físicamente presente y no está siendo grabada en video o sentada detrás de un vidrio, se pregunta: "¿Cómo se puede investigar realmente?". O "¿Cómo puedes desarrollar empatía por alguien a quien no puedes ver?"
Creemos firmemente que el comportamiento del usuario en pantalla y los comentarios en voz alta, y no las expresiones faciales de los usuarios, proporcionan el valor real del estudio porque desea saber qué hacen y pueden hacer los usuarios en el sitio, no cómo se sienten. sobre eso. Incluso si admitimos que las respuestas emocionales de los participantes pueden aportar información valiosa sobre cómo usan un sitio, se sorprenderá de la cantidad de sentimiento que se puede inferir con la misma eficacia a partir del tono vocal, suspiros, pausas, inflexiones e interjecciones (" ¡Ah-ha! "" Oh, hombre! "), Sin mencionar el contenido de lo que están diciendo. La mayoría de las personas son usuarios de teléfonos veteranos y ya han aprendido a expresarse vocalmente.
Tal vez en unos años, el chat de video sea algo común, y no ver las caras de los usuarios probablemente ya no sea un problema. Sin embargo, por ahora, tenga la seguridad de que no ver la cara del usuario no es tan importante.
Fallos tecnológicos
La investigación remota moderada utiliza muchos componentes tecnológicos separados, cualquiera de los cuales puede funcionar mal por muchas razones: una computadora con múltiples programas ejecutándose, un auricular con micrófono, una conexión a Internet, herramientas de reclutamiento web, soluciones para compartir pantalla de terceros, software de grabación, dos líneas telefónicas, clientes de mensajería instantánea, etc. Luego están todas las cosas que pueden salir mal con el usuariosLa configuración de la computadora y el teléfono. Los usuarios pueden estar en una conexión inalámbrica, una conexión por cable inestable o un teléfono celular; las líneas telefónicas internacionales pueden estar embarradas; es posible que sus computadoras no puedan instalar o ejecutar el uso compartido de pantalla.
Una o dos cosas que salen mal equivalen a retrasos molestos: interrupciones en un estudio en curso, fallas en las grabaciones, dificultad para escuchar a los usuarios, etc. En el peor de los casos, tener dos o tres o todas estas cosas fallan puede detener un estudio hasta que se resuelvan los problemas.
Los investigadores de UX no son necesariamente expertos en tecnología, por lo que si desea evitar estos problemas, lo mejor que puede hacer es probar todo al menos un día antes del inicio del estudio, consultando una lista de verificación. Aquí hay una lista de verificación de inicio para usted. Modifíquelo para que se adapte a las herramientas que utiliza para realizar su investigación.
| El uso compartido de pantalla se interrumpe / funciona mal | Verifique si su conexión a Internet es estable. |
| Las grabaciones salen corruptas / con fallas / truncadas | Prueba la herramienta de grabación. Si las grabaciones de prueba no funcionan, verifique la configuración de la grabadora para asegurarse de que estén grabando en el formato y la calidad correctos. Si las grabaciones de prueba funcionan bien, lo más probable es que la computadora estuviera ejecutando demasiados procesos durante la grabación. Cierre los programas innecesarios para solucionar este problema; si persiste, es posible que deba actualizar su computadora con más RAM. También verifique si tiene suficiente espacio en el disco duro para almacenar las grabaciones. Para archivos corruptos, use un programa de edición de video o un convertidor para intentar convertir el archivo a un formato diferente. Para ciertos formatos de archivo, también existen utilidades que pueden solucionar problemas menores. |
| Fallos en la conexión del teléfono | Comprueba la conexión de tu teléfono. Utilice una línea telefónica alternativa, si hay alguna disponible. Pregunte a los usuarios si están usando un teléfono celular. Pregunte si hay una línea alternativa para llamar. Pregunte a los usuarios si puede volver a llamar en una línea diferente, en otro momento si es necesario. |
| Mal funcionamiento del auricular / entrada de sonido del micrófono | Compruebe si el auricular está silenciado. Verifique el volumen de entrada del micrófono en la configuración del sistema. Si está utilizando un servicio VOIP como Skype, verifique la configuración del software para ver si no está silenciado. |
| La conexión a Internet parece entrecortada o se rompe | El problema podría ser tu conexión o la del usuario. Si es suyo, posponga el estudio y cambie a cualquier conexión de Internet alternativa que pueda tener en su oficina. Como último recurso, llame a su proveedor de servicios de Internet y vea si el servicio no funciona. Si es la conexión del usuario, pregúntele al usuario si tiene una conexión inalámbrica; Si es así, pregúntele si puede cambiar a una conexión por cable. Si eso no funciona, intente reprogramar el estudio para un momento en el que el usuario esté en una computadora diferente. |
| El firewall del usuario no permite que funcione la herramienta para compartir pantalla. | Cambie a una solución para compartir pantalla alternativa, preferiblemente basada en navegador. Si no hay soluciones disponibles, intente reprogramar el estudio para un momento en el que el usuario esté en una computadora diferente. |
| Las grabaciones no tienen sonido | Verifique el volumen y la configuración de la entrada de sonido del sistema (asegúrese de que no esté silenciado) y la configuración del software de grabación. |
Independientemente de lo que pase, mantén la calma. La mejor manera de manejar los problemas técnicos es establecer las expectativas de todos con anticipación (las suyas, las de su equipo y las de cualquiera que esté observando) de que siempre existe la posibilidad de que surjan problemas y que es una parte normal del proceso. Asegúrese de que los observadores tengan sus computadoras portátiles o algo de poesía para leer, de modo que no se queden sin hacer nada cuando el teléfono celular de un usuario muere.
A pesar de tu planificación, siempre es estresante cuando tienes observadores mirándote, un participante en vivo esperando en la otra línea, y un estúpido problema tecnológico interrumpe todo, aunque estés positivo lo probaste como un millón de veces. Tómate unos segundos para dar un paso atrás y ponerlo en perspectiva: la vida continúa. Un moderador hipertiroideo y que respira con dificultad arruinará una sesión incluso si toda la tecnología comienza a funcionar nuevamente.
No es tan económico como crees
La investigación remota a menudo se representa como un método de descuento, una forma de reducir los costos, y las personas a menudo se sorprenden al descubrir que el costo de un estudio moderado a distancia suele ser comparable a su equivalente en persona. La investigación remota puede ayudar a ahorrar en viajes, contratación y alquiler de laboratorios, pero en lo que respecta al tiempo del moderador, los incentivos para los participantes y la programación, nada es muy diferente. La mayor parte del gasto de un proyecto de investigación es la investigación: tener un investigador capacitado que se tome el tiempo para observar y analizar cuidadosamente los comportamientos de los usuarios y luego sintetizar los hallazgos en recomendaciones inteligentes y significativas. No permita que las partes interesadas del estudio tengan la impresión de que el motivo principal detrás de un estudio remoto es el ahorro de costos: el beneficio real, nuevamente, es su capacidad para realizar una investigación consciente del tiempo.
Desafíos organizativos del reclutamiento web
La mayoría de las herramientas de contratación web requieren que coloques algunas líneas de código externo en el código fuente del sitio web. Si tiene un sitio web personal o trabaja para una puesta en marcha pequeña y complicada y tiene acceso directo al código, esta tarea no debería ser difícil. Si, por otro lado, se trata de una gran empresa con un sistema de gestión de contenido complejo, es posible que deba prepararse para la burocracia. Tendrá que cooperar con los chicos de operaciones de TI y los gerentes superiores que tienen la última palabra sobre lo que se publica en el sitio web. Asegúrese de tener respuestas a las siguientes preguntas:
- ¿Cuáles son los cambios que debemos realizar en el código?
- ¿Qué hace el código? Es seguro?
- ¿En qué páginas debe continuar el código? ¿Funcionará con nuestro sistema de gestión de contenidos?
- ¿En qué páginas aparecerá el evaluador?
- ¿Cuánto tiempo estará activo el código de contratación?
- ¿Cómo se verá el evaluador para los visitantes?
- ¿Cuánta gente lo verá?
- ¿Cómo pueden los gerentes / personal de TI apagarlo o deshabilitarlo por su parte?
- ¿La apariencia del evaluador coincidirá con la apariencia del sitio web?
Las respuestas a todas estas preguntas dependen de la herramienta que esté utilizando para reclutar. Venga preparado con las respuestas a estas preguntas antes de reunirse con su personal / gerentes de TI para evitar demoras y confusiones en la activación del evaluador.
Conseguir los reclutas adecuados
Tomar el asunto en sus propias manos con el reclutamiento en vivo en la Web a menudo es más barato, más rápido y más confiable para la investigación remota, pero significa que tendrá que asumir una mayor responsabilidad de reclutar a sus participantes correctamente. Por varias razones, conseguir suficientes reclutas para realizar sesiones continuas consecutivas puede no ser fácil para usted. Consulte esta tabla para conocer las razones.
| El volumen de tráfico de su sitio web no es lo suficientemente alto como para atraer a seis empleados calificados por hora. | Aumente la tasa de visualización del filtro si está por debajo del 100%. Coloque el evaluador en varias páginas o en una página de nivel superior en la IA. Programe reclutas calificados con anticipación para complementar los usuarios que pueda obtener. Aumenta el incentivo, pero no demasiado (o atraerás a más farsantes). Aumente la duración del estudio (con un tráfico saludable, es posible realizar aproximadamente seis usuarios en un día laboral). |
| Tus criterios de contratación son demasiado estrictos | Si está filtrando sus resultados, inhabilite el filtro para ver si alguno de los reclutas filtrados es un participante aceptable. Pregunte a las partes interesadas si algún criterio de contratación es negociable y relaje los de menor prioridad. Incrementar el incentivo. |
| La redacción o la longitud de su filtro de reclutamiento desaniman a las personas | Revise la redacción para que se sienta menos como un trato o una oferta. Omita las palabras y preguntas innecesarias. Sea específico sobre el incentivo. |
| Los farsantes están completando su formulario de reclutamiento | Revise la sección "¿Por qué vino a este sitio?" respuestas para determinar si los falsificadores fueron referidos por un sitio de ofertas / gangas. Agregue preguntas furtivas al filtro para engañar a los farsantes y hacerles inclinarse. Agregue preguntas abiertas que puedan ser respondidas de manera plausible solo por su audiencia de reclutamiento legítima. |
Comportamiento natural del usuario
La investigación remota moderada es excelente para ver a los usuarios realizar tareas naturales y autodirigidas por iniciativa propia, pero ese tipo de comportamiento no es un hecho. Algunos usuarios que participan en un estudio tienen nociones preconcebidas sobre lo que se espera de ellos durante un estudio. O te dirán lo que quieres escuchar o serán demasiado críticos. Algunos preguntarán: "Entonces, ¿qué quieres que haga?" En todo momento, debe alentar a los usuarios a hacer lo que harían de forma natural, solo agregando que es posible que tenga que mover las cosas para respetar el límite de tiempo de la sesión. (Esta es una forma educada de advertirles que podría cortarlos si comienzan a deambular).
Cuando los usuarios se concentran en sus tareas, pueden dejar de pensar en voz alta. Eso no es necesariamente algo malo, dependiendo de qué tan claras sean sus motivaciones. Por lo general, puede mantener a los usuarios comunicativos con algunos recordatorios alentadores para que "sigan diciendo lo que se le pase por la cabeza sobre lo que está haciendo". Los usuarios naturalmente silenciosos o tímidos pueden necesitar indicaciones más explícitas, con un reconocimiento adicional de lo incómodo que es pensar en voz alta: "Sé que es un poco extraño hablar constantemente mientras navegas, pero todo lo que tienes que decir es realmente útil para nosotros , así que no te reprimas ".
Por otra parte, a veces no son los usuarios los que tienen problemas con el comportamiento natural, sino las partes interesadas. Para un observador externo que está acostumbrado a enfoques de pruebas de laboratorio controlados y con muchas secuencias de comandos ("Ahora haga la Tarea A ... Ahora haga la Tarea B ..."), puede resultar discordante ver a los participantes usar la interfaz de la manera que lo harían normalmente. Observar el comportamiento natural a menudo significa permitir a los usuarios hacer digresiones o permitir largos silencios mientras los usuarios intentan resolver algo o realizar tareas que no parecen estar relacionadas con las tareas programadas.
Debe establecer las expectativas de sus partes interesadas. Lo que puede parecer sin rumbo y caótico es en realidad una interacción rica y adecuadamente contextualizada a la que deben prestar mucha atención. Póngalo de esta manera: cuando va a un sitio web, ¿cierra todas las demás aplicaciones y pestañas del navegador, apaga su teléfono móvil, se concentra en una tarea y les dice a los niños y al perro que se callen? E incluso si lo haces, ¿alguien ordenar que hagas esas cosas? Debe asegurar a las partes interesadas que, independientemente de las tareas imprevistas que realicen los usuarios, el moderador se asegurará de que los usuarios también realicen las tareas básicas y necesarias.
Pero hay algunos casos en los que los usuarios realmente están demasiado distraído para prestar atención a lo que dicen estar haciendo. Si simplemente se desvían del rumbo, es posible que deba reprogramar la sesión cuando sea menos agitada para estos usuarios o descartarlos. Esa decisión queda a discreción del moderador, pero suele ser bastante obvia. El hecho de que los usuarios escuchen y respondan a lo que dice el moderador suele ser un buen indicador.
Multitarea
Es difícil apreciar, sin hacer algunas sesiones, cuántas cosas tiene que vigilar mientras modera una sesión remota: su conversación con el usuario, el comportamiento del usuario en pantalla, las preguntas y comentarios del observador a través de mensajería instantánea, sus notas, la hora restante en la sesión, su lugar en la guía del facilitador y, ocasionalmente, el estado de la herramienta de grabación. También tienes que irradiar un aura de serenidad; ni siquiera puedes sonar como si lo estuvieras intentando.
Lo principal es practicar, practicar, practicar. Busque voluntarios dispuestos a participar en simulacros. Mire y aprenda de sesiones pasadas grabadas, como nuestras sesiones de la Iniciativa de usabilidad de Wikipedia, por ejemplo.
Seguridad y confidencialidad
Por último, existen los desafíos de probar interfaces que deben presentarse a los usuarios de forma segura. Estas interfaces no pueden instalarse en las computadoras de los usuarios ni colocarse en vivo en el sitio, generalmente porque son prototipos que no están listos para la exposición pública. El acceso protegido por contraseña al sitio es la opción más preferible, pero en los casos en los que no se puedan mover archivos a las computadoras de los usuarios, debe utilizar las técnicas de uso compartido de pantalla inversa descritas en el Capítulo 9, asegurándose de que la conexión a Internet sea lo suficientemente rápida. para apoyar una interacción natural.
Negatividad persistente
A veces, sin ninguna razón en particular, tendrá partes interesadas o miembros del equipo que piensan que la investigación remota es una idea horrible y estúpida. Esta opinión no los convierte en malas personas. Incluso después de un gran estudio, a veces habrá críticas a algunos de los métodos y detalles. La razón es en gran parte que la mayoría de las personas aún no están familiarizadas con la investigación remota y no saben cómo es una sesión exitosa. Se asustarán de que el moderador no asigne tareas específicas, de tener que esperar 20 minutos para encontrar un usuario calificado para reclutar en vivo, de la falta de escucha activa o de cualquier otra cosa que se supone que suceda. Y luego están los escépticos acérrimos, a quienes no les gustará lo que ven pase lo que pase.
El mejor remedio para lidiar con estas situaciones es entregar hallazgos asombrosamente exitosos, que superen las expectativas habituales de correcciones de usabilidad incrementales. Por supuesto, hacer eso no es fácil, pero a pesar de las dudas de todos sobre el proceso, si piensas mucho en el comportamiento de tus usuarios en el contexto de sus vidas reales y luego obtienes información que duplica la tasa de conversión o aumenta drásticamente la facilidad. del uso de su interfaz, los detractores se convertirán.
Intercepte visitantes en vivo a su sitio, hágales preguntas y llámelos: use ethn.io, creado por la firma Bolt de Nate | Peters, y obtén un 20% de descuento con el código DOTNET.
