Le Crowd Testing: opportunité ou arnaque pour le testeur ?

Le Crowd Testing: opportunité ou arnaque pour le testeur ?

Avez-vous déjà entendu parler de Crowd Testing (ou Crowdsourced Testing) ? Le Crowd Testing (test dans la foule, ou test de foule, à ne pas confondre avec Cloud Testing; avec un mauvais accent anglais, on peut s’y méprendre) est à la mode dans le monde du test logiciel, et consiste à exploiter les avantages et l’efficacité du Crowdsourcing et des plateformes de Cloud.

Ce terme est assez vague et peut aussi bien désigner le fait de demander à faire des tests utilisateurs, ou simplement pour demander des avis sur un nouveau service ou nouvelle version de site web. Mais cela est également utilisé pour faire des tests plus « professionnels » de logiciels comme vous, lecteurs·trices en êtes les experts. Il existe plusieurs cas, mais les testeurs seront en général payés selon les bugs trouvés, ou pour dérouler des plans de tests précis. Les applications à tester sont toutes sortes d’applications mobiles, des sites web vitrines, mais aussi beaucoup de sites de e-commerce.

Les tests sont finalement effectués par plusieurs testeurs de différents pays, utilisant des appareils hétérogènes et avec un grand panel de configurations, langues, tailles d’écrans, etc. Nous allons dans cet article faire un tour rapide des différents services de Crowd Testing logiciel du marché, du point de vue du testeur proposant son expertise (et pas du point de vue de l’entreprise demandant ses services, on y reviendra peut-être plus tard). Ceci est le récit de mon expérience sur quelques mois, et ne reflète surement pas ce que d’autres ont pu vivre.

Généralités

Les acteurs

De nombreuses sociétés se sont lancées sur le marché du Crowd Testing. J’en ai essayé quelques-unes dont voici la liste: Test IO, TesterWork, Crowd App Quality, We Are Testers, QAOnAir, UberTesters, BugFinders and uTest…mais il y en existe plein d’autres, et régulièrement de nouveaux acteurs apparaissent.

Et alors on peut y tester quoi, par exemple ?

  • Des sites de e-commerce (mobile ou desktop),
  • Des applications mobiles diverses (iOS ou Android),
  • Une nouvelle fonctionnalité, comme par exemple un programme de fidélité avec points à cumuler et pouvant être utilisés,
  • Un formulaire de saisie d’adresse entièrement refait et plus intelligent (suggestion de rue, code postal, point de livraison, etc.),
  • Des services de paiement en ligne,
  • Des chat bots,
  • Des traductions, de la localisation,

En général ça se passe comment ?

Tout d’abord, il faut être enregistré sur la plateforme, celle-ci demandant souvent un certain nombre de critères à respecter, voire un test à passer (QCM ou rapports de bugs d’application à tester). Ensuite, selon les compétences que vous allez renseigner, vous serez invité à des cycles de test. Vous devrez accepter (ou pas) de participer pour ensuite véritablement pouvoir prendre part au cycle. Pour ces dernières étapes, il peut être nécessaire d’être extrêmement rapide : il se dit même que rester scotché à sa boite mail jour et nuit est la meilleure méthode pour toujours être sur les bons coups.

Carrey

Vous aurez à ce moment un descriptif de la mission, qui pourra être d’exécuter des cas de tests (avec screenshots ou vidéos à fournir pour prouver que vous l’avez bien fait) ou simplement rechercher des bugs dans le périmètre demandé. Toutes ces instructions ne sont parfois pas bien claires, contiennent souvent des incohérences, et il n’est pas toujours facile d’avoir une réponse (quand on arrive à en obtenir une) dans un délai raisonnable par l’intermédiaire du client. Il va falloir faire preuve de beaucoup de patience.

Lorsque vous avez trouvé un bug, vous devrez tout d’abord vérifier qu’il ne fait pas partie des bugs connus. Vous aurez parfois un document style feuille de calcul listant les bugs connus, et si vous êtes chanceux ces problèmes sont même déjà renseignés dans le gestionnaire de bug qu’on vous demande d’utiliser, mais c’est assez rare. De plus, vous devez faire avec les titres et descriptifs fournis, et qui ont été faits par de précédents Crowd Testers dans un langage approximatif et avec un vocabulaire pas forcément partagé par tous. Il vous arrivera donc forcément de saisir des bugs dont vous n’aurez pas trouvé la référence et qui seront donc considérés comme des doublons.

Rejeté

Ensuite, si votre bug n’est pas dans l’historique des bugs connus, il faut, pour qu’il soit accepté, qu’un autre testeur qui est en train de tester en même temps que vous ne l’ait pas déjà saisi. Il m’est arrivé de me voir refuser un bug parce qu’un autre testeur avait enregistré le sien 40 secondes avant le mien. Dans un autre cas, nous étions un groupe à tester l’application en Français, un autre groupe en Allemand, un autre en Italien, etc. Et il m’est arrivé de m’en être vu refusés parce qu’un testeur italien l’avait trouvé avant moi. Ah oui, j’oubliais de préciser que chaque groupe n’avait pas accès à la liste des bugs remontés par les autres groupes des autres langues. Il faut donc savoir faire preuve de beaucoup de calme quand votre travail est refusé alors que vous n’aviez aucun moyen de mieux faire.

Votre travail est plus ou moins surveillé, c’est-à-dire que votre réputation augmente avec vos performances. Il faut donc faire en sorte de faire des rapports de bugs de qualité, et intéressants pour le client car sinon vous allez avoir un fort taux de refus ce qui ne va pas vous aider pour être invité par la suite. Les paiements se font ensuite en fonction des actions effectuées (nombre de cas de tests joués) ou du nombre et de la valeur des bugs remontés et acceptés. Les tarifs sont variables selon les cas et annoncés dés le départ d’une façon pas toujours très claire (nombreux exemples de surprises après coup).

Mon expérience

Lorsque j’ai voulu essayer les différentes plateformes citées dans cet article, alors que j’étais en inactivité et en train de préparer ma future activité de freelance, je voulais y consacrer une quinzaine de jours. Mon but était de mieux comprendre ce que ce type de plateforme pouvait apporter pour des entreprises, mais aussi ce que je pourrais en retirer, en terme de connaissance mais aussi financièrement. Au bout de cette courte période, je me suis rendu compte que je n’étais pas arrivé à faire grand chose si ce n’est m’inscrire sur ces plateformes, errer dans quelques cycles de test sans bien me rendre utile, et tout cela pour ne finalement gagner que quelques euros. J’ai donc décidé de continuer un peu plus, et j’y ai finalement consacré quelques mois, plus ou moins en dilettante.

Avantages:

Il y a du positif à être Crowd Tester, à plein temps ou juste ponctuellement.

  • Cela vous apporte un complément de revenu voire un vrai salaire selon votre cas, et surtout selon votre localisation. En effet, nous ne sommes pas égaux sur cette planète et un euro/dollar n’a pas la même valeur en Europe occidentale qu’en Asie par exemple. Et tout le monde est bien entendu payé pareil qu’il soit Londonien, Ukrainien ou Delhiit.
  • On peut très bien prendre cette activité comme un jeu: ça peut être prenant et motivant de jouer à trouver les bugs et donc voir les euros/dollars tomber. Si en plus vous avez l’esprit de compétition, du fait des classements et des diverses notations obtenues, il peut y avoir un risque de dépendance.
  • C’est formateur, notamment pour un débutant ayant assez peu d’expérience du test.
  • Vous allez découvrir plein de produits et comment tester ces produits. Si vous n’avez jamais testé d’applications d’e-commerce ou d’applications mobiles, vous allez comprendre que cela comporte quelques spécificités
  • Vous pouvez voir les tickets des autres testeurs et progresser à leur lecture
  • Vous allez devoir vous forcer à faire des rapports de bug parfaits. Pas comme sur vos projets en équipe géolocalisés où le développeur est à 2 mètres de vous et peut venir vous demander des précisions si une info n’est pas claire
  • Ces rapports de bugs peuvent être à rédiger dans votre langue ou en Anglais (en général). Exemple de gymnastique: il faut savoir tester une application en Français et décrire les bugs en Anglais, ou inversement. Il est toujours étonnant de devoir décrire une faute d’orthographe de Français dans un rapport de bug en Anglais.
  • Vous allez devoir utiliser des outils que vous ne connaissiez pas
  • Vous allez apprendre à travailler sur des délais très courts, où la vitesse de rédaction est un atout fort. Il faut être rapide tout en étant juste et précis

Inconvénients:

Mais il y a aussi beaucoup de problèmes et difficultés à surmonter avec calme:

  • Le besoin et le périmètre à tester sont toujours très difficiles à appréhender. Vous ne connaissez pas toujours le contexte du projet, et vous découvrez le produit en l’utilisant. Vous n’aurez pas toujours une compréhension précise et claire de ce que veut vraiment le client, et vous ne pouvez pas l’interroger, puisque vous n’avez accès qu’à un intermédiaire qui souvent n’a pas la réponse. Très frustrant d’être si loin du client et de se sentir si limité. Vous y faites du test en boite noire, mais alors très très noire et n’aurez pratiquement aucun feed-back sur le travail que vous allez fournir.
  • Beaucoup de plateformes de Crowd Testing (mais pas toutes) utilisent des outils complètement obsolètes et limités en terme de fonctionnalité rendant la communication, la compréhension du besoin et la saisie des problèmes douloureux.
  • Je n’ai expérimenté que les tests fonctionnels, et je suis résident Français, donc pour moi la conclusion est que vous ne serez pas très bien payé. Il ne faut pas compter sur ce revenu seul si vous n’êtes pas un expert en sécurité à qui on va proposer des projets hautement rémunérés et si vous êtes dans un pays très taxé (oui c’est un travail, merci de voir avec votre législation locale comment ce travail rémunéré sera taxé) à niveau de vie élevé. Pour la France, en faisant le rapport avec le temps investi et les frais/charges qui vous sont imputées, on est en-dessous du salaire minimal SMIC même en étant très performant.

Les différents services testés en détail:

Je vous livre ici mes impressions après avoir passé plusieurs semaines en tant que Crowd Tester pour ces services.

Crowd App Quality – QAOnAir

J’ai peut-être raté quelque-chose dans le process, en tout cas je n’ai reçu aucune invitation pour des projets après m’être inscrit.

UberTesters

Pour s’inscrire, il fallait répondre à un questionnaire, qui m’a vraiment fait penser aux questionnaires à la ISTQB, et qui, vous vous en doutez, m’a rebuté. Je l’ai tout de même fait en râlant à presque chaque question, et a priori j’ai réussi à trouver la moins pire réponse même si « ça dépend » aurait presque été à chaque fois ma réponse préférée, suivi d’une discussion bien entendu sur ce qui n’est pas possible dans un QCM. J’ai ensuite reçu le Graal: un mail me disant qu’en cas de projet je serai contacté. Mais je n’ai reçu aucun vrai projet de Crowd Testing; juste une offre où il me fallait prendre le taxi autant de fois que possible à Paris avec une application mobile, pour une rémunération non communiquée. J’ai peut-être raté l’offre de ma vie, car je n’y ai pas répondu.

  • Gain financier: 0€
  • Temps investi: 2h

TesterWork

Les invitations qu’on reçoit par mail expirent très rapidement, et le peu de fois où j’ai réussi à m’inscrire, la confirmation arrivant 6 heures plus tard, il était déjà trop tard pour espérer quoi que ce soit du cycle de test. Il m’est aussi arrivé de tout de suite me connecter après avoir été invité et me rendre compte qu’une centaine de bugs avaient déjà été trouvés, les premiers plusieurs heures auparavant.

Je soupçonne donc ce service d’ajouter les testeurs au fur et à mesure, mais étant donné qu’il faut toujours être le premier à trouver le bug pour être rémunéré, il devient quasi impossible de rentabiliser son temps si vous n’êtes pas dans les premiers élus. De plus, certains cycles reviennent, et les bugs connus (et donc à ne plus remonter) sont renseignés dans un énorme fichier excel avec plusieurs onglets pour chaque environnement et OS: autant chercher une aiguille dans une meule de foin, les titres étant souvent très approximatifs.

J’ai toutefois réussi à rapidement tester une application, j’y ai trouvé un crash, renseigné le bug et celui-ci a été accepté, mais ouf! On se croirait un jour de soldes à -50% dans un Apple Store (si ça existait). A noter que TesterWork prétend avoir comme clients des grands noms comme Spotify, Facebook, Evernote…

  • Gain financier: $8
  • Temps investi: 6h

BugFinders

Pour pouvoir participer, une application demo est à tester, et il faut saisir 5 rapports de bug ensuite vérifiés par l’équipe pour faire partie de la base de données de testeurs. Une fois cela fait, j’ai reçu plusieurs offres de projet de Crowd Testing, et j’ai tenté plusieurs cycles. Pour certains il faut utiliser un tunnel VPN, et le jour où une nouvelle version est sortie, certains projets demandaient toujours d’utiliser l’ancien. Ce n’est pas très pratique et demande de la gymnastique. De plus, le premier mot de passe que j’utilisais contenait un ‘+’ et visiblement cela n’était pas accepté.

Il n’y a pas de tchat dans les projets, donc impossible de communiquer avec les responsables des projets ou les autres testeurs qui, souvent, ont des questions sur le périmètre pas toujours bien décrit, ou sur une fonctionnalité peu claire. Le site s’est retrouvé plusieurs fois en maintenance, sans que le moindre mail n’ait été envoyé aux testeurs (en tout cas je n’en ai pas reçu). Ça ne fait pas très sérieux tout de même. Mais ce qui fait encore moins sérieux est d’envoyer un mail disant que les bugs seraient payés jusqu’à £10.00 avec bonus de £2.00.

BugFinder email

Finalement on se rend compte une fois inscrit que le paiement minimal (ce qu’on reçoit dans 90% des cas) est de £0.5 et que le paiement maximum de £10 n’est plus mentionné du tout.

bugfinder portal

Je leur ai envoyé un mail pour leur dire à quel point je trouve ça moyen comme méthode de communication et je n’ai jamais reçu de réponse: c’était il y a quelques mois.

Toujours est-il que j’ai réussi à remonter 2 bugs: l’un a été accepté pour un paiement de £0.00 (merci) parce qu’il y avait en fait d’autres problèmes plus ou moins similaires sur la même page, l’autre refusé. J’ai communiqué, avec la fonctionnalité dédiée à cela, que je n’étais pas d’accord avec le fait que ce bug était refusé, en argumentant plutôt bien (à mon humble avis), mais je n’ai jamais eu de réponse non plus: c’était il y a quelques mois.

Le problème que j’avais remonté concernait un site web sur mobile. En bas de la page se trouvaient les liens vers les réseaux sociaux Twitter, Medium, Facebook, YouTube. J’ai ces applications sur mon mobile, et en cliquant sur l’icône, l’application s’ouvre dans tous les cas, sauf pour Facebook qui ouvre un nouvel onglet du navigateur et donc pas l’application. Le bug a été refusé car considéré comme une suggestion, et le projet n’acceptait pas les suggestions. Pour moi ce n’est pas une suggestion mais une vraie inconsistance. Et même si ce n’est pas très grave, ne pas avoir reçu de réponse lors de la discussion du désaccord m’a donné envie de fuir et de ne plus continuer l’expérience.

  • Gain financier: £0.00
  • Temps investi: 5h

TesterIO

Il me semble que cette offre est à la base allemande avec maintenant une implantation à San Francisco. C’est un gros acteur du marché, et beaucoup de projets sont proposés, j’ai été souvent invité et y ai passé beaucoup de temps. Certains projets sont parfois très courts (quelques heures) et reviennent très souvent, sans doute à chaque évolution. On m’a même dit que certains bugs critiques pouvaient être renseignés à chaque nouveau cycle lorsque le responsable des tests n’avait pas eu le temps de renseigner la liste de bugs connus.

Je n’ai pas vu passer de cycle avec plan de test à suivre et rémunéré même sans découverte de bug, mais il est possible qu’ils en proposent. TesterIO joue beaucoup sur la notation des testeurs, et un classement est diffusé et visible par tous. Bien entendu, plus vous êtes bien classés, et plus vous serez invités à des cycles de test intéressants et rémunérateurs. Il faut donc beaucoup s’investir avant d’en retirer une rémunération conséquente. J’ai essayé, mais j’ai hélas essuyé plusieurs échecs, dont certains difficiles à accepter, notamment lorsqu’on a une certaine expérience.

Je n’ai par exemple pas aimé le fait de ne pouvoir ajouter que des vidéos au format mp4 qui s’ouvrent dans un navigateur. Leurs outils de revue de bugs sont sans doute très limités et c’est la raison pour laquelle ils n’exigent qu’un seul format, alors que n’importe quel OS en supporte plein. Que de temps perdu, notamment lorsque dans mon cas on utilise plusieurs services de Crowd Testing, il faut à chaque fois se demander quel outil de capture utiliser, voire investir dans un outil qui permette tous les formats possibles.

Les exigences sont souvent très peu claires, il est très facile de se tromper et de remonter des bugs qui n’intéressent pas le client, client avec qui vous n’avez bien entendu pas de contact. Quant aux bugs connus, ils sont difficiles à parcourir, et tous les précédents bugs rejetés ne s’y trouvent pas. Donc, il est très facile de remonter un bug alors qu’il aurait été simple, avec un peu de communication efficace, de s’en rendre compte.

De plus, vous ne savez presque rien sur le projet avant de l’avoir accepté…pour finalement vous rendre compte que vous ne pourrez pas le faire, ou que tout simplement il vous parait évident qu’il ne sera pas rémunérateur ni intéressant intellectuellement.

testIO

Il existe un tchat pour communiquer avec les Test Team Leader, mais celui-ci a dû être développé en 1980, il n’est par exemple même pas possible d’attacher un screenshot ou une vidéo, juste du texte simple…Sérieusement ?

Vous pouvez être payé si vous reproduisez le bug de quelqu’un d’autre, c’est une bonne idée que de s’appuyer sur les autres testeurs pour s’assurer que les problèmes peuvent être reproduits. Mais cela est peu payé (0.5€, oui 50 cents) et pas du tout si le bug en question est refusé. Mais cela, vous ne le saurez que trop tard. Le paiement peut arriver jusqu’à 2 mois plus tard, et il faut aller demander ce paiement dans une fonctionnalité cachée et mal présentée dans l’interface. Beurk!

Il y a quelque chose que j’ai eu du mal à comprendre avec testIO, c’est la notion de Content Issue. Comme ce sont souvent des sites d’e-commerce, le contenu (la base de données des produits) est bien séparé de toute la partie métier. Et pratiquement tous les cycles de tests considèrent le contenu comme hors périmètre. Il n’est pas toujours évident de savoir ce qui est considéré comme du contenu et ce qui ne l’est pas. Il faut sans doute beaucoup d’expérience sur la plateforme pour être à l’aise et bien savoir ce qui relève du contenu de ce qui ne l’est pas. Sachant que bien entendu, vous n’avez aucune information sur l’architecture du produit.

Quelques exemples de mauvaises expériences avec ce service:

  • Il m’est arrivé d’avoir des vidéos refusées dans un ticket, de devoir refaire les 5 en question alors que la description du ticket était bonne. Résultat, mon ticket a finalement été considéré comme OOS (Hors périmètre). Grrr!
  • J’ai eu plusieurs autres bugs refusés car hors périmètre, mais il était juste évident que ce périmètre était à la base mal décrit. J’ai plusieurs fois essayé de raisonner les Test Lead de TestIO sur le sujet, mais force est de constater que vous n’avez aucun pouvoir, et que même si une erreur peut leur être imputée, vis-à-vis du client, ils ne peuvent juste pas faire passer des bugs qui sont hors-périmètre, car celui-ci ne va pas accepter de les payer si ils ne l’intéressent pas. J’ai par exemple eu le cas en faisant planter une recherche avec des encodages Cyrillic, arabes ou tchèques. J’ai renseigné le bug, qui a été refusé, mais comment aurais-je pu savoir que cela n’intéressait pas le client à qui je ne peux pas parler ?
  • Il n’est possible de ne parler que dans le tchat public visible par tous. Parfait pour que la troupe reste docile 🙂
  • Lorsque vous n’êtes pas d’accord avec un bug refusé, vous avez la possibilité de le « disputer » en le précisant dans un long google doc et vous devez ensuite attendre la réponse. Le process est assez efficace et bien rodé, mais bien sûr il est rare qu’ils changent d’avis, et surtout c’est irrévocable. Tant pis pour le client si vous avez trouvé quelque chose qui aurait une grande valeur pour lui. De plus, si vous discutez trop de bugs, vous devenez banni en quelque sorte et ne pourrez plus discuter quoi que ce soit. Je suis joueur, cela m’est donc arrivé, et c’est difficilement acceptable de se dire que les bugs que j’ai trouvés, et qui sont refusés, ne pourront même pas être un peu discutés, challengés. C’est à ce moment que j’ai décidé de quitter le service et d’en faire le bilan financier pour ne plus y revenir.

J’ai été long, mais il est vrai que c’est avec tester.io que je me suis senti le plus lésé et déçu. Je me permets tout de même d’ajouter que j’ai pu discuter avec quelqu’un de bien classé chez eux, et qui vit de cette activité, le revenu qu’il en retire étant largement suffisant pour son pays de résidence. Donc on peut en être très satisfait aussi.

  • Gain financier: 23€
  • Temps investi: quelques jours

uTest

Je n’ai pas de chiffre, mais c’est sans doute le leader du marché, proposé par la société Applause. Il y a une multitude de projets auxquels j’ai pu être invité et participer. Et c’est celui pour lequel j’ai passé le plus de temps. Je ne saurais dire pourquoi je me suis plus pris au jeu de uTest que de testerIO, car j’ai eu aussi de nombreuses déceptions. Les projets sont classés en plusieurs catégories: Fonctionnel, Utilisabilité, Charge, Sécurité, Localisation, Automatisation. Dans votre profil, vous devez noter votre niveau d’expertise sur ces différents sujets et vous serez invité selon ce critère, mais aussi selon votre pays. J’ai entendu dire qu’il pouvait y avoir très peu de projets pour certains pays, alors que pour moi en France, il y en avait pas mal, ne m’étant positionné que sur les cycles de tests fonctionnels, d’utilisabilité et de localisation. uTest propose souvent des Test Cases à dérouler assurant une rémunération à l’exécution, et pas qu’au bug trouvé.

Pour donner une idée, j’ai joué 104 plans de tests, remonté 189 bugs (dont 30 rejetés) et ce dans 53 produits testés.

uTest stats

Quelques remarques:

  • Les exigences ne sont pas toujours claires
  • Le tchat ne brille pas non plus par son efficacité, on est d’ailleurs souvent déconnecté, et il n’y a pas de lien direct entre les conversations dans le tchat et la page du projet. Pas de possibilité d’attacher de fichier image ou vidéo…Sérieusement ? C’est d’ailleurs troublant de participer à un cycle de test sur un des produits leader de la communication collaborative tout en utilisant un outil digne d’un TP d’informatique de 5ème.
  • La communication n’est pas toujours facile avec les TTL (Test Team Leader), notamment à cause du point précédent, mais aussi si il·elle est dans une timezone différente, et si il·elle ne maîtrise pas bien le projet et le produit, ce qui arrive de temps en temps.
  • L’interface n’est pas du tout pratique à utiliser, mais accepte différents formats de vidéos de capture…
  • Les bugs sont parfois revus plus d’un mois plus tard, et les paiements étant bi-mensuels cela retarde d’autant plus vos paiements. Cela dit, quand ça tombe sans prévenir, ça peut faire une bonne surprise

Il est presque possible de s’occuper à plein temps avec uTest.

  • Gain financier: $2750
  • Temps investi: équivalent de 5 ou 6 semaines plein temps

We Are Testers

Proposé par la société Stardust avec sa communauté We Are Testers est une offre Franco-Canadienne proposant des missions pour testeurs localisés dans un certain nombre de pays. Les dernières missions cherchaient des testeurs de Belgique, Pays-Bas, France, USA, Allemagne, Italie, etc.

Il n’y a pas beaucoup de projets proposés, difficile d’en retirer un revenu conséquent contrairement à uTest, mais les projets sont, à mon avis et par mon expérience, beaucoup mieux préparés et faciles à intégrer. Vous êtes prévenu quelques jours avant, vous pouvez préparer votre agenda en conséquence, et parce qu’il y a relativement assez peu de testeurs par cycle, ne pas être à fond dès la première seconde n’est pas forcément un problème, et vous pouvez très bien vous allouer du temps le soir si vous êtes en activité et si le projet est sur plusieurs jours.

On s’y inscrit avec son profil Linkedin qui va être revu, puis avec une sorte d’examen online (je ne me souviens plus du contenu, mais sans doute un QCM). J’ai tout d’abord été refusé sans trop comprendre pourquoi, mais je n’avais en fait pas répondu à l’examen suffisamment tôt après que mon profil Linkedin ait été accepté. J’ai eu la chance de trouver à qui parler pour être finalement accepté.

Quelques remarques:

  • Ils ont créé un espace de travail Slack et ça, par rapport aux autres offres, c’est très très rafraichissant. La communication avec le responsable du cycle de test en est grandement amélioré, en cas de doute on peut ajouter une vidéo/Screenshot au format qu’on veut, on peut parler avec les autres testeurs facilement, on est notifié…bref, inutile de vous raconter tout ce qu’un outil comme Slack peut améliorer pour un groupe travaillant sur la même tâche en terme de communication, vous le savez sans doute déjà. Bon point en tout cas.
  • L’interface proposée est très bien pensée, jolie, ergonomique et sans aucun doute la plus pratique pour la gestion des bugs. On peut y ajouter tout type de vidéo et screenshot, et il n’y a pas 50 règles à respecter. On se sent face à des humains qui sont capables de comprendre un texte avec une vidéo de démonstration, alors que d’autres, bon…En tout cas, c’est un plaisir à utiliser.
  • Le prix par bug est censé être clair: 6, 8 ou 10€ selon l’importance de la trouvaille. Mais il m’est arrivé à plusieurs reprises d’avoir des missions dont le paiement était mal expliqué. Notamment une mission avec un long document à suivre, et l’interface affichait toujours en plus le paiement classique: 6, 8 ou 10€ par bug. Au final, les 46 bugs que j’ai saisis n’étaient pas payés du tout, seulement le déroulé du document. Pas cool de l’apprendre après y avoir passé 10 heures. [Mis-à-jour: finalement avec un peu de discussion avec l’équipe, ils ont accepté de rajouter un bonus en comprenant que le cycle n’était pas assez bien payé, et les instructions pas suffisamment claires. Bon point]
  • Les questions que j’ai pu poser ont eu des réponses rapides, même si elles impliquaient un retour client
  • Je n’ai pas eu à discuter de bug refusé si ce n’est les 46 pas payés (voir plus haut)
  • Vous êtes payés très rapidement, sous quelques jours. Les bugs sont en effet revus assez vite après la fin, et tout de suite payés.

We Are Testers

  • Gain financier: 552€
  • Temps investi: équivalent de 2 semaines plein temps

Conclusion personnelle

Tous les services ne se valent pas, et vous ne pourrez pas faire un choix juste en suivant l’avis d’une personne. Si vous voulez vous essayer au Crowd Testing, il faut vraiment investir pas mal de temps avant de vraiment pouvoir en tirer un bénéfice qui peut être inférieur au salaire minimal selon le pays où vous le faites. Si vous cherchez un complément de revenu, je peux dire que dans mon cas, le premier mois on perd beaucoup de temps et de cheveux, ensuite on comprend mieux ce qui est attendu et ce qui ne l’est pas, et c’est seulement après 1 ou 2 mois sur la même plateforme qu’on commence à maîtriser l’ensemble de la chaine et qu’on peut gagner un peu d’argent.

Ensuite il faut savoir rester fidèle. Dans mon cas, étant en inactivité quelques mois, j’ai voulu tester le Crowd Testing quelques semaines, je me suis finalement pris au jeu et ai continué plusieurs mois jusqu’au moment où j’ai trouvé une mission plein temps ne me laissant plus assez de temps pour continuer. La rédaction de cet article signe aussi la fin de cette expérimentation, je ne ferai plus de campagne de test avec ces plateformes sauf en cas de période d’inactivité, et seulement avec celles avec qui il a été le plus facile de travailler, soit peut-être uTest et WAT. Mais il ne faut pas espérer, si vous êtes dans un cas similaire au mien, freelance payant toutes ses taxes et frais en France, gagner plus que le SMIC avec ces plateformes. Mieux vaut aller servir des Big Mac.

5 réactions au sujet de « Le Crowd Testing: opportunité ou arnaque pour le testeur ? »

  1. Merci pour cet article qui donne une bonne vision de ces plateformes. Ca m’intéresserait aussi d’avoir des retours d’entreprises, pour voir si l’investissement dans ce type de plateformes peut valoir la peine dans le cas où l’équipe de test est trop chargée/inexistante/trop petite…

    En tous cas, c’est tellement dommage que la gestion des doublons ne soit pas optimisée dans certaines plateformes. La frustration de se voir refuser des bugs doit en avoir fait fuir plus d’un. Aussi, ça m’a fait penser à StackOverflow, qui gère tellement bien la chose ; au fur et à mesure que l’on rédige un article, des articles similaires sont remontés et permettent de voir rapidement si on n’est pas en train de se fatiguer pour rien.

  2. Super article !
    Je n’avais jamais lu de rapport de test des plateformes de crowd testing. Et je me demandais vraiment dans quelle mesure ça pouvait être intéressant pour le testeur.
    Maintenant il s’agirait de savoir si c’est intéressant pour le client qui teste son système par ce moyen.
    J’aimerais beaucoup essayer cette méthode, mais je ne suis vraiment pas sûr du ROI.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *