Um sich heutzutage im stark umkämpften Mobile Markt beim Konsumenten durchzusetzen, ist die Produktion von Apps stärker denn je von einem agilen Entwicklungsumfeld geprägt. Damit die Qualität unter diesen Voraussetzungen dennoch erstklassig ist, benötigen Unternehmen ein ebenso agiles und professionelles Testing Umfeld. Dabei können Unternehmen heute auf verschiedene Methoden und Anbieter zurückgreifen.

Inhouse-Testing:

Pros:
+ Direkte Nähe – Entwickler können die Ergebnisse gleich Vorort reproduzieren lassen.
+ Direkte Kommunikation – Face-To-Face können Ergebnisse besser vorgetragen werden und Briefing für Testläufe ist sehr effizient.
+ Beziehung – Beziehung zwischen Entwicklern und Testern erleichtert Zusammenarbeit.
+ Spezialwissen – Tester können sich ein Know-How über Systeme und Software aufbauen.
+ Direkte Verantwortung – Inhouse Teams werden bei Fehlern zur Verantwortung gezogen.

Cons:
– Schlechte Skalierbarkeit – Testing wird punktuell gebraucht bspw. nach Sprints und dann wieder überhaupt nicht.
– Bedingte Betriebsblindheit – Tester die regelmäßig testen werden Blind für potentielle Nutzerfehlverhalten.
– Teurer Unterhalt – Tester und die vielen Geräte sind teuer im Betrieb.

Externes Crowd-Testing:

Pros:
+ Skalierbarkeit – Sehr gute Skalierbarkeit der Tester.
+ Geschwindigkeit – schnelle Reaktionszeiten.
+ Testbedingungen – Echte Nutzer/Echte Umgebungen.
+ Devices – Sehr viele verschiedene Geräte – Longtail.

Cons:
– Kein Spezialwissen – Know-How wird nicht aufgebaut.
– Testumgebungen – Schlechte Anbindung zu Testumgebungen.
– Keine Peripherie – Externe Peripherie kann nicht mitgetestet werden, wenn nicht in der Crowd verfügbar.
– Ergebnisse – Ergebnisse von sehr unterschiedlicher Qualität, da Tester pro Bug bezahlt werden.

Externes Inhouse-Testing:

Pros:
+ Spezialwissen – Know-How wird in den Teams und in den Testplänen aufgebaut.
+ Skalierbarkeit – Gute Skalierbarkeit der Testerteams.
+ Kommunikation – Direkte und persönliche Kommunikation zum Testmanager und zu den Testern. Anbindung in alle Kommunikations- und Ticketsysteme.
+ Testumgebungen – Direkte und sichere Anbindung zu Testumgebungen. Auch zusätzlich durch Inhouse Geräte Pools.
+ Peripherie – Externe Peripherie kann in den meisten Fälle mit getestet werden.
+ Geschwindigkeit – Testergebnisse binnen eines Tages.
+ Ergebnisse – durch geschulte Experten Teams entsprechen die Ergebnisse hohen Entwickler-Standards.
+ Devices – viele verschiedene Geräte. Auch an Kundenbedürfnisse anpassbar.

Cons:
– Testerauswahl – Bedingte demographische Auswahl von Testern die der eigenen Zielgruppe entsprechen.
– Gerätepool Longtail – Geräte Pool ist beschränkt auf die mit der höchsten Verbreitung. Abdeckung von ca. 80%.
– Reaktionszeiten – Tests müssen mind. 24h vorher Angekündigt werden.

Fazit:

Alle drei Methoden haben je nach Ausrichtung des Unternehmens ihre Daseinsberechtigung. Reines Inhouse-Testing ist dabei nur den größten Entwicklern bei sehr viel regelmäßigem Output vorbehalten.
Für die meisten Unternehmen kommt somit eher externes Testing in Frage. Entwickler ziehen häufig aufgrund der Ergebnisqualität die Zusammenarbeit mit externen Inhouse-Testern vor. Gerade Regressionstests sind mit Inhouse-Teams meist effizienter abzudecken.
Das Crowd-Testing hat ihre größte Stärke, wenn es um kurze Tests von bestimmten Features geht. Die Vor- und Nachteile von Crowd- und Inhouse Testing muss am Ende für sich selbst abwägen.