Anzeige
Anzeige
Anzeige
Anzeige
Sprachassistent Sprechblase Fotolia 121046786 Web
Welcher Assistent bietet die besten Antworten? Siri, Cortana und Google Home im Test (Bild:stock.adobe.com)
Voice Studie KI

Auch Sprachassistenten sind vergesslich

Wie zuverlässig sind Sprachassistenten wirklich? Die Entwicklung von Voice Search macht zwar Fortschritte, doch generell ist weiterhin Luft nach oben. Zu diesem Ergebnis kommt Searchmetrics, Anbieter einer Enterprise Search- und Content-Marketing-Plattform, in seinem zweiten Praxistest der digitalen Sprachassistenten Google Home, Siri und Microsoft Cortana.

Anzeige
Anzeige
Anzeige

Einfach mit "Ok, Google" die Antwort auf alle Fragen erhalten – oder ist es doch nicht so einfach? Die Entwicklung von Voice Search, der sprachbasierten Suchfunktion mittels KI, macht insbesondere im Fall von Google Home weiter Fortschritte. Doch generell ist weiterhin Luft nach oben. Zu diesem Ergebnis kommt Searchmetrics, Anbieter einer Search- und Content-Marketing-Plattform für Unternehmen, in seinem zweiten Praxistest der digitalen Sprachassistenten Google Home, Siri und Microsoft Cortana. Interessanterweise verlernten die Smart Speaker auch einige Antworten im Vergleich zum ersten Test.

Bei dem Test wollte das Unternehmen unter anderem herausfinden, ob sogenannte Featured Snippets, der Knowledge Graph oder direkte Antworten auf eine Frage an oberster Stelle in den Suchergebnissen bevorzugt werden und auf welche Fragen es noch keine (relevanten) Antworten gibt. Getestet wurden 100 Fragen mit monatlichem Suchvolumen zwischen 2.000 und 180.000 Anfragen.

Anzeige

Ein erster Test fand bereits im August 2017 statt. Im Zeitraum bis zum jetzigen Test im März 2018 konnte Google Home seine Antwortquote um 17 Prozent steigern. Somit beantwortet Google Home mittlerweile fast doppelt so viele Fragen, wie das zweitplatzierte System Siri – Cortana liegt weiterhin auf dem dritten Platz. Zwar konnten nur 13 Fragen (vorher 12) von allen drei Sprachassistenten richtig beantwortet werden, allerdings scheiterten die Smart Speaker zusammen nur noch an 39, statt vorher an 47 Fragen. Bei den restlichen 41 Fragen hatte Google Home mit Abstand die höchste Antwortquote.

Der Google Knowdledge Graph

Der Google Knowledge Graph ist ein Teil der Universal & Extended Search und damit eine Anreicherung der organischen Google-Suchergebnisse. Bei der normalen Textsuche sieht der Nutzer die Ergebnisse, die aus unterschiedlichen Quellen zusammengestellt sind, in einer Box rechts oben. Google Home kann mittlerweile alle Fragen zu 100 Prozent korrekt beantworten, für die es eine Knowledge-Graph-Integration gibt. Im ersten Test waren es lediglich 80 Prozent. Im Gegensatz dazu verschlechterten sich Siri (von 60 Prozent auf 50 Prozent) und Cortana (von 60 Prozent auf 57 Prozent).

Featured Snippet

Featured Snippets sind kurze Textblöcke, die oberhalb der Suchergebnisliste, direkt unterhalb der bezahlten Anzeige, erscheinen. Ein Featured Snippet tritt zudem nur auf, wenn der Nutzer eine echte Frage gestellt hat - und nicht nur ein Wort einträgt. Bei der Beantwortung von Fragen, für die bei den Suchergebnissen Direct Answers oder Featured Snippets eingebunden sind, liegt die Antwortquote von Google Home vorn – hier hat sich der Sprachassistent von 66 Prozent auf 72 Prozent gesteigert. Dies betrifft beispielsweise Suchanfragen wie "Sind Spinnen Insekten?", "Wo leben Pinguine?" oder "Warum wurde die Berliner Mauer gebaut?". Hier profitiert Google Home deutlich davon, dass eine riesige Websuchmaschine mit entsprechender Datenbasis im Hintergrund liegt.

W-Fragen

W-Fragen können von allen drei Systemen häufiger als alle anderen Fragen beantwortet werden. "Was"-Fragen wurden dabei am häufigsten beantwortet – so liegt der Mittelwert aller beantworteten Fragen bei 51 Prozent – die Beantwortung aller Nicht-"Was"-Fragen hingegen bei nur 34 Prozent.

Voice Search W Fragen
(Bild: Searchmetrics)

Google Home

Auch Google Home kann noch nicht zu jeder Suchanfrage Auskunft geben. Dahingegen haben sich die Antwortquoten für Keywords, Phrasen und Fragen, die über ein hohes Suchvolumen verfügen, deutlich verbessert. Zudem kann Google Home inzwischen Actions, Skills und Apps starten, wie zum Beispiel TV Spielfilm für TV oder eine Mondphasen-App. Zudem entwickelte sich Google Home auch hinsichtlich des Antwortstils: So wurden beispielsweise viermal häufiger menschliche, beziehungsweise lustige Antworten gegeben und achtmal öfter Wikipedia explizit als Quelle genannt.

Google Home
(Bild: Google)

Interessanterweise hat das Gerät Fragen verlernt. Zum einen Fragen, die der Knowledge Graph beantworten können müsste, wie etwa "Wann ist Fasching?" und zum anderen diverse Fragen aus dem Medizin-Bereich oder "Wann kann ich in Rente gehen?", die früher über Website-Zitate beantwortet wurden. Insbesondere für Keywords/Phrasen/Fragen, die über ein hohes mobiles Suchvolumen verfügen (und demzufolge theoretisch auch öfter per Voice Search durchgeführt werden), haben sich die Antwortquoten bei Google Home jedoch deutlich verbessert. Darüber hinaus hat das System beim Beantworten von Fragen hinzugelernt, für die es noch keine Direct Answers und/oder Featured Snippets gab und gibt.

Cortana

Microsoft Cortana verfügt jetzt generell über eine deutlich bessere Spracherkennung als noch vor sieben Monaten und versteht mittlerweile die meisten Fragen. "2016" und "Tinder" kann das System aber immer noch nicht interpretieren. Genauso wenig wie "Was bedeutet #?". Die Phrase wird durch das System zu "was bedeutet" verkürzt, also erklärt Cortana, was "was?" bedeutet. Was die Antworten selbst angeht, gibt es bei Cortana jedoch keine sichtbare Verbesserung. Zwar werden nur noch in etwas über 60 Prozent (statt vorher 70 Prozent) aller Fälle Bing-Suchen ausgeführt, doch das liefert leider auch nicht mehr verwertbare Antworten.

Siri

Apples Siri hat sich im Prinzip seit dem letzten Test nicht geändert. Im Gegenteil – das System hat teilweise sogar Fragen verlernt. Die Antworten gehen oft sogar komplett am Thema vorbei, zum Beispiel bei Fragen wie "Was essen Igel" (Antwort: "Ich habe keine passenden Restaurants gefunden?") oder "Was sind Verben?" (Antwort: Infos zur Stadt Werben an der Elbe).

Voice Search Igel
(Bild: Searchmetrics)

Fazit

Es gibt mittlerweile deutlich weniger Fragen, auf die keiner der Sprachassistenten antworten konnte.Demgegenüber gibt es jetzt mehr Fragen, auf die alle Sprachassistenten antworten konnten. Insgesamt gibt es deutlich mehr Fragen, die nur Google Home beantworten kann – und entsprechend weniger Fragen, die nur die Siri oder Cortana beantworten können.

Über Searchmetrics: Searchmetrics ist ein Wegweiser für die Entwicklung von Content, der den Such-Intentionen von Nutzern entspricht – auf Basis der Deep-Learning Insights der Searchmetrics SuiteTM und Searchmetrics Content Experience. Unternehmen, Agenturen, SEO-Teams oder Content Marketern Vorschläge für die Konzeptionierung, Identifikation und Optimierung relevanter Inhalte. Die Analysen machen deutlich, welche Inhalte in verschiedenen Ebenen wie organischen oder bezahlten Suchergebnissen sowie sozialen Netzwerken am besten funktionieren, wie der eigene Webauftritt aufgestellt ist und wie die Inhalte eines Unternehmens im Vergleich zum Wettbewerb performen.

Anzeige
Anzeige
Verlagsangebot
Anzeige
Anzeige
Aktuelle Stellenangebote
Alle Stellenangebote