Od jakiegoś czasu na rynku są dostępni wirtualni asystenci, którzy w domu, pracy, czy w podróży za pomocą komendy głosowej podadzą wam aktualny kurs walut, wskażą drogę do znajomego, zarezerwują stolik w restauracji, a także zrobią za was zakupy. Właściwie obecnie możemy skorzystać z czterech takich asystentów – Siri od Apple, Cortana od Microsoftu, Alexa od Amazonu (dostępna jest też wersja biznes, piszemy o niej tutaj) i Google Asystenta. Jak się spisują? Który z nich jest najlepszy?

Wirtualny asystent – przedstawiamy test który jest najlepszy

Spis treści

• Krótkie wprowadzenie
• Jakie są założenia Wirtualnego Asystenta?
• Na czym polegał test?
• Skuteczność asystentów
• Kogo zatem wybrać?
• Podsumowanie

Krótkie wprowadzenie

Niestety nie udało mi się osobiście testować samych urządzeń. Swój tekst opieram na dwóch artykułach z testami przeprowadzonymi niezależnie na zlecenie Forbesa i Business News Daily.

Jako fizyk muszę zaznaczyć, że to drugie doświadczenie wydaje mi się bardziej rzetelne, jako że zostało przeprowadzone w różnych warunkach i zostały one przedstawione, jak również opisane. Także mamy dokładny wgląd na to jak urządzenia i ich sztuczna inteligencja zachowują się w rzeczywistych sytuacjach.

Doświadczenie dla Forbesa choć na pierwszy rzut oka wygląda naukowo, to jednak zabrakło mi w nim opisu warunków testu, a przez to moja natura naukowca każe ostrożniej podchodzić do jego wyników. Czemu to piszę? Bo oba doświadczenia mają sprzeczny rezultat.

Jakie są założenia Wirtualnego Asystenta?

Korzystamy z komputera / laptopa z podłączonymi głośnikami i mikrofonem, telefonu lub specjalnego głośnika z wbudowanym mikrofonem. Po uruchomieniu urządzenia możemy wydawać głosowe polecenia bądź zadawać pytania.

Asystent powinien odpowiedzieć głosowo z wynikiem wykonanego polecenia lub zapytania. W idealnym świecie wszystkie rzeczy powinniście móc w stanie zrobić wyłącznie za pomocą komend głosowych. Jak jest w rzeczywistości?

P.S. Jako ciekawostkę napiszę, iż wszyscy asystenci przemawiają kobiecymi głosami. Google dodało męski głos do wyboru dopiero jakiś czas temu.

Na czym polegał test?

W obu przypadkach sprawdzano głównie dwie rzeczy. Po pierwsze czy zadane pytanie zostało w ogóle odpowiedziane oraz czy odpowiedź była pełna i poprawna. To czego zabrakło mi właśnie w teście dla Forbesa, to określenie w jakich warunkach zadawano pytania.

Jak wykazało doświadczenie dla Business News Daily, ogólny hałas w pomieszczeniu mocno wpływał na skuteczność asystentów. Co więcej, nawet jeśli same urządzenia grały muzykę bądź czytały wiadomości praktycznie nie dawało się ich powstrzymać ani zapytać o coś nowego bez ręcznego wyłączenia wcześniej ich „grania.”

Skuteczność asystentów

Jak wspomniałem we wstępie oba doświadczenia mają odmienne wyniki. W pierwszym doświadczeniu kandydatami praktycznie równymi na pierwszym miejscu podium są Asystent Google oraz Siri, z wyraźnym zaznaczeniem, że Alexa i Cortana to asystenci odstający mocno od zwycięzców.

W przypadku testu dla Forbesa, zdecydowanym zwycięzcą jest Asystent Google z goniącą go Cortaną. Siri zaś z kolei określona jest jako produkt jadący daleko w tyle za peletonem.

Niestety w pierwszym przypadku brak konkretnych liczb, przez co nie jest mi dane porównać bezpośrednio obu wyników. Według opisu jednak wychodzi, że były tam stosowane bardziej rozbudowane zapytania oraz nie brakowało tam pytań kontekstowych.

Na przykład o przeliczenie waluty z dolarów na euro, a później prośba o podanie tej samej wartości w jenach. W doświadczeniu Forbesa pytania były bardzo krótkie i proste, jak „jak szybko biega jaguar?” albo „ile jest centymetrów w calu?”

Według pierwszego badania lepiej z rozbudowanymi pytaniami radzili sobie Siri i Asystent Google. Były jednak wyjątki, jak na przykład bardziej dokładne wskazówki dojazdu oferowane przez Google, czy Siri jako jedyna umiejąca zarezerwować stolik w wybranej restauracji od A do Z.

Jeśli zaś chodzi o twarde liczby, to podaję wynik testu dla Forbesa (źródło: John Koetsier, “AI Assistants Ranked: Google’s Smartest, Alexa’s Catching Up, Cortana Surprises, Siri Falls Behind”, 24.04.18 r., Forbes.com). Zadano 4492 pytania, ciemno zielone słupki opisują ilość prób odpowiedzi na pytanie, jasnozielone słupki określają ilość poprawnych odpowiedzi, gdy już doszło do próby.

Kogo zatem wybrać?

Na początek należy zadać sobie pytanie, do czego potrzebujecie asystenta. Jeśli faktycznie ma was wspierać w waszych codziennych obowiązkach to zdecydowanie warto zainteresować się Asystentem Google. Jako jedyny w obu zestawieniach jest w czołówce, można zatem przypuszczać, że faktycznie jest najlepszy.

Jeśli macie telefon od Apple, spokojnie możecie skupić się na Siri, która daje radę, no i zarezerwuje stolik w restauracji. Jeśli często przeszukujecie aukcje Amazon, to Alexa jest dla was.

Choć Cortana uplasowała się wysoko w zestawieniu Forbesa, to trudności jakich dostarcza (częste potrzeby logowania, problemy z logowaniem, zwracanie się do użytkownika nie po imieniu, a po adresie email. Tak, z małpą i kropką) mnie osobiście odstręczają od tej asystentki.

Podsumowanie

Technologia asystentów wciąż raczkuje. Na pewno jest też tak, że im dłużej z jakiegoś korzystacie tym lepiej się was uczy, lepiej rozpoznaje wasz głos i sposób w jaki mówicie. Okazuje się jednak, że i tak często nie obędzie się bez sprawdzenia czegoś ręcznie.

Z czystym sercem mogę to rozwiązanie polecić wyłącznie entuzjastom nowinek technologicznych. Jeśli jednak macie jakieś pytania i chcielibyście się dowiedzieć czegoś więcej, to koniecznie napiszcie o tym w komentarzach.