Zobaczmy parę ciekawych przypadków niewłaściwego zafunkcjonowania machine learning lub AI.
Dane jak ropa
Możliwość dokładnego wglądu w dane i zastosowanie algorytmów uczenia maszynowego to rzeczy nieocenione, ale błędy w tym zakresie mogą kosztować reputację, przychody, a nawet życie. W 2017 roku The Economist stwierdził, że to dane, a nie ropa naftowa, stały się najcenniejszym zasobem świata. Od tego czasu chyba nic się nie zmieniło. Organizacje z każdej branży inwestowały i nadal intensywnie inwestują w dane i analizy. Ale podobnie jak ropa, dane i analityka mają swoją ciemną stronę.
Według raportu IDG State of the CIO 2020 37 % badanych „liderów IT” stwierdziło, że analityka danych będzie napędzać najwięcej inwestycji IT w ich organizacji w tym roku. Wgląd uzyskany z analiz i działań opartych na algorytmach uczenia maszynowego może zapewnić organizacjom przewagę konkurencyjną.
Arkusz kalkulacyjny ma swoje ograniczenia
Wielka Brytania nie policzyła tysięcy przypadków COVID, przekraczając limit danych w arkuszu kalkulacyjnym. W październiku 2020 roku Public Health England (PHE), brytyjski organ rządowy odpowiedzialny za liczenie nowych zakażeń COVID-19, ujawnił mianowicie, że prawie 16 000 przypadków koronawirusa nie zostało zgłoszonych między 25 września a 2 października.
PHE wykorzystuje zautomatyzowany proces do przesyłania pozytywnych wyników laboratoryjnych COVID-19 jako pliku CSV do szablonów Excela. Niestety arkusze kalkulacyjne programu Excel mogą mieć maksymalnie 1 048 576 wierszy i 16 384 kolumn na arkusz. Ponadto PHE podawał przypadki w kolumnach, a nie w wierszach. Gdy przypadki przekroczyły limit 16 384 kolumn, program Excel odciął 15 841 rekordów z dołu.
Algorytm opieki zdrowotnej nie mógł oznaczyć pacjentów rasy czarnej
W 2019 roku badanie opublikowane w Science ujawniło, że algorytm przewidywania opieki zdrowotnej, używany przez szpitale i firmy ubezpieczeniowe w całych Stanach Zjednoczonych do identyfikacji pacjentów wymagających programów „zarządzania opieką wysokiego ryzyka”, działał tak, że znacznie mniej prawdopodobne było zakwalifikowanie do tego programu osoby rasy czarnej niż rasy białej.
Badanie wykazało, że algorytm wykorzystywał wydatki na opiekę zdrowotną jako wskaźnik zastępczy dla określenia indywidualnych potrzeb zdrowotnych. Według Scientific American koszty opieki zdrowotnej bardziej chorych czarnoskórych osób były porównywane na równi z kosztami zdrowszych białych ludzi, co oznaczało, że czarni otrzymywali niższe oceny ryzyka, nawet gdy ich potrzeby zdrowotne były większe.
Ciekawe? Poczytaj więcej u nas.
Dataset wyszkolił chatbota firmy Microsoft w zakresie wyrzucania rasistowskich tweedów
W marcu 2016 roku Microsoft dowiedział się, że używanie interakcji Twittera jako danych szkoleniowych dla algorytmów uczenia maszynowego może mieć całkiem niepożądane rezultaty. Microsoft wypuścił Tay, chatbota AI, opartego o funkcjonowanie mediów społecznościowych. Firma opisała to jako eksperyment dotyczący „rozumienia konwersacyjnego”.
Pomysł polegał na tym, że chatbot przybrał postać nastolatki i wchodził w interakcje z osobami za pośrednictwem Twittera, opierając się na swoistym połączeniu uczenia maszynowego i przetwarzania języka naturalnego. Microsoft zasypał go anonimowymi danymi publicznymi i niektórymi materiałami wstępnie napisanymi przez komików, a następnie uwolnił go, aby uczył się i ewoluował na podstawie interakcji w sieci społecznościowej.
Co mogło pójść nie tak?
W ciągu 16 godzin chatbot opublikował ponad 95 000 tweetów, które szybko stały się jawnie rasistowskie, mizoginiczne i antysemickie. Microsoft szybko zawiesił usługę a następnie ją trwale wyłączył.
Narzędzie rekrutacyjne Amazon AI polecane tylko dla mężczyzn
W 2014 roku Amazon rozpoczął pracę nad oprogramowaniem rekrutacyjnym opartym na sztucznej inteligencji. Był tylko jeden problem: system zdecydowanie preferował kandydatów płci męskiej. W 2018 roku Reuters podał informację, że Amazon zrezygnował z projektu.
System Amazona przyznawał kandydatom oceny w postaci gwiazdek od 1 do 5. Jednak modele uczenia maszynowego były szkolone na podstawie życiorysów przesyłanych w ciągu ostatnich 10 lat do Amazon – a większość z nich pochodziła od mężczyzn. W wyniku tych danych szkoleniowych system zaczął karać wyrażenia w życiorysie, które zawierały słowo „kobiety”, a nawet praktycznie zdegradował kandydatki ze wszystkich żeńskich uczelni.
Sprawdź oferty pracy na TeamQuest
Firma próbowała edytować narzędzie, aby było neutralne, ale ostatecznie zdecydowała, że nie może zagwarantować, że nie nauczy się ono innego dyskryminującego sposobu sortowania kandydatów i zakończyła projekt…
Analiza docelowa naruszyła prywatność
Według New York Times, w 2002 roku dział marketingu firmy Target zaczął się zastanawiać, jak może ustalić, czy klientki są w ciąży. Chcieli zidentyfikować kobiety w ciąży, ponieważ są pewne okresy w życiu - przede wszystkim ciąża - kiedy ludzie najprawdopodobniej radykalnie zmienią swoje nawyki zakupowe. Efekt? Liczne przypadki gdy sprzedawcy nieumyślnie ujawniali rodzinom nastolatek, że te są w ciąży.
