Z artykułu dowiesz się:

• Dlaczego ograniczona przejrzystość AI stanowi zagrożenie
• Co to jest Indeks Transparentności Modeli Podstawowych AI
• Kto i jak skorzysta na większej przejrzystości modeli podstawowych
• Na co wskazują wyniki badania naukowców ze Stanford University
• Co może zmienić Indeks Transparentności Modeli Podstawowych AI

Ograniczona przejrzystość AI to zagrożenie dla społeczeństwa

Nic nie dzieje się bez przyczyny. Wszystko powstaje z jakiegoś powodu i po coś, tak też jest w przypadku Indeksu Transparentności Modeli Podstawowych AI. Zacznijmy od tego, że przejrzystość od dawna stanowi problem dla społeczeństwa zainteresowanego technologią cyfrową. Dobrym przykładem jest reklama, która przez długi czas funkcjonowała bez żadnych zasad, takie przynajmniej mogliśmy mieć wrażenie. To się jednak zmienia i obecnie są jakieś wytyczne, które stawiają ograniczenia w kwestii treści reklam. Konsumentom mydli się oczy, są zwodzeni i (zaryzykujmy) oszukiwani. Trafiają do nich komunikaty bez potwierdzenia – podejmują więc nieświadome decyzje zakupowe. To samo dzieje się w mediach społecznościowych, nad którymi postanowiono już jakiś czas temu przejąć większą kontrolę – już nie wszystko przechodzi jak kiedyś. Taka swoboda działania w świecie technologii cyfrowej doprowadziła do dezinformacji. Mamy ograniczone zaufanie do reklam i komunikatów w sieci. Obawiamy się, że to, co słyszymy czy widzimy, mija się z prawdą. To samo dzieje się ze sztuczną inteligencją.

Obecnie AI staje się coraz bardziej zaawansowaną technologią, rozwija się w zawrotnym tempie i wkrótce możemy stracić nad nim kontrolę, jeśli zarządzanie nim nie zostanie odpowiednio ustrukturyzowane. Wzrasta też potrzeba zrozumienia, jak systemy oparte na ten technologii działają i w jaki sposób oddziałują na społeczeństwo. Przejrzystość modeli podstawowych AI ma również duże znaczenie dla inicjatyw politycznych, ponieważ na podstawie dostępnych danych i informacji odpowiednie osoby są w stanie podejmować bardziej świadome decyzje.

Czym właściwie jest Indeks Transparentności Modeli Podstawowych AI (FMTI)?

To odpowiedź na narastające problemy związane z przejrzystością funkcjonowania technologii opartych na sztucznej inteligencji. W ten sposób zespół ze Stanford University postanowił wymusić na twórcach technologii większą dostępność danych dotyczących jej działania, wpływu na środowisko i zastosowanych rozwiązań. Celem projektu jest zwiększenie przejrzystości i zrozumienia modeli sztucznej inteligencji. Jak podkreśla Bommasani:

Jest to dość wyraźny wskaźnik tego, jak te firmy (biorące udział w badaniu) wypadają na tle konkurencji i mamy nadzieję, że zmotywuje je do poprawy przejrzystości.

FMTI skoncentrowany jest wokół 100 wskaźników oceny, co tylko potwierdza, że jest bardzo szczegółowy. Podzielono je na 3 grupy, z których każda dotyczy innych kryteriów oceny. Ułatwi to uporządkowanie całej potencjalnej wiedzy, jaką można uzyskać dzięki Indeksowi. Oto one:

• Wskaźniki upstream – dotyczą one procesów wykorzystywanych przy budowie modelu podstawowego. Są wiec ukierunkowane na wszystkie dane i prace towarzyszące etapowi tworzenia. To te wskaźniki pozwalają nam zrozumieć, jakie zasoby są potrzebne, aby można było zbudować efektywny model AI
• Wskaźniki modelu – są skoncentrowane na właściwościach i funkcjonalnościach modelu podstawowego. Uwzględniają zdolności modelu, ale również potencjalne ryzyka. Na podstawie tych wskaźników jesteśmy w stanie ocenić, do czego dany model można wykorzystać i jakie ma ewentualne ograniczenia
• Wskaźniki downstream – wskazują na to, jak model podstawowy jest dostarczany i wykorzystywany. Są więc istotne dla oceny tego, jaki wpływ ma dany model na użytkownika. Pozwalają nam zrozumieć zasady jego wykorzystywania

Dzięki wskaźnikom istnieje szansa, że w AI przestanie dominować kompromis między przejrzystością a prywatnością czy bezpieczeństwem. Bommasani wyjaśnia:

Naszym zamiarem jest stworzenie indeksu, w którym większość wskaźników nie będzie sprzeczna z interesami konkurencji; przyglądając się konkretnym kwestiom, w dużej mierze eliminuje się napięcie między przejrzystością a konkurencją.

Co ciekawe, twórcy Indeksu Transparentności Modeli Podstawowych AI podkreślają, że w przypadku niektórych wskaźników punkt zostaje przyznany modelowi, nawet jeśli wymagane informacje nie zostaną ujawnione. Dlaczego? Chodzi o stosowne wyjaśnienie powodu, dla którego taka informacja nie jest udostępniona do wiedzy publicznej.

Na transparentności skorzystają…wszyscy

Takie przynajmniej na ten moment jest przeświadczenie. Indeks Transparentności Modeli Podstawowych AI jest dostępny dla wszystkich, zarówno dla naukowców i inżynierów, jak i konsumentów. Każdy ma prawo wiedzieć, jak powstaje model podstawowy, jakie są jego funkcjonalności i jaki ma wpływ na społeczeństwo.

Na pewno im większa przejrzystości modelu podstawowego, tym większe zaufanie ze strony organizacji państwowych. To one w znaczącym stopniu odpowiadają za rozwój przemysłu i edukacji w danych kraju, regulując aspekty prawne dotyczące wykorzystywanych technologii. AI zrewolucjonizowało oba te obszary, przynosząc im wiele dobrego. Sztuczna inteligencja jest jednak nieustannie pod lupą organizacji decyzyjnych, które mają prawo dać jej szansę lub postawić przed nią duże ograniczenia. W drugim przypadku byłaby to ogromna strata.

Wzrost transparentności byłby też korzystny dla naukowców, którzy prowadzą coraz bardziej zaawansowane i dociekliwe badania nad sztuczną inteligencją. Jest ona często w centrum ich zainteresowań. Im bardziej przejrzysty jest model, tym łatwiejsze jest zrozumienie prowadzonych projektów. To z kolei pozwala na prowadzenie coraz bardziej skomplikowanych badań, ponieważ warunki temu sprzyjają.

A co z firmami, które chcą korzystać ze sztucznej inteligencji i stają przed trudnym wyborem dotyczącym tej właściwej technologii? No właśnie często wybór jest kwestią przypadku. Wynika to z tego, że brakuje dostępności do kluczowych danych. Przedsiębiorcy nie do końca wiedzą, jak dany model funkcjonuje, jak powstał, co potrafi i jakie ma defekty. Nie może dokonać analizy porównawczej, a jeśli już się jej podejmuje, to jest ona bardzo ograniczona i zbyt ogólna. To sprawia, że projekt nie jest realizowany tak, jak było to planowane. Już po jego uruchomieniu pojawiają się zakłócenia w pracy aplikacji czy innego narzędzia, do którego sztuczna inteligencja jest wykorzystywana.

Pozostają jeszcze użytkownicy, czyli często osoby, które nie mają zaawansowanej wiedzy technologicznej, a interesuje ich sam efekt – jak korzystać z konkretnego narzędzia i jakich korzyści ono dostarcza. Dla nich brak transparentności oznacza trudności w zgłaszaniu szkód. Nie wiedzą, jak można je naprawić i ewentualnie co odpowiada za zaistniałe problemy. Ponadto mają prawo wiedzieć, na jakich podstawowych modelach opierają się systemy.

Wyniki badania na Stanford University

Naukowcy ze Stanford University wzięli pod lupę 10 głównych firm modelowych, na których przeprowadzili badanie transparentności. Ocenili je przy pomocy 100-punktowego indeksu. Wśród nich znaleźli się sami giganci, jak Meta, Google czy OpenAI. Wyniki jednak nie powalają, co oznacza, że obecnie transparentność modeli podstawowych AI pozostawia wiele do życzenia. Liderem rankingu została Meta z wynikiem zaledwie 54%, a więc w kwestii przejrzystości AI jest co najwyżej przeciętna. Na drugim miejscu znalazło się BigScience, które osiągnęło FMTI na poziomie 53%, a więc depcze po piętach Meta. Czołówkę zamyka OpenAI ze wskaźnikiem 48%. Najniżej, ponieważ na 10 miejscu uplasował się Amazon, który uzyskał wynik zaledwie 12%. To już powinno martwić i dać do myślenia firmie.

W badaniu zastosowano protokół wyszukiwania strukturalnego. Miało to na celu zgromadzenie publicznie dostępnych informacji dotyczących konkretnego modelu podstawowego. Oznaczało to m.in. przeglądanie stron internetowych oraz kierowanie wielokrotnych zapytań w wyszukiwarce Google. Badacze wyjaśniają:

Naszym zdaniem, jeśli w ramach tego rygorystycznego procesu nie znaleziono informacji na temat wskaźnika, oznacza to, że firma nie zachowała się w tej kwestii przejrzyście.

Co ważne, po ocenie każdego modelu podstawowego, firmy miały możliwość wypowiedzenia się na temat wyniku i jednocześnie wyjaśnienia. Jeśli uznano, że firma ma solidne argumenty, to wprowadzono w wynikach stosowne modyfikacje. Jednocześnie badacze podkreślili, że wynik Mety nie powinien być celem dla innych firm, a jedynie punktem odbicia się od podłoża. Firma nie może pochwalić się dobrym wynikiem, jest on naciąganie przeciętny. Należałoby raczej dążyć do jego wyraźnej poprawy. Zespół badaczy jest zdania, że realne jest osiągnięcie wyniku na poziomie 80% czy 90% i ma nadzieję, że wprowadzenie Indeksu Transparentności Modeli Podstawowych AI spowoduje, że twórcy sztucznej inteligencji zaczną lepiej dbać o jej przejrzystość.

Jest indeks transparentności, ale co dalej…?

To już duży krok w kierunku zmian. Bommasani ma nadzieję, że jego indeks zmotywuje firmy do większej dbałości o przejrzystość modelu podstawowego AI. Dlaczego jednak firmy miałyby ujawniać więcej? Ocena technologii na podstawie wskaźników może doprowadzić do tego, że będzie to jeden z głównych kryteriów wyboru, jak nie jedyny. Pomiędzy technologiami pojawi się większa rywalizacja. Indeks jest pewnego rodzaju bodźcem do zmian. On nie nakazuje i nie zakazuje niczego, ale poniekąd wymusza modyfikacje i wprowadza większą konkurencyjność na rynku.

Może czasem nam się wydaje, że rozumiemy sztuczną inteligencję. Jeśli jednak zagłębimy temat, okazuje się, że nie wiemy nic o mechanizmach, jakie za nią stoją. Co więcej, nie tylko nie wiedzą o tym użytkownicy aplikacji i systemów, ale też ich twórcy. Skoro już sztuczna inteligencja tak bardzo namieszała w naszej codzienności, to zasługujemy przynajmniej na to, żeby ją dobrze rozumieć. Indeks Transparentności Modeli Podstawowych AI właśnie ma nam to umożliwić. Podziękujmy naukowcom ze Stanford University.