Odcinek 19 — Kto odpowiada, gdy sztuczna inteligencja się pomyli

Wczoraj wieczorem stałam nad szufladą z lekami i robiłam zdjęcie pudełka telefonem.

I w pewnym momencie złapałam się na takiej myśli.

A skąd ja właściwie wiem, że to co mi się za chwilę wyświetli jest prawdą?

Cześć, nazywam się Tomasz Szuster i jestem twórcą aplikacji mojApteczka.

A to pytanie Izy jest chyba najuczciwszym pytaniem, jakie można zadać komuś,

kto buduje coś ze sztuczną inteligencją w środku.

Bo słuchaj, ja to widzę z drugiej strony.

Wszyscy teraz mówią, nasza aplikacja ma sztuczną inteligencję.

Jakby to samo w sobie było argumentem.

Jest.

No właśnie nie jest.

Dla mnie to jest raczej nowy powód do nieufności.

Bo jak człowiek się pomyli, to wiem do kogo mam pretensje.

A jak pomyli się model?

To jest dokładnie temat na dziś.

Nie czy sztuczna inteligencja się myli, bo się myli, tylko co się dzieje potem.

Kto ma ostatnie słowo?

To zacznijmy od początku.

Robię zdjęcie pudełka.

Co się dzieje?

Zdjęcie idzie do modelu, który potrafi patrzeć na obrazek i czytać.

Wyciąga z niego nazwę, dawkę, termin ważności i kod kreskowy.

To jest ten moment, który wygląda magicznie.

I tu bym się zatrzymała, gdybym była marketingowcem.

Większość się zatrzymuje.

Ale to jest dopiero pierwszy krok z trzech.

I szczerze, najmniej ważny.

Czemu najmniej ważny?

Bo model niczego nie wie.

On rozpoznaje kształty liter na zdjęciu.

Więc drugi krok jest taki, że biorę ten kod kreskowy i sprawdzam go w osobnej bazie leków.

I stamtąd dociągam producenta, postać leku, grupę ATC i odnośniki do ulotek.

Czyli to nie model mi mówi, co to za lek?

Nie. Model mówi, na tym pudełku chyba jest napisane to i to.

Rejestr mówi, co to faktycznie za lek.

To są dwie zupełnie różne rzeczy i to rozróżnienie jest fundamentem całej aplikacji.

Dobra. A trzeci krok?

Trzeci krok to ty.

Ja?

Nic się nie zapisuje samo.

Wynik trafia na ekran, na którym wszystko jest już wypełnione.

Ale wszystko da się poprawić.

I dopóki nie klikniesz zapisz, w aptetce nie ma nic.

Czyli aplikacja mi nie mówi, dodałam ci lek.

Nigdy.

Wynik trafia na ekran do sprawdzenia i poprawienia.

Decyzja jest po twojej stronie.

I jeszcze jedna rzecz, która brzmi nudno, a jest według mnie najważniejsza w całym skanowaniu.

Aplikacja nie potrafi stworzyć leku, którego nie ma w rejestrze.

Zaraz, zaraz.

To znaczy, że jeśli model coś sobie wymyśli...

To nie ma gdzie tego zapisać.

Bez dopasowania do rejestru aplikacja nie doda tego jako leku.

Okej.

To akurat brzmi uczciwie.

Swoją drogą, wszystko o czym tu mówimy to faktycznie funkcje w aplikacji mojApteczka.

To nie jest reklama.

Kontekst dla jasności.

To teraz pytanie, które mnie naprawdę męczy.

Bo to wszystko co mówisz to jest inżynieria.

A ja pytam o odpowiedzialność.

Prawnie.

Jak Apka pokaże mi coś nie tak, to co?

To jest pytanie, na które musiałem odpowiedzieć zanim cokolwiek napisałem.

I odpowiedź jest w aplikacji.

Dosłownie.

Tekstem.

To znaczy?

Jak wchodzisz w interakcję między lekami, to na dole jest stanie.

mojApteczka nie jest wyrobem medycznym w rozumieniu rozporządzenia MDR 2017 łamane przez 745.

I to jest dobra wiadomość czy zła?

To jest wybór.

Świadomy.

W praktyce jest tak.

Jeśli produkt deklaruje, że stawia diagnozę albo prowadzi leczenie, wchodzi w zupełnie inny reżim regulacyjny.

Certyfikacja, jednostka notyfikowana, nadzór.

I nie ma znaczenia, czy to sprzęt, czy aplikacja.

Czyli po ludzku.

Mogłeś iść w stronę, aplikacja Ci powie, czy ten lek jest dla Ciebie dobry.

Mogłem spróbować.

I nie poszedłem.

Bo wtedy musiałbym obiecać coś, czego uczciwie nie mogę zagwarantować przy każdym leku, każdej osobie i każdej chorobie.

Werdykt należy do lekarza i farmaceuty.

Ja mogę być pamięcią niewyroczną.

Wiesz, co jest w tym dziwnego?

Że to brzmi jak przyznanie się do słabości.

Brzmi, a jest odwrotnie.

Łatwo wpaść w tę drugą pułapkę.

Pokazać pewność, której się nie ma, bo tak lepiej wygląda.

Ja wolę pokazać granicę i za nią stać.

Dobra, ale skoro nie jesteś wyrocznią, to skąd ja mam wiedzieć, komu ufać w tym, co pokazujesz?

Stąd, że mówię skąd to wziąłem.

Przy informacjach o bezpieczeństwie leku jest wypisane źródło.

Charakterystyka produktu leczniczego z Urzędu Rejestracji.

Lactmed z amerykańskich instytutów zdrowia.

Open FDA oraz Europejska Agencja Leków.

Cztery źródła.

Wymienione z nazwy.

Z nazwy.

A przy interakcjach jest podpisana konkretna baza naukowa i rok publikacji.

Bo nasz algorytm wykrył, to jest zdanie, które nic nie znaczy.

To pochodzi stąd.

Sprawdź sam.

To znaczy coś.

Ale zaraz, bo tu jest coś, czego nie rozumiem.

Ty pokazujesz możliwe interakcje między lekami.

To już brzmi jak coś, co robi farmaceuta.

I tu jest bardzo cienka granica, więc powiem dokładnie, co się dzieje.

Biorę leki, które masz w apteczce.

Układam z nich wszystkie możliwe pary.

I każdą parę sprawdzam w bazie naukowej.

Jak dużej?

Ponad 300 tysięcy opisanych interakcji.

A że taką parę trzeba zapisać w obu kierunkach, to daje ponad milion 300 tysięcy wpisów.

I to wszystko siedzi w telefonie?

Nie.

To siedzi po stronie serwera i jest odpytywane.

Ale ważniejsze jest to, czego tam nie ma.

Tam nie ma Ciebie.

Jak to nie ma mnie?

Ta baza opisuje możliwą interakcję między substancją A i substancją B oraz jej ciężkość.

Nie wie, ile masz lat, na co chorujesz, co Ci już odstawiono i czy lekarz świadomie zdecydował, że w Twoim przypadku to połączenie jest w porządku.

Czyli aplikacja może mnie wystraszyć bez powodu?

Może. I dlatego to jest posortowane według wagi, opisane skąd pochodzi i podpisane zdaniem, że to nie jest porada medyczna.

To ma być lista pytań do farmaceuty, a nie wyrok.

Dobra. Czyli ja przychodzę do apteki i mówię, aplikacja pokazała mi te dwa. Niech Pan zerknie.

To jest dokładnie ten scenariusz, dla którego to zbudowałem.

Nie aplikacja powiedziała, że nie mogę, tylko aplikacja zwróciła mi na coś uwagę.

Proszę o zdanie kogoś, kto się na tym zna.

A jak dane są słabe? Bo przecież nie o każdym leku wiadomo tyle samo.

To jest dobre pytanie i mam na niej niewygodną odpowiedź.

Przy mniej więcej 61% produktów pewność danych jest niska.

61%? To ponad połowa.

Ponad połowa.

To wynika z tego, że polskie charakterystyki leków są pisane bardzo ostrożnie i słusznie.

Ale dla mnie to jest problem projektowy.

Co zrobić z informacją, co do której sam nie mam pewności?

I co robisz?

Wyciszam ją.

Tam, gdzie pewność jest niska, ikonka jest szara i bez koloru.

Pełny kolor dostają tylko te lepiej udokumentowane.

Wycisza? To brzmi jak ukrywanie.

Wygląda podobnie, ale jest odwrotnie.

Jak pokażę mocne ostrzeżenie tam, gdzie dane są słabe, to nauczę cię ignorować ostrzeżenia.

A wtedy przegapisz to lepiej udokumentowane.

Takie, z którym naprawdę warto pójść do farmaceuty.

Aha.

Mieliśmy dokładnie ten problem z komunikatem o tym, że informacje są poglądowe.

Był na każdej karcie leku.

Pełny, z całą listą źródeł.

Przy liście 8 leków to jest 8 razy ten sam blok tekstu.

Czyli przestaje się go czytać.

Dokładnie. Więc zostawiłem widoczne jedno zdanie.

Informacje wyłącznie poglądowe nie stanowią porady medycznej.

A całą listę źródeł schowałem pod ikonką.

Jest zawsze dostępna jednym kliknięciem, ale nie zagłusza sama siebie.

To jest ciekawe, bo to nie jest decyzja prawna.

To jest decyzja o tym, żeby to naprawdę działało.

I powiem Ci jeszcze jedną rzecz, której większość twórców aplikacji by nie powiedziała.

To znaczenia bezpieczeństwa są domyślnie wyłączone.

Musisz je sobie włączyć w ustawieniach.

Czekaj, czemu?

Przecież to brzmi jak coś, co powinno być od razu.

Bo to jest informacja, która ma sens wtedy, kiedy ktoś świadomie po nią sięga.

Jak wrzuca ją domyślnie każdemu na każdą kartę leku,

to wracamy do punktu wyjścia.

Szum, który się przestaje czytać.

Wolę, żeby człowiek raz zdecydował, że tego chce.

Czyli mniej ostrzeżeń, ale takich, które ktoś naprawdę przeczyta.

Taka jest stawka. I szczerze, nie wiem, czy to jest ostateczna odpowiedź.

Ale wiem, czemu tak jest teraz.

I to jest cała różnica.

Zgodność z przepisami można odbębnić.

Można wkleić regulamin na 300 stron i technicznie mieć rację.

Mnie interesuje coś innego.

Żeby człowiek, który stoi nad szufladą o 10 wieczorem,

wiedział, czego ta aplikacja nie wie.

Powiedz mi jeszcze jedną rzecz.

Bo skanowanie recepty to już zupełnie inna sprawa.

Tam są dane, których bym nikomu nie dała.

I dlatego ta funkcja działa inaczej niż skam pudełka.

Całe odczytywanie recepty dzieje się na Twoim telefonie.

Zdjęcie recepty nigdzie nie leci.

Nigdzie to znaczy gdzie?

Nigdzie.

Nie na mój serwer, nie do żadnego modelu w chmurze.

Zostaje na urządzeniu.

Do wyszukania idzie wyłącznie sama nazwa leku.

Dokładnie tak samo, jakbyś wpisała ją ręcznie w wyszukiwarkę w aplikacji.

Czyli numery, dane pacjenta, całe to...

Zostaje u Ciebie.

I znowu, nic nie dodaje się samo.

Każdą pozycję z recepty potwierdzasz osobno.

Wiesz co, ja mam wrażenie, że my w tym odcinku cały czas mówimy jedno zdanie na różne sposoby.

Jakie?

Że sztuczna inteligencja może zaproponować, ale nie może zdecydować.

Tak.

I gdybym miał zostawić słuchaczom jedną rzecz z tego odcinka, to właśnie to.

Nie pytaj, czy aplikacja ma sztuczną inteligencję.

Zapytaj, co się dzieje, kiedy ta sztuczna inteligencja się pomyli.

Czy jest ekran, na którym możesz ją poprawić?

Czy widzisz, skąd są dane?

Czy ktoś napisał wprost, czego to narzędzie nie robi?

A jeśli nie ma żadnej z tych rzeczy?

To znaczy, że masz mniej informacji niż potrzebujesz, żeby ocenić na ile możesz temu zaufać.

A to jest Twoja decyzja i powinnaś ją podejmować z otwartymi oczami.

Dobra, ja dorzucę swoje.

Z perspektywy zupełnie nietechnicznej.

Leon ma 9 lat i już rozumie, że jak coś wyskoczy na ekranie, to nie znaczy, że to prawda.

Basia ma 5 i jeszcze nie rozumie.

I szczerze, połowa dorosłych też nie.

Dlatego to zdanie musi być w aplikacji, a nie w regulaminie.

I dlatego dalej, jak mam wątpliwość co do leku, idę z pudełkiem do apteki.

I tak ma być.

Aplikacja ma sprawić, żebyś wiedziała, co masz w domu i o co pytać.

Odpowiedź należy do farmaceuty.

Jeśli chcesz spróbować, link do aplikacji mojApteczka w opisie odcinka.

Aplikacja jest darmowa, a twoja apteczka jest dostępna także offline.

A jeśli odcinek ci się podobał, podziel się nim z kimś, dla kogo apteczka w domu to chaos.

I jeszcze jedna rzecz, zanim się rozstaniemy.

Ten podcast jest stworzony z udziałem sztucznej inteligencji.

Dialog napisałem ja, ale głosy, które słyszycie, mój i Izy, to klony AI wygenerowane na podstawie naszych prawdziwych próbek.

Mówimy o tym wprost, bo uważamy, że to powinno być standardem w każdym podcaście robionym tą metodą.

Pełna informacja w opisie showu i każdego odcinka.

Czyli w odcinku o tym, że trzeba mówić skąd są dane, sami mówimy skąd jest nasz głos.

Byłoby dziwnie, gdybyśmy nie powiedzieli.

Do usłyszenia.

Do usłyszenia.