#8: Dlaczego nie użyłbym LLMów (obecnie) do transformacji danych
Czyli trochę o tym, dlaczego duża część naszej gospodarki jest zbudowana do robienia absolutnie bezsensownych rzeczy
Cześć,
zacznę wyjątkowo z click baitowym przesłaniem i zapowiem, że dzisiejszy mejl będzie krótszy, niż zazwyczaj: jeśli masz przekonanie o tym, że w obecnym stanie AI zabierze Ci pracę, to jest szansa granicząca z pewnością, że to, co robisz, jest społecznie nieprzydatne. A teraz jak przykułem Twoją uwagę (zgodnie z te wszystkimi zasadami SEO oczywiście), przejdę do zajawienia jak to zdanie ma się do tematu tego wpisu (lecz tak nawiasem pisząc, w tej tematyce to polecam książkę Bullshit Jobs. A Theory, gdzie o ile jest ona rewelacyjnie napisana w kontekście tła antropologicznego, tak nadmieniam z tego miejsca, że autor był anarchistą — podkreślam to nie w celu deprecjonowania poglądów, a wyjaśnienia potencjalnego ciągu przyczynowo-skutkowego wysuwanych w pozycji wniosków).
Znana w powszechnej świadomości “rewolucja AI” która trwa od blisko 2 lat wywołuje całe apogeum emocji — od wielkiego zachwytu do ogromnego strachu. Towarzyszy temu masa informacji, które nie do końca są spójne z tym, co się faktycznie dzieje: szczególnie to zauważam w obszarze biznesu, gdzie jest masa szkoleń na temat tego, jak używać konkretnych rozwiązań bez rozumienia ich podstawowych mechanizmów i przekazywania wiedzy o nich. Rezultatem takich wdrożeń mogą być takie kontrowersyjne rzeczy jak np. automatyzacja centrum pomocy we firmie Klarna, gdzie o ile ładnie to wygląda w raportach finansowych i informacjach PRowych dla inwestorów, tak w istocie zadowolenie końcowego klienta jest mówiąc dość delikatnie… zróżnicowane (+ klik) i niekoniecznie oddaje to, jaki się robi wokół tego szum (też należy spostrzec, że popłynęli oni strasznie w automatyzacji marketingu). Zresztą jak pokazują obniżki cen abonamentów za dostępy do modeli OpenAI, kształt przychodów firm doradczych takich jak Accenture, jak i to, że większość przychodów od firm tworzących modele językowe pochodzi z konsumenckich interfejsów bądź pakietów korporacyjnych, “rewolucja AI” w żadnym razie nie jest rewolucją technologiczną, a de facto użytkową (uważanie inaczej jest jak potraktowanie blockchaina samego w sobie za użyteczną rzecz bez całej otoczki związanej z rynkiem kryptowalut) i wymusi prawdopodobnie potraktowanie firm tworzących to oprogramowanie za dużych dostawców platformych (w myśl np. europejskiego aktu o usługach cyfrowych), acz ja dzisiaj nie o tym.
Jak możesz zauważyć po trochę długawym wstępie, staram się tworzyć wysoce jakościowe treści — częściowo one mają charakter publicystyczny, częściowo opracowań technicznych. Jeśli nie jesteś na pokładzie mojego newslettera, zachęcam Cię do zapisania się; co prawda, nie będziesz się ze mną zawsze zgadzać, ale poznasz ciekawy punkt widzenia i masz pewność, że nie uznaję kompromisów, jeśli chodzi o podejście do jakości treści :)
Eksplozja rynku “agentów AI” do automatyzacji czynności niesie za sobą w obszarze danych niesie jedno poważne zagrożenie, które prywatnie spędzą mnie trochę sen z powiek — ograniczenie kontekstowości informacji, a nawet procesów działających za realizacja operacji przez generatywną AI. Dlaczego? Podam to na przykładzie rynku e-commerce oraz analityki reklamowej.
W moim newsletterze miałem już okazję tłumaczyć specyfikę rynku reklamy:
Mianowicie: branża marketingu i analityki reklamowej cierpi na lakoniczną, żeby nie napisać zerową, edukację (dobrze z perspektywy biznesowej tłumaczy to mój branżowy znajomy Oskar Lipiński w rozmowie z Przemkiem Górczykiem). Wiele zasad funkcjonowania na tym rynku jest bardzo dogmatycznych nawet na tle innych branż. Bardzo dobrym przykładem jest chociażby atrybucja działań marketingowych i problem ze zarządzaniem ryzykiem. O tym poświęciłem osobny wpis, w którym opisałem szczątkowo temat:
Bardzo często planowanie wydatków marketingowych, a następnie ewaluacja, bazuje na np.:
niekoniecznie rzetelnych prognozach finansowych, które są realizowane “na szybko” lub na podstawie nierzetelnych danych (nieuwzgledniając np. potencjalnych fluktuacji rynkowych)
braku zrozumienia warstwy technicznej i tego, w jaki sposób ona może wpływać na końcowy kształt danych - o tym pisałem tutaj: #7: Dane i wpływ na strategie — jak zbilansować intuicję i pragmatyczne podejście?
mało przejrzystym rynku narzędzi i zapewnieniom dostawców o pozornej transparentności — świetnym przykładem jest niedawna aktualizacja Google Analytics 4 w której zmieniono sposób przypisywania płatnych konwersji do końcowej atrybucji, co w żadnym razie nie tłumaczy sposobu, w jaki sposób działa wspomniany przez Google model. Nie ma możliwości realizacji jakiegokolwiek sensowego arbitrażu wewnątrz ich ekosystemu
Takich rzeczy jest więcej, acz te trzy są najbardziej zrozumiałe. Dotykają one kilku(nastu) różnych obszarów, przez co rezultatem jest to, że menedżerowie i dyrektorzy z góry są skazani na podejmowanie niemiarodajnych decyzji, krótką perpsektywę i co za tym idzie, generowanie nieprawidłowości, co naraża ich na poważne konsekwencje. Marketing jest bardzo wrażliwym na ryzyko obszarem. Do tego brakuje jeszcze rekrutacji niewłaściwej osoby od danych i przepis na zbędne problemy jest gotowy.
LLMy nie potrafią uwzględniać takiej złożoności, przez co nieświadome osoby zamiast rozwiązywać strukturalne problemy (i stworzenie np. sensownych hurtowni danych) będą z dużym prawdopodobieństwem korzystać z kolejnych SaaSów, narażając się na wspomniane powyżej ograniczenia i problemy związane z vendor lock-in. One świetnie zrozumieją intencję zapytania, to co należy osiągnąć i mogą służyć jako rewelacyjny parser językowy, ale patrząc na to, w jaki sposób działania nawet samo OpenAI (a dokładniej interfejs okienkowy ChatGPT, system pluginów etc.), finalna walidacja należy do człowieka i tego, do jaki fragment końcowego oprogramowania wykona stosowne operacje (np. wybierze odpowiedni model prognozowania przychodów na podstawie danych wewnętrznych i zewnętrznych) takiego uczenia maszynowego. Jest to część AI, ale nie LLM już sam w sobie.
Końcowo LLM z dobrym wsadem (zawierającym logikę) lub dobrze wytrenowany domyślnie w sensowny sposób zinterpretuje metryki i wygeneruje powierzchowne, ale nie wyciągnie szerszych wniosków: samo w sobie to nie jest problemem, gdyż jak wspomniałem, w marketingu dominuje podejście mocno ortodoksyjne i próbuje wysnuwać się bardzo różne hipotezy ze samych danych ilościowych (co nie jest niczym nowym, patrząc np. na szkołę neoklasyczną w ekonomii i to, jak są podejmowane różne decyzje w życiu społecznym), acz trzeba tutaj zaznaczyć, że samo generowanie raportu i stwierdzenie, że np. rentowność segmentu X spadła, nie jest analityką :) Nie jest to nawet stawianie hipotez i testowanie ich z oceną ryzyka i szacowaniem prawdopodobieństwa realizacji konkretnego zakładu — po prostu zwykłe raportowanie, które nic nie znaczy.
Uzupełniając to, co napisałem powyżej — same założenia w implementacji i porównania “przed erą AI” i “w trakcie” to jedno, dochodzi do tego jeszcze naturalne ograniczenie technologiczne. Kilka przykładów:
Paradoks skalowania — większe modele mimo ogólnego wzrostu wydajności prezentują gorsze wyniki w zakresie dokładności i wiarygodności. Przy przetwarzaniu stosów danych (np. plików CSV, JSONów i pokrewnych) jest to niezwykle ważne (taki ChatGPT pod spodem i tak generuje do tego kod w języku Python, najpierw odpytując o strukturę pliku, a potem na przykładzie outputu pregeneruje skrypt);
Problemy z aktualnością danych — wiedza modelu jest "zamrożona" w momencie treningu i wymaga całkowitego retreningu lub fine-tuningu do aktualizacji. Te ograniczenia wynikają bezpośrednio z fundamentalnej architektury i zasad działania obecnych modeli językowych: modele operują na reprezentacjach wektorowych (embeddings) i wzorcach statystycznych, nie posiadając semantycznego zrozumienia, a sama architektura transformera przetwarza sekwencje tokenów, ale nie modeluje rzeczywistych relacji przyczynowo-skutkowych;
Częściowo poruszone w ramach 1) i 2) — problem "halucynacji" wynika z architektury transformerowej i sposobu treningu: model przewiduje najbardziej prawdopodobne tokeny na podstawie rozkładu prawdopodobieństwa z danych treningowych. Dodatkowo jest brak wbudowanych mechanizmów weryfikacji faktów, a model najczęściej nie ma dostępu do bazy wiedzy podczas generowania odpowiedzi. Nie wspominam o tym, że nie ma jednoznacznej odpowiedzi na to, co jest prawdą, a co nie, co przykład z branży e-commerce pokazuje dobitnie;
Na koniec kwestia danych syntetycznych. Zanim AGI zawładnie ludzkością i nas wyginie to prawdopodobnie natrafimy na problem tego, że w 2026 roku zabraknie nam danych do trenowania AI: dane syntetyczne mają umożliwić dalszy trening i obejmowanie większej ilości wariantów odpowiedzi oraz rozumienia różnych konstrukcji przekazywanych danych. To jest kolejne ryzyko, gdyż jest możliwe replikowanie błędów do dalszych warstw implementacji, nie mówiąc o tym, że dane syntetyczne generowane przez inne modele AI stopniowo wypłaszczają zdolność generowania zróżnicowanych i wysokiej jakości odpowiedzi. Proces ten zachodzi szczególnie podczas tzw. rekursywnego treningu, gdy każda kolejna generacja modelu uczy się na danych wygenerowanych przez poprzednią, co prowadzi do stopniowej degradacji jakości i różnorodności wyjścia.
Także reasumując: o to są najważniejsze powody dlaczego LLMy do transformowania danych są według mnie słabym pomysłem. Wprowadzenie ich do oprogramowania w sytuacji gdzie jest przeprowadzony źle proces analizy potrzeb i problemy strukturalne w organizacji jedyne co robi, to zapewnia złudne poczucie “zaopiekowania się” konkretnym wycinkiem. Odciąży co prawda w karkołomnej pracy, jednak istotne jest zadanie sobie pytania: czy ona przedtem miała w ogóle sens? A jeśli nie, to po co ją automatyzować?
Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się: dzisiaj stwierdziłem, że spróbuję w trochę bardziej zwartej formie zawrzeć moje myśli. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.
Do przeczytania
Kacper