dzisiaj bardzo krótko — po ostatnim mejlingu dostałem trochę pytań odnośnie tego w jaki sposób użyć Google Meridian. Jest to skomplikowane z racji specyficznej natury narzędzia, swoich założeń, jak i też złożenie napisanej dokumentacji (która wymaga znajomości technikaliów, wbrew temu co się mówi na fali hype’u na GenAI).

Postanowiłem przygotować bardzo proste repozytorium z użyciem ray.io, wyprowadzając przykładowe dane + dając odniesienie do dokumentacji technicznej, a konkretnej fragmentu wedle którego należy potem postępować krok po kroku:

https://github.com/kacperduras/google-meridian-ray-examples

Zachęcam do zagłębienia się w dokumentację Meridiana + Ray’a i samodzielnego eksperymentowania :)

Ciao
Kacper

P.S. Coś dłuższego napiszę w przyszłym tygodniu.

jak miałem okazję dać do zrozumienia wielokrotnie na łamach tego newslettera, rynek reklamy jest miejscem skrajnie nietransparentnym. Problemów jest cała masa — od często nieprzejrzystej polityki big techów w zakresie rozwoju produktów (która jest nastawiona na zwiększanie zysków; jako przykład Google i Performance Max), poprzez szereg dostawców technologicznych, gdzie każdy oferujący rozwiązania chce zarobić, agencji i holdingów niekoniecznie ogarniających temat bądź będących w nieuczciwych układach z rekomendowanymi podwykonawcami, kończąc na specyficznych produktach, którym często towarzyszy uczucie “po co mam z tego korzystać?”. Powiedzieć, że jest okrutnie ciężko to jak nic nie powiedzieć, a w dodatku to wszystko obarczone jest ryzykiem bardzo krytycznego procesu, jakim jest przepływ pieniędzy we firmie i odpowiedzialność za przychody; to i tak wierzchołek góry lodowej, gdzie jak dołączysz dane, to robi się jeszcze ciekawiej.

Ostatnie badania Microsoftu i Carnegie Mellon University wyklarowały hipotezę (i tutaj polecam zapoznać się ze samym paperem, gdyż to nie dowodzi tego, że mamy obecnie atrofię intelektu wbrew np. moim osobistym przekonaniom, ale i też wielu sceptyków postępu technologicznego w ogóle), że używanie narzędzi AI doprowadza do zjawiska tzw. mechanicznej konwergencji, czyli sytuacji w ramach której zachodzi standaryzacja sposobu myślenia i ograniczania potrzeby intelektualnego udziału człowieka w pracy. Oto dwa kluczowe wnioski, które chcę wyłuszczyć:

• Redukcja wysiłku mentalnego: 62% uczestników przyznało, że używając GenAI do rutynowych zadań (np. generowanie raportów), mniej angażuje się w analizę jakości wyników.

• Atrofia umiejętności: Automatyzacja prostych zadań pozbawia pracowników okazji do ćwiczenia osądu, co osłabia zdolność radzenia sobie z niestandardowymi problemami.

Jestem ciekaw oczywiście jak bardzo AI wpłynie na IQ oraz liczę w przyszłości na większą próbę badawczą, jak i badania pogłębione, acz ja nie o tym. Mogę ten tekst kierować teraz w kierunku pytań filozoficznych, typu Czy większość pracy którą robimy jest bezsensowna?, kwestionować obecnego kształtu rynku usług i redefiniować to, że żyliśmy dotychczas w gospodarce informacji, a nie wiedzy, czy pomstować na ludzi na to, że nie są świadomi swoich ograniczeń kognitywnych i nie próbują usprawniać myślenia (klik), przez co skazują siebie na głupotę, acz ja dzisiaj nie o tym.

Boom na generatywną sztuczną inteligencję doprowadził do znacznej, bardzo pozornej dewaluacji talentu (niezależnie jak definiowanego — można się sprzeczać, czy np. pisanie zapytania SQL to jest talent, ale to temat również na inną rozmowę) i sprowadzenia roli człowieka w systemie kapitalistycznym z jednej strony do wszechmogącego (patrz: praktycznie każda aktualizacja LLMa wypuszczona przez czołowych dostawców i ogrom przykładów promptów budujących oprogramowanie) i jednocześnie rubryczki kosztowej w Excelu do zastąpienia (patrz: również praktycznie każda aktualizacja LLMa i liczne głosy ogłaszające masowe bezrobocie za rogiem). Miałem okazję zresztą odnieść się do tego na LinkedIn przy okazji premiery DeepSeek (gdzie to wydarzenie uświadomiło przynajmniej części rynku, że o ile AI zmienia sposób pracy i konsumpcji informacji, tak wszystko rozchodzi się głównie o adopcje i na chwilę obecną żaden z dostawców technologicznych nie ma na tyle istotnej przewagi, by bez przynajmniej efektu sieciowego zwrócić inwestycje w infrastrukturę; nie mówiąc o tym, że wchodzimy w ciekawy paradoks: jaki jest sens robienia czegokolwiek, jeśli AI zrobi to tak, jak chcę? To jest przecież tak tanie, że nawet osoba nietechniczna może zrobić software i po prostu przestać płacić dostawcom, to czemu nie zrobię czegoś swojego?) i wskazać na strukturalne problemy w narracji i naganianiu na całe “AGI” i “Agentów AI” w celu “zwiększenia produktywności”.

W dużym skrócie chodzi mnie o to, że większość, jak nie wszystkie życzenia firm pragnących automatyzować rzeczy na potęgę wymaga wprowadzenia AGI w ścisłym tego słowa rozumieniu, czyli scenariusza ekstremalnego, gdzie technologia będzie autonomiczna i naszym ostatnim zmartwieniem jest to, że nie można znaleźć pracy. Do tego czasu większość automatyzacji, a w szczególności w obszarze danych, w mojej opinii będzie pewnego rodzaju atrofią — raport ładny z tego zrobi się, ale tak po prawdzie, czy takie ujęcie informacji kiedykolwiek było pomocne? A jeśli tak, to czy do tego potrzebujesz AI? Ja osobiście nie spotkałem się z czymś takim, a przez całe życie siedzę w badaniach, liczbach, wykresach, logice i matematyce. O problemie złożoności systemów, ograniczeniach fundamentalnych AI etc. nie wspominam, bo to też inna para kaloszy.

Do czego zmierzam: marketing, który w powszechnym rozumieniu jest mocno spłycony wyłącznie do procesu zakupu powierzchni reklamowej, jest idealnym przykładem styku, gdzie łączy się wiele wymiarów, przez co jest potrzebne myślenie probalistyczne i odejście do logiki jako absolutu. Dopiero wtedy da się zrozumieć narzędzia, którymi się posługuje i tego, do czego one służą oraz na co mogą przełożyć się. Marketing w takim rozumieniu działa jednocześnie w obszarze badań, socjologii, marketingu cyfrowego, operacyjności biznesu etc., gdzie dane ilościowe służą jako reprezentacja mierzalnych aspektów zjawisk, a matematyka dostarcza formalnego języka do ich modelowania i analizy.

Przykładem narzędzia jest Meridian — nowy framework od Google służący do Marketing Mix Modellingu: procesu analitycznego, który wykorzystuje zaawansowane metody statystyczne i ekonometryczne do oceny wpływu poszczególnych działań marketingowych na wyniki biznesowe, takie jak sprzedaż czy rozpoznawalność marki. Dzisiejszy wpis ma na celu pokazanie zastosowania jego w praktyce, tego co można przy pomocy jego zrobić, na co należy uważać, oraz finalnie, do czego to wszystko służy.

Jak możesz zauważyć po trochę długawym wstępie i spisie treści, staram się tworzyć wysoce jakościowe treści — częściowo one mają charakter publicystyczny, częściowo opracowań technicznych. Jeśli nie jesteś na pokładzie mojego newslettera, zachęcam Cię do zapisania się; co prawda, nie będziesz się ze mną zawsze zgadzać, ale poznasz ciekawy punkt widzenia i masz pewność, że nie uznaję kompromisów, jeśli chodzi o jakość :) Piszę rzadko, acz na temat.

Subscribe now

O co chodzi w Marketing Mix Modellingu?

W tzw. “branży” atrybucja jest pojęciem odmienianym przez wszystkie przypadki bez właściwego zrozumienia całej mechaniki za tym stojącej. Otóż atrybucja w marketingu cyfrowym to proces określania wartości do poszczególnych kanałów i działań promocyjnych, które prowadzą do konwersji. Innymi słowy, atrybucja marketingowa pozwala na zrozumienie, które elementy kampanii mogły wpłynąć na decyzje klientów i przyczynić się do osiągnięcia założonych celów. Istotne jest tutaj słowo mogły, gdzie pozwolę sobie wprowadzić pojęcia korelacji i przyczynowości.

Korelacja to statystyczna miara opisująca zależność między dwiema lub więcej zmiennymi. W praktyce oznacza to, że zmiany jednej zmiennej często występują równolegle ze zmianami innej zmiennej. Korelacja może być dodatnia (wzrost jednej zmiennej wiąże się ze wzrostem drugiej), ujemna (wzrost jednej zmiennej wiąże się ze spadkiem drugiej) lub zerowa (brak zauważalnego związku). Ważnym aspektem jest to, że korelacja nie implikuje związku przyczynowo-skutkowego – tylko wskazuje na współwystępowanie zmian w danych zmiennych.

Przyczynowość odnosi się do relacji, w której zmiana jednej zmiennej (przyczyny) bezpośrednio powoduje zmianę innej zmiennej (skutku). Ustalenie przyczynowości wymaga wykazania, że istnieje mechanizm, dzięki któremu jedna zmienna wpływa na drugą, co oznacza, że modyfikacja przyczyny prowadzi do przewidywalnych zmian w skutku. Proces identyfikacji przyczynowości często wymaga dodatkowych badań, takich jak eksperymenty czy analizy modelowe, aby wykluczyć wpływ czynników zewnętrznych i potwierdzić bezpośredni związek między zmiennymi.

To wszystko więc zależy bardzo często od obranej definicji i metodyki pracy, bo to, że istnieje korelacja, nie znaczy, że istnieje przyczynowość. Żeby było ciekawiej, przyczynowość w realnych warunkach (mimo, iż z definicji powinna) nie warunkuje korelacji, co wynika najczęściej z różnych zakłóceń lub nieliniowości relacji. Narzucając na to problem z jakością danych marketingowych (gdzie najczęściej mają one charakter deklaratoryjny) robi się problem ciężki w zarządzeniu.

Mając na uwadze powyższe, osobiście uważam, że nie jest możliwe bez znajomości statystyki i ekonometrii w przynajmniej podstawowym wariancie sensowne analizowanie danych, na co zalecam zwracać uwagę przy pracy z agencją marketingową, firmami technologicznymi bądź indywidualnym konsultantami. Ja do tego dołożyłbym jeszcze zagadnienia związane z matematyką dyskretną, acz ww. w zupełności wystarczy, by operować na racjonalnym poziomie.

W marketingu cyfrowym dominujący podział posiada narzędzie Google Analytics i ekosystem Google Marketing Platform. W GA4 wyróżnia się trzy główne modele atrybucji.

Pierwszy, oparty na algorytmie, czyli model data-driven, automatycznie analizuje dane, by precyzyjnie ocenić wkład poszczególnych kanałów w osiągnięcie konwersji, bez stosowania sztywnych reguł: w pierwszym etapie analizowane są dostępne dane ścieżki, obejmujące zarówno użytkowników konwertujących, jak i niekonwertujących, aby opracować modele prawdopodobieństwa wystąpienia kluczowych zdarzeń.
Modele te określają, jak obecność i czas wystąpienia określonych punktów styku z reklamą wpływa na szanse użytkownika na wykonanie kluczowego zdarzenia, porównując prawdopodobieństwo zdarzenia u użytkowników narażonych na ekspozycję reklamową z grupą kontrolną. W drugim etapie algorytmicznie przypisywany jest ułamek kredytu reklamowego – każda interakcja reklamowa otrzymuje wagę na podstawie tego, jak jej dodanie do ścieżki zmienia oszacowane prawdopodobieństwo wystąpienia kluczowego zdarzenia. Algorytm uwzględnia takie cechy, jak odstęp czasowy między interakcją a zdarzeniem, format reklamy oraz inne sygnały, co umożliwia precyzyjne określenie wkładu każdej ekspozycji. Przykładowo, jeśli kombinacja kilku ekspozycji zwiększa prawdopodobieństwo zdarzenia z 2% do 3%, można przypisać określoną ekspozycję z dodatkowym wzrostem o 50% prawdopodobieństwa. Takie podejście umożliwia dynamiczne i precyzyjne rozliczanie wkładu poszczególnych punktów styku na drodze do konwersji.

Powyższy opis bazuje na tym co udostępnia Google w oficjalnej dokumentacji. W praktyce nie jest wiadome co i jak działa, a sam opis powoduje, że odpowiedzi jest kilka - od znanych już wartości Shapleya, przez łańcuchy Markowa (btw. załączam bardzo solidne materiały Witolda Wrodarczyka z Adequate tłumaczące realia tych rozwiązań na przykładach marketingowych — polecam jako uzupełnienie powyższego), kończąc na regresjach logistycznych i gradient boostingu. Co do zasady polecam model data-driven traktować jako czarną skrzynkę (ang. black box) i podchodzić do niego z dużą ostrożnością. Google jest znane ze zmieniania reguł działania narzędzi bez uprzedniego ostrzeżenia, co stało się np. w czerwcu 2024 r., co w połączeniu z brakiem przejrzystości, może stanowić nadużywanie pozycji dominującego podmiotu, gdzie możliwości weryfikacji stanu rzeczy są najczęściej ograniczone i wymagają specjalistycznej wiedzy.

Drugi model — cross-channel rule-based – opiera się na ustalonych regułach, takich jak metoda liniowa, model pozycyjny, metoda oparta na czasie (time decay), a także reguły pierwszego i ostatniego kliknięcia, co pozwala na bardziej zróżnicowaną (lub inaczej ujmowaną) analizę wpływu różnych punktów styku. Trzeci model, ads preferred, również korzysta z reguł, lecz dominuje tu zasada ostatniego kliknięcia, która przypisuje największe znaczenie ostatniemu kontaktowi z reklamą przy podejmowaniu decyzji o konwersji.

Wszystkie modele tutaj wymienione są przyczynowe, nie korelacyjne. Każdy prezentuje inne ujęcie tych samych informacji i ich sposobu procesowania. Oprócz tego należy uwzględnić w prezentowanych danych przez Google Analytics 4 próbkowanie, progowanie i kardynalność. Ich wpływ na ww. modele atrybucji nie jest również do końca przejrzysty w niektórych ujęciach.

Atrybucja zatem pozwala na bardziej punktowe ujęcie sprawy, co nie prezentuje pełnego obrazu (acz jest najczęściej stosowana). Marketing Mix Modeling (MMM) to z kolei zaawansowana metoda analityczna, oparta głównie na korelacyjnych technikach, która pozwala ocenić, jaki wpływ mają różne działania marketingowe (zarówno online, jak i offline) na wyniki biznesowe, takich jak zwrot z inwestycji (ROI). MMM rozdziela sprzedaż na tzw. sprzedaż bazową (wynikającą z czynników niezwiązanych z marketingiem, np. sezonowości, trendów rynkowych czy marki) oraz sprzedaż przyrostową, generowaną dzięki działaniom promocyjnym. Dzięki temu model umożliwia podejmowanie lepszych decyzji dotyczących alokacji budżetu, planowania kampanii i prognozowania efektów działań marketingowych.

Przykładem zastosowania MMM jest platforma Meridian opracowana przez Google.
Meridian to otwartoźródłowy framework do Marketing Mix Modeling, który wykorzystuje podejście bayesowskie do analizy danych marketingowych. Dzięki integracji z ekosystemem Google (np. danymi z Google Ads, YouTube czy Google Analytics), Meridian pozwala precyzyjnie określić, jaki wpływ mają poszczególne kanały marketingowe na sprzedaż. Co więcej, dzięki możliwości wprowadzania priorytetów (priors) i uwzględnianiu efektów opóźnienia (adstock) oraz nasycenia mediów, platforma umożliwia symulację różnych scenariuszy budżetowych oraz optymalizację wydatków.

Zastosowanie z kolei kompletu wyżej wymienionych informacji pozwala na opracowanie spójnej metodyki w celu wykazania przyczynowości oraz faktycznej poprawy rezultatów i wnioskowania z danych.

Jak działa Meridian?

Napiszę teraz jednozdaniową syntezę tego, co można napisać fachowo o Meridianie, a następnie rozłożę ją na czynniki pierwsze:

Meridian działa poprzez wykorzystanie zagregowanych danych marketingowych i KPI, zastosowanie bayesowskiego wnioskowania przyczynowego i modelu regresji z uwzględnieniem efektów opóźnionych i nasycenia mediów, aby oszacować wpływ działań marketingowych, obliczyć metryki takie jak ROI i mROI, wizualizować krzywe odpowiedzi oraz optymalizować alokację budżetu marketingowego, przy jednoczesnym zachowaniu transparentności założeń i możliwości włączenia wiedzy apriorycznej.

Twierdzenie Bayesa to fundamentalna zasada wnioskowania statystycznego, która pozwala na aktualizację naszego przekonania o danym zdarzeniu lub hipotezie na podstawie nowych dowodów. W praktyce oznacza to, że zaczynamy z pewnym początkowym oszacowaniem (tzw. prawdopodobieństwem a priori) i, gdy pojawią się nowe dane, modyfikujemy nasze przekonanie, aby uzyskać bardziej precyzyjne oszacowanie (tzw. prawdopodobieństwo a posteriori). Kluczową ideą jest tu ciągłe uczenie się – im więcej jakościowych dowodów zgromadzimy, tym bardziej dostosowujemy nasze przekonania do rzeczywistości i model będzie stanowił tym wierniejszą reprezentację rzeczywistości.

W kontekście Marketing Mix Modelling (MMM) podejście bayesowskie znajduje zastosowanie w kilku kluczowych obszarach:

• Aktualizacja modeli: Bayesowskie metody umożliwiają ciągłą aktualizację modeli MMM w miarę pojawiania się nowych danych marketingowych, co pozwala na lepsze dopasowanie modeli do dynamicznych warunków rynkowych.

• Włączenie wiedzy eksperckiej: Dzięki możliwości uwzględnienia wcześniejszej wiedzy (jak np. opóźnienie wpływu reklamy lub nasycenia mediów), modele bayesowskie dostarczają trafnych i wiarygodnych oszacowań wpływu poszczególnych kanałów marketingowych. Dodatkowo budowanie nowych symulacji pozwala na weryfikację krańcowości opłacalności inwestycji w marketing, a co za tym idzie, uważniejsza kontrolę nad kosztami.

• Symulacja scenariuszy: Podejście bayesowskie umożliwia generowanie prognoz w postaci pełnych rozkładów prawdopodobieństwa, co pozwala na przeprowadzanie symulacji i testowanie, jak zmiany w budżecie lub strategii mogą wpłynąć na wyniki sprzedażowe.

• Uwzględnienie niepewności: Modele te nie tylko dostarczają szacunków wpływu poszczególnych działań, ale również informują o poziomie niepewności tych oszacowań, co jest istotne przy podejmowaniu decyzji dotyczących alokacji budżetu.

Dodatkowo, niezbędne jest stosowanie solidnych metod walidacji, takich jak analiza out-of-sample, cross-validation czy testy A/B. Dzięki nim można bieżąco weryfikować trafność modelu oraz jego zdolność do przewidywania wyników w zmieniającym się otoczeniu rynkowym. Przeprowadzenie analizy wrażliwości, czyli badanie wpływu modyfikacji przyjętych założeń (np. dobór rozkładów apriorycznych) na końcowe wyniki, pozwala na lepsze zrozumienie kluczowych czynników determinujących efektywność kampanii oraz na bardziej precyzyjne zarządzanie niepewnością.

Ważne jest, aby zaznaczyć, że twierdzenie Bayesa samo w sobie nie jest miarą korelacji ani dowodem przyczynowości:

• Nie jest korelacją — Korelacja mierzy, jak bardzo zmienne współzmieniają się ze sobą, ale nie informuje o kierunku ani mechanizmie tego związku. Twierdzenie Bayesa służy do aktualizacji prawdopodobieństw na podstawie nowych danych, co może być stosowane zarówno przy analizie korelacji, jak i przyczynowości – w zależności od przyjętych dodatkowych założeń.

• Nie jest przyczynowością — Sama metoda bayesowska nie wyjaśnia, czy obserwowany związek jest przyczynowy. Aby uzyskać wnioski o przyczynowości, konieczne jest dodatkowe modelowani oraz przyjęcie specyficznych założeń dotyczących struktury przyczynowej danych.

Najlepiej będzie to potraktować jako narzędzie pozwalające wystandaryzować metodykę pracy i ciągłych eksperymentów, przy jednoczesnym uwzględnieniu nowych danych i kalibracji modelu.

Co jest rezultatem implementacji Meridian? Czy opłaca się to wdrażać?

Rezultatem wdrożenia systemu MMM jest, jak wspomniałem powyżej, kompleksowa informacja na temat funkcjonowania marketingu i jego skuteczności w ramach pewnego zunifikowanego modelu. Meridian sam w sobie jako biblioteka zawiera wbudowane, domyślne raporty, których użyteczność nawet przy podstawowym wdrożeniu jest już mocno pomocna. Oto kilka najciekawszych według przykładów (prosto z dokumentacji Google):

1. Ocena ROI vs marginal ROI: ROI pokazuje średni zwrot z dotychczasowych inwestycji, podczas gdy mROI wskazuje, jaki będzie zwrot z kolejnej zainwestowanej jednostki budżetu, co pozwala podejmować lepsze decyzje o przyszłych inwestycjach.

2. Podział przychodów: Wykres przedstawia dekompozycję przychodów firmy, pokazując jak duża część sprzedaży wynika z naturalnego popytu na produkt (baseline), a jaki wkład w generowanie przychodów mają poszczególne kanały marketingowe, co pozwala ocenić ich względną skuteczność i wpływ na wyniki biznesowe.

   

3. Optymalizacja alokacji budżetu reklamowego na konkretne kanały.

Opłacalność wdrożenia należy ocenić nie pod kątem zasadności tego, czy warto to zrobić, tylko czy dany podmiot/projekt korzysta w ogóle z danych i ma jakkolwiek poukładane sposób zbierania, walidacji, a następnie utylizacji niepotrzebnego szumu. Jeśli nie, to w mojej opinii nie. Jeśli tak, to poza kosztem technologicznym (który zawsze da się zoptymalizować) nie widzę osobiście przeciwwskazań, zwłaszcza że z mojego doświadczenia dostarcza to ciekawszych rekomendacji niż przeciętny analityk marketingowy (chociaż analityk jest tutaj mocnym nadużywaniem tego pojęcia).

W obliczu dynamicznie zmieniającego się krajobrazu technologicznego i rosnącej roli AI, kluczowym wyzwaniem pozostaje nie tylko automatyzacja procesów, ale przede wszystkim zachowanie zdolności krytycznego myślenia. Tylko poprzez ścisłą integrację twardych metod statystycznych z głęboką wiedzą branżową jesteśmy w stanie przekuć suche liczby w realne, trafne rekomendacje decyzyjne. To właśnie dzięki temu, zamiast jedynie mierzyć efektywność kampanii, zyskujemy narzędzie do przewidywania trendów oraz adaptacji do nowych wyzwań, co stanowi fundament nowoczesnego podejścia do marketingu.

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

2024 był dla mnie bardzo intensywny, kończący się jednak okres świąteczny to zdecydowanie moment odprężenia i spokoju. Skorzystałem z okazji i oprócz stopniowego zamykania zaległości podsumowałem sobie wszystko, co zrobiłem w minionym czasie. Mam też jeszcze to szczęście, że moje urodziny są na początku roku (4 stycznia, tj. dzisiaj), także łączę moje rozmyślania nie tylko w perspektywy hobby, ale również prywatnej.

Największą zmianą zawodowo było otworzenie moich przemyśleń na światło dzienne i uruchomienie newslettera — za tym (poza chęcią budowania quasi marki osobistej) stoją dwie rzeczy:

• Zauważalny problem rozwoju rynku cyfrowego i automatyzacji, który katalizowany jest przez AI: relacja do tego, że nadmiar dostępnych informacji powoduje zwiększenie szumu informacji połączony z chęcią automatyzacji procesów i poszukiwania prostych rozwiązań. Jak pokazuje chociażby konwergencja na rynku AI i problem ze znalezieniem zastosowań AI (co zaznaczam z tego miejsca, zainteresowanie AI nie przekłada się wbrew temu co się twierdzi w komunikacji marketingowej na produktywność) oraz towarzyszące, sąsiednie zjawiska (chociażby dotyczące zaburzeń kognitywnych) już na, jak się również mówi, początkowym etapie rozwoju AI, nie radzimy sobie z podstawami, w tym w szczególności pracy z informacją oraz danymi. Zajmuję się tym odkąd sięgam pamięcią (m.in. programuję od siódmego roku życia) i jednocześnie niekoniecznie jestem łatwowierny. Uznałem, że świetną sprawą jest, by o tym pisać

• Przygotowując każdy wpis muszę zweryfikować ponownie swój stan wiedzy, umiejętności oraz przepracować problem raz jeszcze — dzięki temu zamiast racjonalizować to myślę racjonalnie i unikam powszechnych błędów, jak np. szukania badań pod tezę (gdzie sam nie mam problemu w przyznawaniu się do błędów)

Formuła wpisów jest zmienna, bo omawiam zagadnienia o różnym stopniu trudności, jak i kieruje całość do audiencji z różnym poziomem wiedzy w konkretnych tematach. Mianowniki są na pewno dwa:

• Rozpracowuję dany problem tak szczegółowo, jak to jest możliwe i uznam, za sensowne (gdzie przez to rozumiem w głównej mierze potrzebę wytłumaczenia czegoś ogółowi bez obniżania jakości). Nie skupiam się w danych wyłącznie na sposobach wizualizacji, obróbki, ale też w ujęciu heterodoksyjnym, szukając znaczenia i weryfikując czynniki idącymi za konkretnymi danymi

• Staram się zachować krytyczność myślenia — jestem definicją życiowego pragmatyka, toteż nie lubię podchodzić z uwielbianym w bańce technologicznej hurraoptymizmem do nowych rozwiązań, czy produktów. Lubię wpierw rozmawiać o rzeczach takimi jakimi one są, a dopiero później o takich, jakimi mogą lub powinny być :)

Cel na zeszły rok udało się utrzymać połowicznie:

• Mimo nikłej promocji zebrałem tutaj blisko 300 osób, za co serdecznie dziękuję — szczerze to napawa mnie to pozytywnymi emocjami, że w czasach skracania i zwiększania intensywności doznań jednak treści na średnio ~10k słów mają wzięcie

• Nie zadbałem o regularność, a wynikało to z tego, że 2024 był dla mnie bardzo wymagający zawodowo i prywatnie. Na dniach będę publikował informacje o moim SaaSie, nad którym pracowałem od dłuższego czasu, a z którego premierą wstrzymałem się przez cały poprzedni rok i poczekam jeszcze 2-3 miesiące: klarują się moje hipotezy i “zakłady rynkowe” które poczyniłem na początku hype’u na generatywną AI. Zdecydowanie jest to obszar nad którym popracuję.

A poza tym to życiowo położyłem trochę rzeczy, fuckup’y się wydarzyły i spotkałem życiowe trudności. Niektóre rozwiązałem, są rzeczy do których raczej się nie odważę podejść, a są takie, które naprawiam — life as usual. Ważne, żeby na koniec dnia sobie powiedzieć, że próbowałem być wobec ludzi w porządku :) Cele na ten moment nie są zagrożone w realizacji.

Dzisiaj bardzo krótko, więc na koniec dwie sprawy.

Pytanie: Co chcesz przeczytać ode mnie w 2025? Napisz proszę w komentarzu na Substack lub odpisz na wiadomość e-mail którą dostaniesz w skrzynce pocztowej — Twoje zdanie jest bardzo istotne.

Rekomendacja: Blog Garego Marcusa, jednego z influencerów w świecie AI, bardzo doświadczonego człowieka i w mojej opinii fenomenalnego badacza. Na początku byłem wobec niego sceptyczny (gdyż we wielu obszarach mamy bardzo podobne, bazowe zdanie), jednak pewnego dnia napisałem scrapper który zaczytał jego cały profil na X, newsletter, zestawiłem to co pisał i jego predykcje ze staniem dotychczas dokonanym. Warto mieć jego zdanie na uwadze, gdyż tylko odpowiedni balans jest w stanie zachować jasność umysłu w obliczu wydarzeń społecznych i technologicznych wyzwań:

To wszystko. Do napisania w 2025!
Kacper

30 listopada minęło dwa lata od premiery ChatGPT — flagowej aplikacji OpenAI zmieniającej sposób interakcji z urządzeniami informatycznymi. Uruchomiło to cały szereg procesów ekonomicznych i zwiększyło uwagę inwestorów oraz nakłady finansowe na rozwój AI. Od tego czasu powstał bardzo duży rynek wokół AI obejmujący produkty szkoleniowe, serwisy informacyjne (w tym zamknięte społeczności) etc., gdzie prawdopodobnie powiedziano już wszystko, co możliwe o sztucznej inteligencji. Przy premierze GPT-3 od OpenAI zapadł mnie szczególnie w pamięć post na LinkedIn (skąd inąd to cudownie siedlisko corpo cracku lub copium — w zależności od preferowanej definicji) mówiący o tym, że w przeciągu pięciu lat znajdziemy lek na raka i osiągniemy nieśmiertelność…

No cóż, na chwilę obecną biznesowe ruchy big techów nie świadczą o tym, że jesteśmy blisko cywilizacyjnego przełomu (sam rozwój, mimo iż imponujący, zwolnił i niekoniecznie pokrywa się z tym, co jest pierwotnie mówione); koniunktura w branży IT wraca (acz prognozowanie to zawsze zajęcie proste i trudne, więc podchodzę z rezerwą); obecny cykl AI hype powoli sięga szczytu, a żyć trzeba dopóki AGI nie przejmie nad nami władzy. Czasu z kolei upłynęło już tyle, że można mieć pierwsze wiarygodne wnioski odnośnie preferencji konsumentów dotyczące korzystania z dobrodziejstw technologii. Sam krajobraz biznesowy pod tym kątem prezentuje się dość ciekawie.

Na rynku pojawiły się takie produkty jak SearchGPT, Perplexity (z którego sam korzystam, załączam więc link polecający). Integracje z modelami językowymi posiada Bing, a Google po pierwszej nieudanej próbie dopracowuje działanie swoich systemów, gdzie ciekawe efekty konwergencji widać w ich najnowszym modelu Gemini 2 Flash. Mimo jeszcze znikomego udziału w rynku wyszukiwarek to modele językowe niewątpliwie zmienią sposób tego, w jaki sposób korzystamy ze zbiorów informacji. Warto więc na to się przygotować i zrozumieć jakie mechanizmy stoją za modelami językowymi.

Zmierzając do sedna: dzisiaj zajawię w dużym uproszczeniu na praktycznym przykładzie to, w jaki sposób LLMy interpretują informacje, przetwarzają dane, a następnie pokążę co można zrobić w celu prawdopodobnej poprawy indeksowania treści, a co za tym idzie, zwiększenia skuteczności indeksowania witryny w systemach wyszukiwania. Wybrałem branżę SEO z tego powodu, że jest bardzo wdzięczna i można w niej bardzo sprawnie iterować zmiany i uzyskiwać informację zwrotną na temat skuteczności prowadzonych działań w czasie rzeczywistym.

Tutaj też zaznaczę, że sama tematyka pozycjonowania w Internecie to jest znacznie szerszy temat niż omawiana poniżej wektoryzacja i transformatory. Sam model biznesowy dostawców wyszukiwarek, kryteria rankingowe i pokrewne elementy stanowią tajemnice przedsiębiorstwa i nie są znane w pełni wszystkie rozwiązania. W istocie jeśli rozmawiamy o tej gałęzi marketingu cyfrowego to należy zrozumieć, że rekomendacje opierają się w ramach prawdopodobieństwa i oceny ryzyka. To, że wdrożysz moje rady, nie gwarantuje Ci niczego, a jeśli ktoś zapewnia Cię i daje gwarancje efektów przy pozycjonowaniu, to radzę być bardzo powściągliwym.

Jak model językowy rozumie tekst?

Modele językowe przetwarzają tekst zupełnie inaczej niż ludzie. Zamiast prawdziwego rozumienia, mamy do czynienia z zaawansowaną analizą statystyczną bazującą na ogromnych zbiorach danych tekstowych. Model w trakcie treningu przetwarza miliardy tekstów, z których uczy się wzorców i zależności między słowami. Każde słowo zostaje przekształcone w ciąg liczb (wektor), który określa jego znaczenie i relacje z innymi słowami. Te wektory tworzą wielowymiarową przestrzeń matematyczną, gdzie słowa o podobnym znaczeniu znajdują się blisko siebie.

Proces przetwarzania tekstu przez model językowy to w zasadzie rozpoznawanie i odtwarzanie wzorców. Model nie magazynuje konkretnych fragmentów tekstu jak baza danych, zamiast tego uczy się ogólnych reguł i zależności - trochę jak system przewidywania tekstu w telefonie, tylko znacznie bardziej zaawansowany. Kiedy model otrzymuje tekst, przetwarza go przez szereg warstw matematycznych, które analizują zarówno pojedyncze słowa, jak i szersze konteksty. Na każdym etapie model wykorzystuje wyuczone wcześniej wzorce, żeby przewidzieć, które słowa i frazy są najbardziej prawdopodobne w danym kontekście.

Warto zrozumieć, że model nie ma dostępu do rzeczywistego świata - nie widzi, nie słyszy i nie doświadcza tego, o czym czyta. Jego wiedza opiera się wyłącznie na wzorcach znalezionych w tekstach treningowych. To dlatego model może czasem generować odpowiedzi, które są gramatycznie poprawne i na pierwszy rzut oka sensowne, ale zawierają błędy merytoryczne lub logiczne. Model potrafi również rozpoznawać złożone elementy języka, jak sarkazm czy metafory, ale robi to wyłącznie na podstawie analizy kontekstu i charakterystycznych wzorców językowych, a nie przez rzeczywiste zrozumienie ich znaczenia. Z kolei w ujęciu komercyjnym, jeśli faktycznie wykazuje pewne znacznie szersze zrozumienie, to jest to najczęściej integracja różnych architektur do rozpoznawania wsadu i procesowania danych.

Wyobraź sobie sztucznie uproszczoną sytuację, w której masz trzy słowa: kot, pies i samochód. Chcesz je przedstawić jako punkty w przestrzeni, aby móc ocenić, jak są do siebie podobne. Zamiast pojedynczej liczby, każde słowo opisujemy wcześniej wspomnianym wektorem, czyli zestawem liczb. Dlaczego zestawem? Ponieważ pojedyncza liczba (np. wartość 5) nie wystarczy do opisania złożoności słowa. Potrzebujemy wielu wymiarów (np. 300 liczb) — każdy z nich uchwyci inną, trudno definiowalną cechę semantyczną słowa. Można to porównać do współrzędnych geograficznych: jedna liczba to za mało, aby wskazać, gdzie leży miasto, ale mając szerokość i długość geograficzną, możemy już je precyzyjnie umiejscowić. W przypadku słów często mówimy o setkach czy tysiącach takich współrzędnych.

Powiedzmy, że po treningu model nadaje słowom takie reprezentacje (przykładowo w 3 wymiarach, by było łatwiej sobie to wyobrazić):

• kot to [0.8, 1.0, 0.3]

• pies to [0.7, 0.9, 0.4]

• samochód to [0.5, 0.1, 0.2]

Dlaczego takie liczby? Wynikają z procesu uczenia się modelu na ogromnych zbiorach tekstu. Algorytm odkrywa wzorce i zależności między słowami, automatycznie przypisując im takie wektory, by słowa o podobnym znaczeniu leżały blisko siebie. Kot i pies to zwierzęta domowe, dlatego mają zbliżone wektory, zaś samochód jest zupełnie innym konceptem i trafił w odległe miejsce w przestrzeni.

Teraz, aby sprawdzić, które słowa są do siebie podobne, stosujemy miary podobieństwa. Jedną z powszechnie używanych jest tzw. cosine similarity, bazująca na funkcji cosinus. Cosinus pozwala nam obliczyć kąt pomiędzy dwoma wektorami:

• Jeśli wektory są prawie równoległe (czyli opisujące słowa o podobnym znaczeniu), kąt między nimi będzie mały, a cosinus tego kąta bliski 1.

• Jeśli zaś wektory są skierowane w inne strony (czyli słowa są mało podobne), kąt będzie większy, a cosinus bliższy 0.

W ten sposób, dzięki podstawowym narzędziom algebry liniowej i trygonometrii (takim jak sin, cos, tangens), możemy dokonywać obliczeń na wielowymiarowych liczbach. Zamieniamy abstrakcyjne pojęcia w punkty w przestrzeni i korzystając z matematyki — mierzymy ich odległości, kąty i podobieństwa. Wszystko po to, aby model językowy mógł precyzyjnie określać, które słowa lub frazy są do siebie semantycznie zbliżone, a które nie.

GPT i BERT i inne architektury transformerowe

Pojawienie się architektur opartych o mechanizm tzw. transformerów było przełomowym wydarzeniem w rozwoju nowoczesnych modeli językowych. Kluczowym elementem transformerów jest koncepcja self-attention, która pozwala modelowi dynamicznie skupiać się na różnych fragmentach tekstu w zależności od bieżącego kontekstu. W przeciwieństwie do wcześniejszych podejść, takich jak rekurencyjne sieci neuronowe (RNN) czy modele LSTM, transformatory nie bazują na przetwarzaniu sekwencyjnym krok po kroku. Zamiast tego, cały tekst analizowany jest niejako równolegle, a mechanizm uwagi (attention) pozwala modelowi efektywnie przeglądać dane wejściowe i odnajdywać kluczowe zależności między słowami, nawet jeśli są one od siebie oddalone w tekście.

Dlaczego transformatory stały się tak ważne? Głównie ze względu na ich zdolność do skalowania i efektywnego wykorzystania mocy obliczeniowej. Umożliwiają trenowanie gigantycznych modeli na niewyobrażalnie dużych zbiorach danych, co przekłada się na ich niezwykłą wszechstronność i skuteczność w rozwiązywaniu różnorodnych zadań językowych, takich jak tłumaczenia, streszczanie tekstu, analiza sentymentu, odpowiadanie na pytania czy generowanie treści. Architektura transformerowa wyeliminowała w dużej mierze problemy z długotrwałym przechowywaniem kontekstu, które trapiły wcześniejsze modele RNN, i znacząco poprawiła zdolność zapamiętywania informacji zawartych w obszernej sekwencji danych.

Najbardziej znane architektury transformerowe

BERT (Bidirectional Encoder Representations from Transformers)
BERT to jeden z pierwszych modeli, który pokazał prawdziwy potencjał transformerów w kontekście zadań związanych ze zrozumieniem języka. Jego cechą wyróżniającą jest dwukierunkowe przetwarzanie tekstu – model czyta zdanie zarówno od lewej do prawej, jak i od prawej do lewej, jednocześnie wyłapując kontekst.

Plusy:

• Doskonałe wyniki w zadaniach typu „tekst na wejściu – odpowiedź na wyjściu” (np. pytania i odpowiedzi, analiza sentymentu).

• Dwukierunkowe rozumienie kontekstu pozwala lepiej uchwycić powiązania semantyczne między słowami.

• Uniwersalność i szerokie zastosowanie: BERT stał się punktem wyjścia dla wielu specjalistycznych modeli dostosowanych do konkretnych problemów.

Minusy:

• BERT sam w sobie nie jest generatorem tekstu – to model typu encoder, który świetnie rozumie kontekst, ale nie potrafi płynnie tworzyć nowego tekstu na podstawie promptu (tzw. tekst w oparciu o wprowadzone polecenie).

• Konieczność dodatkowego „fine-tuningu” dla konkretnych zadań, choć to w praktyce jest często zaletą, bo model można dostosować do konkretnych potrzeb.

GPT (Generative Pre-trained Transformer)
GPT to architektura skupiająca się głównie na generowaniu tekstu. W przeciwieństwie do BERT, który jest dwukierunkowy, GPT działa głównie lewostronnie (unidirectional), co oznacza, że model przewiduje kolejne słowa na podstawie sekwencji, która pojawiła się wcześniej. Dzięki temu GPT świetnie sprawdza się w zadaniach kreatywnych, takich jak pisanie opowiadań, tworzenie opisów produktów czy generowanie kodu w oparciu o polecenia tekstowe.

Plusy:

• Świetne zdolności generacyjne: model potrafi tworzyć sensowne, płynne i często bardzo przekonujące teksty.

• GPT jest niezwykle elastyczny, nie tylko w sferze języka naturalnego, ale też w innych dziedzinach (np. generowanie kodu, czy nawet prostych obrazków w późniejszych wariantach).

• Nie wymaga tak intensywnego „fine-tuningu” pod zadania zrozumienia kontekstu, ponieważ duże modele GPT często radzą sobie przyzwoicie w wielu zastosowaniach już po samym pre-treningu.

Minusy:

• Ze względu na jednostronny charakter przetwarzania (od lewej do prawej), model nie zawsze tak precyzyjnie rozumie kontekst całego zdania jak BERT.

• Modele GPT mogą być podatne na „halucynacje” – generowanie informacji brzmiących wiarygodnie, ale nieprawdziwych. Wynika to z faktu, że GPT skupia się na prawdopodobieństwie wystąpienia słów, nie zaś na weryfikacji faktycznej poprawności generowanych treści.

Inne, przykładowe architektury i wariacje powiązane z tematem artykułu:

• DistilBERT, RoBERTa, ALBERT: to zmodyfikowane wersje BERT, często lżejsze, szybsze lub dokładniejsze w określonych zastosowaniach.

• T5 (Text-to-Text Transfer Transformer): model, który traktuje każde zadanie jako zadanie konwersji tekstu w tekst. Może tłumaczyć, podsumowywać, odpowiadać na pytania, wszystko w tym samym formacie wejścia i wyjścia.

• mBERT, XLM-R: modele wielojęzyczne, które integrują dane z wielu języków, dzięki czemu są przydatne w projektach o globalnym zasięgu i wielojęzycznej treści.

Jak zastosować w praktyce transformery do SEO? Ocena trafności treści do przykładowego zapytania

W poprzednich wydaniach była prośba o załączanie kodu źródłowego w postaci repozytorium, zatem załączam. Na przykładzie modelu BERT wytrenowanego na zestawie danych SQuAD 2.0 napisałem program oceniający jakościowo tematykę tekstu do zadawanego pytania, a następnie podaje najbardziej trafny fragment z danych syntetycznych (uprzednio zwalidowanych czy aby na pewno nie występuje zbyt duże podobieństwo z zbiorze treningowym).

deepset/bert-base-cased-squad2 został wybrany ze względu na jego zoptymalizowanie pod kątem zadań question-answering. Model ten wykazuje szczególną skuteczność w ekstrakcji kontekstowych odpowiedzi z tekstu i rozumieniu złożonych zapytań, co jest kluczowe dla analizy dokumentów technicznych i biznesowych. Może również posłużyć do oceny trafności zapytania. Poniżej krótkie omówienie z czego zbudowany jest program i jego wynik.

Struktura i inicjalizacja systemu

Podstawowym elementem systemu jest klasa DocumentAnalyzer, której konstrukcja rozpoczyna się od inicjalizacji trzech kluczowych komponentów. Przyjrzyjmy się tej konstrukcji:

class DocumentAnalyzer:

def __init__(self) -> None:

self.logger = self._setup_logger()

self.logger.info("Inicjalizacja DocumentAnalyzer")

model_name = "deepset/bert-base-cased-squad2"

self.logger.info(f"Ładowanie modelu: {model_name}")

self.tokenizer = AutoTokenizer.from_pretrained(model_name)

self.model = AutoModelForQuestionAnswering.from_pretrained(model_name)

System logowania

Implementacja zawiera rozbudowany system logowania, który jest kluczowy dla monitorowania działania aplikacji. Konstrukcja systemu logowania prezentuje się następująco:

def _setup_logger(self) -> logging.Logger:

logger = logging.getLogger('DocumentAnalyzer')

logger.setLevel(logging.INFO)

log_dir = Path('logs')

log_dir.mkdir(exist_ok=True)

log_file = log_dir / f'analysis_{datetime.now().strftime("%Y%m%d_%H%M%S")}.log'

fh = logging.FileHandler(log_file)

fh.setLevel(logging.INFO)

Mechanizm analizy dokumentów

Rdzeń systemu stanowi mechanizm analizy dokumentów, który wykorzystuje zaawansowane możliwości modelu BERT. Główna funkcjonalność została zaimplementowana w następujący sposób:

def calculate_document_probability(self, document: str, questions: List[str]) -> Dict[str, float]:

if not document or not questions:

raise ValueError("Dokument i pytania nie mogą być puste")

self.logger.debug(f"Analiza dokumentu o długości {len(document)} znaków")

results_per_question = {}

for question in questions:

self.logger.debug(f"Przetwarzanie pytania: {question}")

inputs = self.tokenizer(

question,

document,

return_tensors="pt",

max_length=512,

truncation=True,

padding=True

)

Analiza fragmentów tekstu

System implementuje zaawansowany mechanizm analizy fragmentów tekstu, który pozwala na szczegółową ocenę poszczególnych części dokumentu:

def find_relevant_fragments(self, document: str, window_size: int = 100, threshold: float = 0.5) -> List[Tuple[str, float, Dict[str, float]]]:

if not document:

raise ValueError("Dokument nie może być pusty")

self.logger.info("Rozpoczęcie analizy fragmentów")

words = document.split()

fragments = []

Mechanizm porównywania dokumentów

Funkcjonalność porównywania dokumentów została zaimplementowana w sposób umożliwiający szczegółową analizę porównawczą:

def analyze_documents(self, doc1: str, doc2: str, questions: List[str]) -> Dict:

self.logger.info("Rozpoczęcie analizy porównawczej dokumentów")

self.logger.info("Analiza dokumentu technicznego")

doc1_results = self.calculate_document_probability(doc1, questions)

self.logger.info("Analiza dokumentu biznesowego")

doc2_results = self.calculate_document_probability(doc2, questions)

Funkcja główna systemu

Implementacja zawiera funkcję główną demonstrującą praktyczne zastosowanie systemu:

def main() -> None:

analyzer = DocumentAnalyzer()

try:

analyzer.logger.info("ROZPOCZĘCIE ANALIZY DOKUMENTÓW")

results = analyzer.analyze_documents(document1, document2, questions)

Optymalizacja wydajności

W implementacji zastosowano szereg optymalizacji, w tym wykorzystanie context managera torch.no_grad() dla zwiększenia efektywności obliczeniowej, buforowanie wyników tokenizacji oraz efektywne przetwarzanie nakładających się fragmentów tekstu.

Wynik

Przykładowy rezultat prezentuje się następująco:

2024-12-15 05:48:00,894 - INFO - SZCZEGÓŁOWA ANALIZA DOKUMENTU

2024-12-15 05:48:00,894 - INFO - Rozpoczęcie analizy fragmentów

2024-12-15 05:48:01,405 - INFO - Znaleziono 1 istotnych fragmentów (próg: 0.6)

2024-12-15 05:48:01,405 - INFO - Fragment 1:

2024-12-15 05:48:01,405 - INFO - Tekst: Transformacja Cyfrowa w Sektorze Finansowym Sektor finansowy przechodzi fundamentalną transformację cyfrową. Banki i instytucje finansowe wdrażają zaawansowane rozwiązania AI do automatyzacji procesów i poprawy obsługi klienta. Kluczowe Obszary: 1. Analiza Ryzyka - Automatyczna ocena zdolności kredytowej - Wykrywanie fraudów - Prognozowanie ryzyka rynkowego 2. Obsługa Klienta - Chatboty 24/7 - Personalizacja ofert - Automatyzacja procesów 3. Optymalizacja Operacji - Redukcja kosztów o 25% - Przyspieszenie procesów o 40% - Poprawa dokładności o 60% Inwestycje w technologie AI zwracają się średnio w ciągu 18 miesięcy.

2024-12-15 05:48:01,405 - INFO - Ocena całkowita: 85.14%

2024-12-15 05:48:01,405 - INFO - Pytanie: O czym jest ten fragment? - Wynik: 95.66%

2024-12-15 05:48:01,405 - INFO - Pytanie: Jakie są główne informacje w tym fragmencie? - Wynik: 89.25%

2024-12-15 05:48:01,405 - INFO - Pytanie: Co jest najważniejsze w tym fragmencie? - Wynik: 70.52%

2024-12-15 05:48:01,405 - INFO - PODSUMOWANIE:

2024-12-15 05:48:01,405 - INFO - • Dokument biznesowy został oceniony jako bardziej odpowiedni

2024-12-15 05:48:01,405 - INFO - • Różnica w jakości dokumentów: 7.33%

2024-12-15 05:48:01,405 - INFO - • Znaleziono 1 istotnych fragmentów

2024-12-15 05:48:01,405 - INFO - • Najwyższy wynik fragmentu: 85.14%

2024-12-15 05:48:01,405 - INFO - Analiza zakończona pomyślnie

Posłowie

W taki sposób można wykorzystać modele językowe bazujące na transformerach do oceny trafności treści do zadawanego pytania. Z pewnością jest to przydatna technika (acz nie jedyna, tak samo jak nie stanowi to wyłącznego czynnika rankingowego) w celu optymalizacji witryny pod SEO, zwłaszcza gdzie we wyszukiwanie, streszczanie i ocenianie zaangażowane są modele językowe. Warto tworzyć treści promocyjne w sposób bardziej świadomy, gdyż bardzo znikomym kosztem może to przełożyć się na niewspółmierne korzyści.

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

zacznę wyjątkowo z click baitowym przesłaniem i zapowiem, że dzisiejszy mejl będzie krótszy, niż zazwyczaj: jeśli masz przekonanie o tym, że w obecnym stanie AI zabierze Ci pracę, to jest szansa granicząca z pewnością, że to, co robisz, jest społecznie nieprzydatne. A teraz jak przykułem Twoją uwagę (zgodnie z te wszystkimi zasadami SEO oczywiście), przejdę do zajawienia jak to zdanie ma się do tematu tego wpisu (lecz tak nawiasem pisząc, w tej tematyce to polecam książkę Bullshit Jobs. A Theory, gdzie o ile jest ona rewelacyjnie napisana w kontekście tła antropologicznego, tak nadmieniam z tego miejsca, że autor był anarchistą — podkreślam to nie w celu deprecjonowania poglądów, a wyjaśnienia potencjalnego ciągu przyczynowo-skutkowego wysuwanych w pozycji wniosków).

Znana w powszechnej świadomości “rewolucja AI” która trwa od blisko 2 lat wywołuje całe apogeum emocji — od wielkiego zachwytu do ogromnego strachu. Towarzyszy temu masa informacji, które nie do końca są spójne z tym, co się faktycznie dzieje: szczególnie to zauważam w obszarze biznesu, gdzie jest masa szkoleń na temat tego, jak używać konkretnych rozwiązań bez rozumienia ich podstawowych mechanizmów i przekazywania wiedzy o nich. Rezultatem takich wdrożeń mogą być takie kontrowersyjne rzeczy jak np. automatyzacja centrum pomocy we firmie Klarna, gdzie o ile ładnie to wygląda w raportach finansowych i informacjach PRowych dla inwestorów, tak w istocie zadowolenie końcowego klienta jest mówiąc dość delikatnie… zróżnicowane (+ klik) i niekoniecznie oddaje to, jaki się robi wokół tego szum (też należy spostrzec, że popłynęli oni strasznie w automatyzacji marketingu). Zresztą jak pokazują obniżki cen abonamentów za dostępy do modeli OpenAI, kształt przychodów firm doradczych takich jak Accenture, jak i to, że większość przychodów od firm tworzących modele językowe pochodzi z konsumenckich interfejsów bądź pakietów korporacyjnych, “rewolucja AI” w żadnym razie nie jest rewolucją technologiczną, a de facto użytkową (uważanie inaczej jest jak potraktowanie blockchaina samego w sobie za użyteczną rzecz bez całej otoczki związanej z rynkiem kryptowalut) i wymusi prawdopodobnie potraktowanie firm tworzących to oprogramowanie za dużych dostawców platformych (w myśl np. europejskiego aktu o usługach cyfrowych), acz ja dzisiaj nie o tym.

Jak możesz zauważyć po trochę długawym wstępie, staram się tworzyć wysoce jakościowe treści — częściowo one mają charakter publicystyczny, częściowo opracowań technicznych. Jeśli nie jesteś na pokładzie mojego newslettera, zachęcam Cię do zapisania się; co prawda, nie będziesz się ze mną zawsze zgadzać, ale poznasz ciekawy punkt widzenia i masz pewność, że nie uznaję kompromisów, jeśli chodzi o podejście do jakości treści :)

Subscribe now

Eksplozja rynku “agentów AI” do automatyzacji czynności niesie za sobą w obszarze danych niesie jedno poważne zagrożenie, które prywatnie spędzą mnie trochę sen z powiek — ograniczenie kontekstowości informacji, a nawet procesów działających za realizacja operacji przez generatywną AI. Dlaczego? Podam to na przykładzie rynku e-commerce oraz analityki reklamowej.

W moim newsletterze miałem już okazję tłumaczyć specyfikę rynku reklamy:

Kacper Duras’ Newsletter

#1: Ile prawdziwego ruchu jest w ruchu przychodzącym — jak to zrozumieć?

Cześć, na pierwszy wpis w moim newsletterze wrzucę na tapet bardzo kontrowersyjny problem jakim jest jakość ruchu w Internecie z różnych źródeł - od owianego złą sławą SEO, poprzez ruch bezpośredni (często też kwalifikowany jako taki pochodzący z crawlerów, czyli automatycznych robotów), kończąc na kampaniach płatnych, gdzie każdy wydana złotówka ma znac…

Read more

2 years ago · 1 like · Kacper Duras

Kacper Duras’ Newsletter

#2: Dlaczego automatyzacja marketingu często nie ma sensu

Cześć, chcę serdecznie podziękować za ciepłe przyjęcie mojego pierwszego newslettera, po którego publikacji zapisało się ponad 100 osób w mniej niż 24h. Jest to szczególnie motywujące, gdyż względnie niszowa tematyka, brak wcześniejszej bazy zasięgowej oraz długa forma jak na standardy social mediów nie są czynnikami sprzyjającymi zainteresowaniu. Chętni…

Read more

2 years ago · 1 like · Kacper Duras

Kacper Duras’ Newsletter

#5: Analizowanie konkurencji w e-commerce, czyli jak być data-driven na poważnie

Cześć, ostatni wpis przesłałem ponad miesiąc temu — co prawda obiecałem sobie, że będę tworzył treści zdecydowanie częściej, acz…

Read more

2 years ago · 4 likes · 4 comments · Kacper Duras

Mianowicie: branża marketingu i analityki reklamowej cierpi na lakoniczną, żeby nie napisać zerową, edukację (dobrze z perspektywy biznesowej tłumaczy to mój branżowy znajomy Oskar Lipiński w rozmowie z Przemkiem Górczykiem). Wiele zasad funkcjonowania na tym rynku jest bardzo dogmatycznych nawet na tle innych branż. Bardzo dobrym przykładem jest chociażby atrybucja działań marketingowych i problem ze zarządzaniem ryzykiem. O tym poświęciłem osobny wpis, w którym opisałem szczątkowo temat:

Kacper Duras’ Newsletter

#4: Prognozowanie, zarządzanie ryzykiem i wykrywanie niezgodności w danych

Cześć, niewątpliwie ChatGPT zmienił sposób postrzegania AI i jego roli w codziennym użytkowaniu, acz warto zwrócić uwagę na to, że modele językowe to nie jest cały zakres możliwości…

Read more

2 years ago · 2 likes · Kacper Duras

Bardzo często planowanie wydatków marketingowych, a następnie ewaluacja, bazuje na np.:

• niekoniecznie rzetelnych prognozach finansowych, które są realizowane “na szybko” lub na podstawie nierzetelnych danych (nieuwzgledniając np. potencjalnych fluktuacji rynkowych)

• braku zrozumienia warstwy technicznej i tego, w jaki sposób ona może wpływać na końcowy kształt danych - o tym pisałem tutaj: #7: Dane i wpływ na strategie — jak zbilansować intuicję i pragmatyczne podejście?

• mało przejrzystym rynku narzędzi i zapewnieniom dostawców o pozornej transparentności — świetnym przykładem jest niedawna aktualizacja Google Analytics 4 w której zmieniono sposób przypisywania płatnych konwersji do końcowej atrybucji, co w żadnym razie nie tłumaczy sposobu, w jaki sposób działa wspomniany przez Google model. Nie ma możliwości realizacji jakiegokolwiek sensowego arbitrażu wewnątrz ich ekosystemu

Takich rzeczy jest więcej, acz te trzy są najbardziej zrozumiałe. Dotykają one kilku(nastu) różnych obszarów, przez co rezultatem jest to, że menedżerowie i dyrektorzy z góry są skazani na podejmowanie niemiarodajnych decyzji, krótką perpsektywę i co za tym idzie, generowanie nieprawidłowości, co naraża ich na poważne konsekwencje. Marketing jest bardzo wrażliwym na ryzyko obszarem. Do tego brakuje jeszcze rekrutacji niewłaściwej osoby od danych i przepis na zbędne problemy jest gotowy.

LLMy nie potrafią uwzględniać takiej złożoności, przez co nieświadome osoby zamiast rozwiązywać strukturalne problemy (i stworzenie np. sensownych hurtowni danych) będą z dużym prawdopodobieństwem korzystać z kolejnych SaaSów, narażając się na wspomniane powyżej ograniczenia i problemy związane z vendor lock-in. One świetnie zrozumieją intencję zapytania, to co należy osiągnąć i mogą służyć jako rewelacyjny parser językowy, ale patrząc na to, w jaki sposób działania nawet samo OpenAI (a dokładniej interfejs okienkowy ChatGPT, system pluginów etc.), finalna walidacja należy do człowieka i tego, do jaki fragment końcowego oprogramowania wykona stosowne operacje (np. wybierze odpowiedni model prognozowania przychodów na podstawie danych wewnętrznych i zewnętrznych) takiego uczenia maszynowego. Jest to część AI, ale nie LLM już sam w sobie.

Końcowo LLM z dobrym wsadem (zawierającym logikę) lub dobrze wytrenowany domyślnie w sensowny sposób zinterpretuje metryki i wygeneruje powierzchowne, ale nie wyciągnie szerszych wniosków: samo w sobie to nie jest problemem, gdyż jak wspomniałem, w marketingu dominuje podejście mocno ortodoksyjne i próbuje wysnuwać się bardzo różne hipotezy ze samych danych ilościowych (co nie jest niczym nowym, patrząc np. na szkołę neoklasyczną w ekonomii i to, jak są podejmowane różne decyzje w życiu społecznym), acz trzeba tutaj zaznaczyć, że samo generowanie raportu i stwierdzenie, że np. rentowność segmentu X spadła, nie jest analityką :) Nie jest to nawet stawianie hipotez i testowanie ich z oceną ryzyka i szacowaniem prawdopodobieństwa realizacji konkretnego zakładu — po prostu zwykłe raportowanie, które nic nie znaczy.

Uzupełniając to, co napisałem powyżej — same założenia w implementacji i porównania “przed erą AI” i “w trakcie” to jedno, dochodzi do tego jeszcze naturalne ograniczenie technologiczne. Kilka przykładów:

• Paradoks skalowania — większe modele mimo ogólnego wzrostu wydajności prezentują gorsze wyniki w zakresie dokładności i wiarygodności. Przy przetwarzaniu stosów danych (np. plików CSV, JSONów i pokrewnych) jest to niezwykle ważne (taki ChatGPT pod spodem i tak generuje do tego kod w języku Python, najpierw odpytując o strukturę pliku, a potem na przykładzie outputu pregeneruje skrypt);

• Problemy z aktualnością danych — wiedza modelu jest "zamrożona" w momencie treningu i wymaga całkowitego retreningu lub fine-tuningu do aktualizacji. Te ograniczenia wynikają bezpośrednio z fundamentalnej architektury i zasad działania obecnych modeli językowych: modele operują na reprezentacjach wektorowych (embeddings) i wzorcach statystycznych, nie posiadając semantycznego zrozumienia, a sama architektura transformera przetwarza sekwencje tokenów, ale nie modeluje rzeczywistych relacji przyczynowo-skutkowych;

• Częściowo poruszone w ramach 1) i 2) — problem "halucynacji" wynika z architektury transformerowej i sposobu treningu: model przewiduje najbardziej prawdopodobne tokeny na podstawie rozkładu prawdopodobieństwa z danych treningowych. Dodatkowo jest brak wbudowanych mechanizmów weryfikacji faktów, a model najczęściej nie ma dostępu do bazy wiedzy podczas generowania odpowiedzi. Nie wspominam o tym, że nie ma jednoznacznej odpowiedzi na to, co jest prawdą, a co nie, co przykład z branży e-commerce pokazuje dobitnie;

• Na koniec kwestia danych syntetycznych. Zanim AGI zawładnie ludzkością i nas wyginie to prawdopodobnie natrafimy na problem tego, że w 2026 roku zabraknie nam danych do trenowania AI: dane syntetyczne mają umożliwić dalszy trening i obejmowanie większej ilości wariantów odpowiedzi oraz rozumienia różnych konstrukcji przekazywanych danych. To jest kolejne ryzyko, gdyż jest możliwe replikowanie błędów do dalszych warstw implementacji, nie mówiąc o tym, że dane syntetyczne generowane przez inne modele AI stopniowo wypłaszczają zdolność generowania zróżnicowanych i wysokiej jakości odpowiedzi. Proces ten zachodzi szczególnie podczas tzw. rekursywnego treningu, gdy każda kolejna generacja modelu uczy się na danych wygenerowanych przez poprzednią, co prowadzi do stopniowej degradacji jakości i różnorodności wyjścia.

Także reasumując: o to są najważniejsze powody dlaczego LLMy do transformowania danych są według mnie słabym pomysłem. Wprowadzenie ich do oprogramowania w sytuacji gdzie jest przeprowadzony źle proces analizy potrzeb i problemy strukturalne w organizacji jedyne co robi, to zapewnia złudne poczucie “zaopiekowania się” konkretnym wycinkiem. Odciąży co prawda w karkołomnej pracy, jednak istotne jest zadanie sobie pytania: czy ona przedtem miała w ogóle sens? A jeśli nie, to po co ją automatyzować?

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się: dzisiaj stwierdziłem, że spróbuję w trochę bardziej zwartej formie zawrzeć moje myśli. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

z danymi i ze strategią jest jak z Yeti — każdy wie co to, kilka osób twierdzi, że widziało na własne oczy, w praktyce jak wchodzisz w szczegóły to okazuje się, że zasadniczo nikt na dobrą sprawę czegoś takiego nie odnotował. Dotknięcie tych obszarów to wejście na bardzo grząski grunt, gdzie znajdziesz masę ludzi zajmujących się tematem: konsultantów biznesowych, coachów, dyrektorów marketingu, szefów sprzedaży itd. Tak na dobrą sprawę gdy mowa o tytułowym pragmatyzmie to wchodzi nawet w ten zestaw porządny terapeuta, który pomaga przezwyciężyć swoje ego w sytuacji, gdy jednak to konkurencja zrobiła coś zdecydowanie lepiej, a początkowe założenia bazujące na rzetelnych danych i twardych liczbach spaliły na panewce, a z dotychczasową koncepcją zostałeś/aś jak Himilsbach z angielskim.

Ogromne niespójności w szczególności widać, gdy debata o zastosowaniu danych sprowadza się do obszaru technologicznego — tutaj pożywkę mają dostawcy różnych rozwiązań (i firmy wdrażające narzędzia) prezentujący mocno technokratyczną wersję rzeczywistości, a to wszystko w imię zrealizowanego celu sprzedażowego i zapewnienia często poczucia spokoju. Nie biję tutaj w żadne konkretne rozwiązanie, gdyż wiele rozwiązań, jak np. polski Livespace czy estoński Pipedrive w większości firm sprawdzą się doskonale do np. nadzoru sprzedaży. Co więcej, nie chcę sugerować, że to wszystko przez złą technologię, która często zbyt spłyca problemy , a raczej przez to, dlaczego też m.in. rozwój AI w chwili obecnej mimo iż imponujący, przypomina politykę niż faktyczny awans cywilizacyjny — adopcję i adaptację.

Bez odpowiedniej egzekucji i przygotowania się na zmiany możesz mieć najlepszy stos technologiczny oraz świetny dokument z opisaną strategią (co, jak życie również pokazuje, nie należy do często spotykanych rzeczy), ale to Ci nie pomoże. Co więcej, cała problematyka leży w tym, że wszystko bazuje na szeroko ujętym rachunku prawdopodobieństwa i szacowaniu ryzyka i to, że cokolwiek pożądanego (lub uznane za niezbędne do realizacji celu) zrobisz, nie jest gwarantem czegokolwiek. Pytanie zatem rodzi się następujące: jak wyważyć to, co robię i przy okazji nie zwariować?

Dzisiaj będzie treściwie o tym:

• O co chodzi ze strategią, jak ją spróbować zdefiniować i potencjalne problemy

• Rozumienie informacji, czyli o zarządzaniu, kontekście i o tym, jak to wpływa na dane i końcowe wnioski (+ sceptyzm wobec KPI, OKR i pochodnych)

• Dlaczego w interpretowaniu danych musisz rozumieć warstwę techniczną, nawet jak jesteś biznesem i nie chcesz się tym interesować?

Jak możesz zauważyć po trochę długawym wstępie i spisie treści, staram się tworzyć wysoce jakościowe treści — częściowo one mają charakter publicystyczny, częściowo opracowań technicznych. Jeśli nie jesteś na pokładzie mojego newslettera, zachęcam Cię do zapisania się; co prawda, nie będziesz się ze mną zawsze zgadzać, ale poznasz ciekawy punkt widzenia i masz pewność, że nie uznaję kompromisów, jeśli chodzi o jakość :)

Subscribe now

O co chodzi ze strategią, jak ją spróbować zdefiniować i potencjalne problemy

Temat bardzo szeroki i powstało na ten temat masa książek, jak i tak samo masa ludzi (zdecydowanie lepszych ode mnie) zajmuje się tym tematem, toteż nie będę wymądrzał się zbędnie i opiszę to w dość zgrabny sposób.

Czym jest właściwie strategia? Nie ma na to jednej spójnej definicji. Sam termin strategia pochodzi od starożytnego, greckiego słowa strategos, oznaczającego dowódcę wojskowego. Sama popularyzacja podejścia strategicznego zaczęła się według podań od popularyzacji dzieła Sun Zi, który napisał Sztukę wojny około 500 p.n.e., co jest uważane za jedno z najwcześniejszych dzieł o strategii (zresztą do dzisiaj bardzo popularna pozycja). Współcześnie, odnosząc do realiów biznesowych, ogólna definicja może brzmieć mniej więcej w takim stylu: Strategia to plan działania organizacji, mający na celu osiągnięcie określonej wizji, misji lub celów, poprzez efektywne wykorzystanie zasobów w zmieniającym się otoczeniu konkurencyjnym.

Cały sęk tego, czym jest strategia, w mojej opinii leży w tym, że ludzie nie określają sobie co jest strategią, przez co każde działanie ubierają w to niezwykle pojemne pojęcie. W finalnym rezultacie każdy plan i podejście do realizacji czegokolwiek jest strategią często bez niezbędnych ku temu elementów i sensownej walidacji swoich założeń. Nie jest trudno wywnioskować, że nakładając na to naszą naturę do ulegania błędom poznawczym, ludzkie ego i inne, życiowe problemy, można w wyjątkowo łatwy i brutalny sposób popłynąć w swoich celach i odnieść porażkę.

Istotne jest zrozumienie tutaj, że strategia powinna być długoterminowa. Krótkoterminowe działanie opisane jak powyżej to najczęściej taktyka — rozdzielenie tego na tym etapie jest w mojej opinii kluczowe: wtedy można przejść do tego, z czego powinna składać się docelowa strategia.

Bazując na analizach Harvard Business Review i McKinsey, kluczowe elementy skutecznej strategii biznesowej obejmują:

1. Jasna wizja i misja zgodna z celami wzrostu.

2. Analiza rynku i konkurencji dla zrozumienia otoczenia biznesowego.

3. Podejmowanie decyzji w oparciu o dane, traktując je jako strategiczny zasób.

4. Skupienie na doświadczeniu pracowników i rozwoju talentów.

5. Zdolność adaptacji do nowych technologii i zmian rynkowych.

6. Strategiczne budżetowanie i alokacja zasobów.

Czyli jak doskonale możesz zauważyć — dotyka to nie tylko samego planu na to, co należy zrobić, ale jednocześnie sposobów egzekucji przy dostępnych zasobach. Nie da się w tak szerokim otoczeniu jednoznacznie i bezwględnie podejmować decyzji, toteż decyzje i odpowiedzialność za nie bazują w ramach rachunku prawdopodobieństwa i analizy ryzyka każdorazowo obranego kierunku: najlepiej cyklicznie. Tutaj w szczególności pomagają dane, a konkretniej ich zastosowanie w konkretnej sytuacji (bo jak też wiadomo, dane bez kontekstu to tylko nieme cyfry):

• Jasna wizja i misja zgodna z celami wzrostu — postęp w realizacji celu trzeba pomiarować;

• Analiza rynku i konkurencji dla zrozumienia otoczenia biznesowego — konkurent na rynku zajmuje swój stosowny segment, który najczęściej jest pułapem finansowym, ale nie tylko;

• Skupienie na doświadczeniu pracowników i rozwoju talentów — satysfakcja w organizacjach jest mierzona najczęściej NPSami, ale również i poziomem rotacji;

• Zdolność adaptacji do nowych technologii i zmian rynkowych — zmiana rynkowa jest niczym innym jak przemodelowaniem gospodarczym, a ekonomia mimo iż nauka głównie nauka humanistyczna to posługuje się metodami matematycznymi;

• Strategiczne budżetowanie i alokacja zasobów — głównie finanse, tłumaczy samo za siebie.

Innymi słowy: nawet jak chcesz, to od danych nie uciekniesz. Warto więc nie być data-driven (swoją drogą uważam to określenie za najlepszy majstersztyk marketingowy zaraz po utworzeniu konceptu BRICS i braniu go w pełni na poważnie) tylko z nazwy, a zacząć sensownie gospodarować swoimi zasobami oraz nie popadać we fałszywą technokrację (jak np. przy próbie automatyzowania wszystkiego, co popadnie) i twierdzić, że wdrożenie jakiegokolwiek narzędzia to analityka.

Dane to zasób, analityka to narzędzie, strategia to rezultat całego procesu czynności związany z obróbką danych, taktyka to konkretne posunięcia, a do tego dochodzi jeszcze egzekucja. Stan idealny jest wtedy, kiedy wszystko się zgadza: z doświadczenia wiem, że zazwyczaj jak się coś psuje, to absolutnie wszystko na raz i równocześnie.

Rozumienie informacji, czyli o zarządzaniu, kontekście i o tym, jak to wpływa na dane i końcowe wnioski (+ sceptyzm wobec KPI, OKR i pochodnych)

Gdy już masz strategię i taktyki realizacji konkretnych rzeczy i przechodzisz do egzekucji to warto wiedzieć w jaki sposób zarządzać informacjami w organizacji. Nie da się tego zrobić bez kontekstu — sama strategia i konkretna taktyka już go nadaje, także dobrze przeprowadzony proces strategiczny (jako esencję i początek zainteresowania tematem polecam kształtuje kierunek mierzalności konkretnych elementów i preferowanej, docelowej struktury danych (+ korekty).

Jako dobry punkt wyjścia polecam ten wpis który pokazuje w jaki sposób można przeprowadzić taki warsztat:

The Lateral Lens

Strategy Workshop

Intro Today we’ll cover an approach I’ve used for running strategy workshops. It leverages a combination of VMOST (vision, mission, objectives, strategy, and tactics) and the North Star Framework, which I was introduced to by my friend John Cutler. To then build it all out I use techniques I learned from Christina Wodtke and Kate Rutter. This results in …

Read more

2 years ago · 3 likes · Charles Lambdin

Oprócz tego (co nie będzie zaskoczeniem dla osób zapoznanych z tematem strategii) polecę IMHO obowiązkową pozycję książkową: Good Strategy Bad Strategy: The Difference and Why It Matters (a tutaj wersja dla ludzi preferujących polskie tłumaczenie). Ta lektura pozwoli Ci zdecydowanie uszeregować to, co dzisiaj ode mnie przeczytasz i zdecydowanie pogłębić temat (acz zapewniam, że mejl nie powstał na bazie książki :P).

Z tego miejsca przejdę do czegoś, o czym mogłeś/aś prawdopodobnie słyszeć: OKR, KPI i inne metodyki służące do pomiaru efektów oraz wynikami. Z założenia brzmią one rewelacyjnie, gdyż uspójniają sposób pomiaru i formę interpretowania postępu w realizacji nałożonych celi. W praktyce często powstaje pewna dychotomia.

OKR, czyli Objectives and Key Results, to metodyka zarządzania łącząca cele organizacji z mierzalnymi rezultatami. Składa się z ambitnych, jakościowych celów (Objectives) oraz mierzalnych wskaźników (Key Results) określających, czy cel został osiągnięty. OKR ustala się zazwyczaj na kwartał lub rok, a ich transparentność dla całej organizacji jest kluczowa. Z kolei KPI, czyli Key Performance Indicators, to kluczowe wskaźniki efektywności mierzące skuteczność organizacji w osiąganiu celów operacyjnych. Są one często specyficzne dla danej branży lub funkcji, używane do monitorowania bieżącej wydajności i powiązane z długoterminowymi celami strategicznymi.

Choć obie metodyki służą do pomiaru wyników, różnią się w kilku istotnych aspektach. OKR skupiają się na ambitnych, transformacyjnych celach, podczas gdy KPI koncentrują się na monitorowaniu bieżącej wydajności. OKR są zazwyczaj krótkoterminowe i elastyczne, mogące się zmieniać w zależności od potrzeb, natomiast KPI są często długoterminowe i względnie stałe. OKR zachęcają do ustalania trudnych do osiągnięcia celów, podczas gdy KPI zazwyczaj mają realistyczne, osiągalne progi. Struktura OKR jest jasno określona: cel jakościowy i mierzalne rezultaty, a KPI to pojedyncze metryki, często bez szerszego kontekstu. OKR są używane do kierowania zmianami i innowacjami, a KPI służą do monitorowania i utrzymywania wydajności operacyjnej.

O tym powstało już sporo treści od bardziej doświadczonych ludzi ode mnie, toteż pozwolę sobie użyć cytatów — poniżej rzecz o OKRach:

Jak omówił Grove, OKR-y mają pomóc zespołom w ustaleniu tempa, priorytetyzacji pracy i skupieniu się na tym, co ważne. [...] Ale pamiętaj, OKR to hipoteza - KR-y to mniejsze wyniki, z których składają się większe cele. OKR-y powinny być proste, wspierając zdolność do szybkiej oceny, czy sprawdzają się jako hipotezy, czy powinny zostać zrewidowane. Powinno to nastąpić, gdy tylko pojawi się nowa wiedza. Często jednak OKR-y stają się ogromną, zagnieżdżoną strukturą, do której wraca się w jakimś absurdalnym, ustalonym cyklu (na przykład kwartalnym). [...] Zwinne OKR-y byłyby fajne. Moglibyśmy nazwać to 'OKRA'. Problem polega na tym, że jeśli uczysz się, jak osiągać docelowe wyniki, jak powinieneś, to po prostu ucz się, jak osiągać docelowe wyniki... cały dodatkowy bagaż struktury OKR nie jest nawet potrzebny.

---

KR-y mają tendencję do skupiania się na wyjściu (listach prac do wykonania), a nie na wynikach (różnicy, jaką ta praca ma zrobić). [...] Tworzenie jednoznacznych miar rezultatów jest jednak trudne, więc ludzie mają tendencję do skupiania się zamiast tego na listach zadań. Listy zadań są łatwe. Ale kiedy to się dzieje, uwaga przesuwa się na proporcję osiągniętych KR-ów (lub, co dziwne, na oceniony stopień, w jakim zostały osiągnięte). [...] Gdy uwaga wszystkich jest mocno skupiona na tym, nikt tak naprawdę nie śledzi, czy wskaźniki tych wyników wyższego poziomu (celów) są poruszane, czy nie.

---

Wszyscy wiedzą, że zasada nr 1 dotycząca OKR-ów mówi, że NIE MOGĄ być one powiązane z ocenami pracowniczymi. No jasne. W końcu mają to być ambitne cele. Jeśli powiążesz oceny pracowników z nimi, to... Tak. Możesz je wtedy nazwać luźnymi celami. To prawo Goodharta. [...] Jeśli OKR-y są powiązane z twoją oceną wyników, to jak to będzie wyglądać dla ciebie, zależy od rozmów, które przeprowadzisz ze swoim menedżerem. [...] Pamiętaj, OKR-y mają dotyczyć skupienia i ciągłego doskonalenia. Mają wykorzystywać ambitne cele jako katalizator wzrostu, co znowu działa tylko wtedy, gdy nie są powiązane z ocenami pracowniczymi.

— przetłumaczone cytaty z OKRs and OKRA autorstwa Charles’a Lambdin’a w newsletterze The Lateral Lens

A tu trochę o KPIach:

KPI pomagają menedżerom produktu, programistom i interesariuszom monitorować i oceniać sukces produktu. Umożliwiają podejmowanie decyzji opartych na danych i pomagają identyfikować obszary wymagające poprawy. Śledząc KPI, zespoły mogą dokonywać świadomych korekt swoich strategii i priorytetyzować wysiłki zgodne z celami produktu.

---

Przy tworzeniu lub opracowywaniu KPI musisz rozważyć, jak ten KPI odnosi się do konkretnego wyniku biznesowego lub celu. KPI muszą być dostosowane do twojej sytuacji biznesowej i powinny być opracowane tak, aby pomóc ci osiągnąć twoje cele.

---

Jaka jest ta jedna metryka, która ma największe znaczenie dla sukcesu twojej firmy i wokół której możesz zjednoczyć swój zespół? [...] Gdy zidentyfikujesz tę 'najważniejszą' metrykę, możesz wokół niej ustalić kryteria sukcesu, monitorować ją, zrozumieć, co napędza jej zmiany, obsesyjnie popychać ją we właściwym kierunku – i właściwie oceniać i zarządzać kondycją swojego produktu.

— przetłumaczone cytaty z 29/36 : 📊 Everything about Product KPIs w newsletterze Product Mindset’s Newsletter

Warto zauważyć, że OKR i KPI nie wykluczają się wzajemnie. Wiele organizacji skutecznie łączy obie metodyki, używając KPI do monitorowania bieżącej wydajności, a OKR do napędzania wzrostu i innowacji. Jednakże, w praktyce implementacja tych metod może prowadzić do pewnych wyzwań i dylematów, szczególnie w kontekście zarządzania informacjami w organizacji i dostosowywania ich do szerszej strategii biznesowej.

Jednym z kluczowych dylematów jest balansowanie między krótkoterminową efektywnością a długoterminową innowacją. KPI często skłaniają do optymalizacji bieżących procesów, podczas gdy OKR zachęcają do podejmowania ryzyka i eksperymentowania. To może prowadzić do konfliktu priorytetów, gdzie menedżerowie muszą decydować, czy skupić się na poprawie wskaźników KPI, czy na realizacji ambitnych celów OKR.

Innym wyzwaniem jest potencjalne przeciążenie informacyjne. Próba jednoczesnego śledzenia wielu KPI i OKR może prowadzić do nadmiaru danych, utrudniając wyciąganie jasnych wniosków i podejmowanie decyzji. Organizacje muszą znaleźć złoty środek między kompleksowością a przejrzystością systemów pomiarowych.

Wyzwaniem jest także dostosowanie cykli raportowania i rewizji. OKR są zazwyczaj ustalane i oceniane w dłuższych okresach, podczas gdy KPI często wymagają częstszego monitorowania. Synchronizacja tych różnych rytmów może być trudna i wymaga elastycznego podejścia do zarządzania informacjami.

Wreszcie, pojawia się kwestia adaptacji do zmieniających się warunków rynkowych. Sztywne trzymanie się ustalonych KPI może ograniczać zdolność organizacji do szybkiego reagowania na zmiany, podczas gdy zbyt częste modyfikowanie OKR może prowadzić do utraty długoterminowej wizji.

Także jak widzisz, jest to znacznie szersza sprawa niż implementacja zwykłego CRMa, czy innego ERPa.

Dlaczego w interpretowaniu danych musisz rozumieć warstwę techniczną, nawet jak jesteś biznesem i nie chcesz się tym interesować?

Wprowadzę tutaj kolejny defetyzm względem obecnie panującego dyskursu i sparafrazuję cytat z mojego poprzedniego newslettera:

Kacper Duras’ Newsletter

#6: Ile kosztuje data warehouse i dlaczego nie musi być to drogie?

Cześć, sposób przetwarzania informacji, dane, analityka nie muszą być kosztowne — to stwierdzenie stoi w opozycji do powszechnego przekonania o tym, że technologia wymaga dużych nakładów inwestycyjnych, by mogła realizować swoje cele. Wszystko, jak zwykle, rozchodzi się o szczegóły oraz o to, w jaki sposób podchodzimy do implementacji rozwiązań w swoich …

Read more

2 years ago · 2 likes · Kacper Duras

Mianowicie: jestem tego zdania, że rozwój ANI (ang. Artificial Narrow Intelligence; celowo tu nie wspominam o AGI, tj. Artificial General Intelligence, gdyż to jest koncept nadal teoretyczny i nieprzewidywalny, nie mówiąc o tym, czy w ogóle możliwy) zwiększy, co jest oczywiste, zapotrzebowanie na dane, ale jednocześnie zwiększy próg wejścia w realizacji analiz i wymusi jeszcze większą interdyscyplinarność (co się łączy ze wspomnianym w cytacie paradoksem Jevonsona).

Tak na dobrą sprawę nawet na obecnym etapie ma tak to na dobrą sprawę miejsce. Przykładem namacalnym z podwórka marketingu jest Google Analytics 4 i funkcjonalność modelowania behawioralnego. Modelowanie behawioralne w Google Analytics 4 (GA4) to zaawansowana funkcja wykorzystująca uczenie maszynowe do analizy zachowań użytkowników i przewidywania ich przyszłych działań. Proces ten opiera się na zbieraniu i analizie danych o interakcjach użytkowników z witryną lub aplikacją, takich jak czas spędzony na stronie, kliknięcia, przewijanie, czy ścieżki nawigacji. GA4 wykorzystuje te informacje do tworzenia modeli predykcyjnych, które mogą przewidywać prawdopodobieństwo określonych działań użytkownika, na przykład dokonania zakupu czy porzucenia koszyka, ale nawet i liczby wejść na strony internetowe. Modele te są stale aktualizowane w oparciu o nowe dane, co pozwala na ciągłe doskonalenie szacunków (co jest ważne: dane surowe do samodzielnej obróbki jesteś w stanie uzyskać z BigQuery, gdyż te podane już przez panel analityczny są już po przeprocesowaniu).

Kolejny przykład poruszałem już na blogu we wątku dotyczącym prognozowania danych:

Kacper Duras’ Newsletter

#4: Prognozowanie, zarządzanie ryzykiem i wykrywanie niezgodności w danych

Cześć, niewątpliwie ChatGPT zmienił sposób postrzegania AI i jego roli w codziennym użytkowaniu, acz warto zwrócić uwagę na to, że modele językowe to nie jest cały zakres możliwości…

Read more

2 years ago · 1 like · Kacper Duras

Mianowicie, jeśli taki model ANI zostanie stworzony do prognozowania wyników, to trzeba będzie nie dość, że poznać założenia predykcji, to jeszcze móc je walidować i dostrajać względem wyników. To, co jest pewne to to, że nie przewidzisz przyszłości i przy np. budowie modeli ekonometrycznych przewidujących scenariusze ekonomiczne potrafią zmieniać się założenia. W dodatku same algorytmy potrafią się zdezaktualizować i na ich miejsce wejść nowe odpowiedniki, potrafiące np. wyzbyć się anomalii i innego szumu informacyjnego: trzeba wiedzieć, kiedy je użyć. To, w jaki sposób je użyć i co potem dane liczby znaczą zależy właśnie ściśle od tej technicznej części.

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

sposób przetwarzania informacji, dane, analityka nie muszą być kosztowne — to stwierdzenie stoi w opozycji do powszechnego przekonania o tym, że technologia wymaga dużych nakładów inwestycyjnych, by mogła realizować swoje cele. Wszystko, jak zwykle, rozchodzi się o szczegóły oraz o to, w jaki sposób podchodzimy do implementacji rozwiązań w swoich projektach, a następnie ich eksploatacji.

Dzisiaj będzie treściwie o tym:

• Jakie są zasadniczo koszty utrzymywania infrastruktury technologicznej?

• Najpopularniejszy błąd przy doborze architektury

• O odkrywaniu koła na nowo, czyli jak dostawcy pod płaszczykiem usprawnień w istocie zabijają rentowność oraz o pozornie korzystnych sposobach rozliczeń

• Niezależność technologiczna > cena, czyli jak odnaleźć się w grze dla dużych firm będąc małym graczem

Dotychczasowe treści dotychczas utrzymywałem w nurcie tego, w jaki sposób zarządzać odpowiednio danymi, pilnować m.in. finansów, jak i skuteczności reklam (co biorąc pod uwagę kształt ekonomii wielu przedsiębiorstw jest krytycznym obszarzem do nadzoru przepływu finansowego), więc może to nie będzie do końca intuicyjne (szczególnie dla ludzi z obszaru marketingu) co będę z początku pisał, acz nie da pominąć się aspektów infrastruktury IT i projektowej. Wymaga to pewnego usystematyzowania i odniesienia na przykładach technicznych, zarządczych i biznesowych zarazem.

Takich wątków będzie pojawiało się zdecydowanie więcej, a dzisiejszego mejla potraktuj proszę jako wstęp do podobnych zagadnień. Jeśli Ci się podoba taka forma, a nie subskrybujesz, to zachęcam do zapisu:

Wpis dedykuję wszystkim tym, którzy uważają, że AI zabierze w najbliższej przyszłości pracę i wciskają korpo-crack swoim klientom polegający na automatyzacji narzędziami no-code wszystko, co się tylko da i rusza, będąc w istocie tylko wrapperem dla narzędzi takich jak OpenAI czy Anthropic.

W jednym z polecanych przeze mnie newsletterów (i IMO najlepszym technologiczno-społecznym newsletterze w PL) we wpisie 🤠 Hillbilly hacker manifesto Kamil Stanuch napisał ładnie jedną rzecz:

Nie kupuję tych wizji “że pora przebranżowić się z IT, programiści nie będą potrzebni” (więcej tu sensacjoznimu i chyba odwetowości względem uprzywilejowanej klasy, o czym pisałem w czerwcowym O pogardzie dla humanistów).

Cały czas stoję na stanowisku, że odwrotnie: LLMy tylko zwiększą zapotrzebowanie na programistów/programistki, a rozwiązania typu Copilot czy Cursor doprowadzą do klasycznego paradoksu Jevonsa i będą tym czym Shopify dla e-commerce: : zwiększona wydajność może skutkować szybszym wykorzystaniem zasobów i wzrostem zapotrzebowania.

Anegdotycznie: z osób, która zobaczy, że “da się stronę wygenerować” tak prosto jakieś 10% samo podejmie się tego, 40% zleci to mając z tyłu głowy, że to teraz proste (“tańsze”), pozostałe 50% uzna “o, może warto pomyśleć o stronie internetowej”.

Zgadzam się z tym w 100%, co niestety jest bardzo złym sygnałem w kontekście chociażby zmian klimatycznych i globalnej realizacji m.in. celi emisyjnych, acz dzisiaj nie o tym.

Skupię się na LLMach, a tym co się dzieje pod spodem, a właściwie danym, ich procesowaniu, składowaniu i układaniu pod to architektury we firmie. Zanim wrzucisz cokolwiek do jakiegokolwiek modelu językowego warto generalnie zadbać o to, by zbierać i przetwarzać to wygodnie, tanio i skutecznie.

Jakie są zasadniczo koszty utrzymywania infrastruktury technologicznej?

Zagadnień z tym związanych jest mnóstwo, gdyż koszt utrzymania infrastruktury technologicznej to nie tylko opłata za serwery, ale całe spektrum usług związanych z tym bezpośrednio związanych:

• Sprzęt (Hardware) — Serwery, systemy pamięci masowej, urządzenia sieciowe i komputery dla pracowników.

• Oprogramowanie — Licencje na systemy operacyjne, aplikacje biznesowe i narzędzia zabezpieczające.

• Koszty personelu IT — Wynagrodzenia dla specjalistów IT i szkolenia.

• Energia elektryczna — Zasilanie sprzętu IT i chłodzenie centrów danych.

• Przestrzeń fizyczna — Wynajem lub utrzymanie serwerowni.

• Łączność — Koszty łączy internetowych i dedykowanych.

• Bezpieczeństwo — Systemy IDS/IPS, firewalle i audyty zabezpieczające przed cyberzagrożeniami.

• Konserwacja i wsparcie — Umowy serwisowe i wsparcie techniczne zapewniające sprawne działanie.

• Aktualizacje i modernizacja — Wymiana przestarzałego sprzętu i aktualizacje oprogramowania.

• Backup i odzyskiwanie danych — Systemy kopii zapasowych i rozwiązania Disaster Recovery.

• Zgodność z przepisami — Dostosowanie do wymogów prawnych i certyfikacje.

• Zarządzanie projektami IT — Narzędzia i procesy do planowania i wdrażania nowych rozwiązań.

• Szkolenia dla użytkowników końcowych — Edukacja pracowników w zakresie nowych technologii.

Jak widzisz, tego robi się dużo. Nic dziwnego, że od lat 90-tych funkcjonują na rynku dostawcy usług komercyjnych IT (hostingi) dla biznesu, a w 2006 powstało Amazon Web Services, czyli pionier usług chmurowych, tj. dostawców zasobów komputerowych na żądanie. W 2012 (trochę równolegle do Amazon Redshift i wcześniej Google BigQuery) powstał z kolei Snowflake — obecny lider (ok. 20% udziału rynku) usług data warehouse na świecie (tutaj pomijam SAP Business Warehouse z 1998, zważywszy na to, że SAP ma zdecydowanie zbyt wysoki próg wejścia i niekoniecznie przyczynił się on do poprawy dostępności DWH dla mniej zaawansowanych technicznie przedsiębiorstw). Materiały edukacyjne, konferencje, szeroki dostęp przez API i produktyzacja zrobiły swoje i teraz da się bardzo szybko postawić dużą infrastrukturę do skalowania ruchu z oferowanych usługach.

Nakładając na pierwotną listę poprawkę nowych informacji, klaruje się z tego sensowny obraz i pozostaje nam obok samego kosztu infrastruktury:

• Koszty personelu IT — Wynagrodzenia dla specjalistów IT i szkolenia.

• Zgodność z przepisami — Dostosowanie do wymogów prawnych i certyfikacje (acz tutaj głównie dochodzą kwestie integracji z dostawcą, gdzie najczęściej takie rzeczy jak umowy powierzenia danych są już gotowe, a sama implementacja GDPR pozostaje w sferze architektury konkretnej aplikacji, a nie infrastrukturalnej)

• Zarządzanie projektami IT — Narzędzia i procesy do planowania i wdrażania nowych rozwiązań.

• Szkolenia dla użytkowników końcowych — Edukacja pracowników w zakresie nowych technologii.

Skupię się tutaj w mojej opinii na najważniejszym: koszty personelu IT to nie tylko suche cyfry na liście płac. To inwestycja w fundament efektywnej infrastruktury. Paradoksalnie, wyższe pensje dla doświadczonych pracowników często przekładają się na niższe koszty ogólne. Dlaczego? Bo kompetentny zespół to mniejsza rotacja, stabilność wiedzy w organizacji i szybsze wdrażanie nowych technologii. Ciągłe szkolenia to nie fanaberia, a konieczność - pozwalają na optymalizację procesów i redukcję potrzeby drogiego outsourcingu. Pamiętajmy, że w tej całej rewolucji nie chodzi o oszczędzanie na ludziach, a o maksymalizację ich potencjału i efektywności kosztowej (gdzie na ten moment mokry sen o masowych zwolnieniach i zastąpieniu ludzi ChatemGPT to nic innego jak współczesna wersja feudalizmu i objaw braku zrozumienia szerszych zmian społecznych, a czasem również i kompetencji). Dobrze opłacani i zmotywowani pracownicy są bardziej skłonni do proponowania i wdrażania nowych rozwiązań, które mogą przynieść firmie znaczące oszczędności lub zwiększyć jej konkurencyjność. To oni są na pierwszej linii frontu technologicznego i to oni najlepiej wiedzą, jak wykorzystać najnowsze trendy do optymalizacji procesów biznesowych.

Nie zapominajmy też o aspekcie bezpieczeństwa. Doświadczeni specjaliści IT są kluczowi w budowaniu i utrzymywaniu solidnych systemów zabezpieczeń (co i tak jest ułatwione dzięki rozwiązaniom cloudowym, ale nie zastąpi dobrze napisanej i przetestowanej aplikacji). W dobie rosnących zagrożeń cybernetycznych (i automatyzacji ataków za pomocą rozwoju rzeczonego AI właśnie), inwestycja w kompetentny zespół IT to nie tylko kwestia efektywności, ale przede wszystkim bezpieczeństwa danych i ciągłości biznesowej. Koszty potencjalnego naruszenia bezpieczeństwa czy przestoju w działaniu systemów mogą wielokrotnie przewyższyć wydatki na utrzymanie wysokiej klasy specjalistów. Dlatego też, patrząc na koszty personelu IT, zawsze warto myśleć w kategoriach długoterminowego zwrotu z inwestycji, a nie krótkowzrocznych oszczędności.

Najpopularniejszy błąd przy doborze architektury

Nie jest tajemnicą, że na kosztach IT można wyłożyć się bardzo szybko. Można tego uniknąć przeprowadzając solidny proces analizy biznesowej potrzeb, a następnie zaprojektowania systemu.

Często spotykam się z podejściem im więcej, tym lepiej albo weźmy to, co ma najwięcej funkcji. To klasyczny przykład strzelania z armaty do muchy. Wielu decydentów, zwłaszcza tych mniej obeznanych z IT, ulega pokusie wyboru najbardziej rozbudowanych, a co za tym idzie — najdroższych rozwiązań, myśląc, że to zagwarantuje im sukces. Nic bardziej mylnego. Nadmiarowa architektura to nie tylko niepotrzebne koszty, ale też zwiększona złożoność systemu, która może prowadzić do problemów z wydajnością i utrzymaniem.

Widziałem firmy, które zainwestowały miliony w gigantyczne systemy ERP, by korzystać z zaledwie 20% ich funkcjonalności. To jak kupowanie Ferrari do jazdy po zakupy — efektowne, ale kompletnie nieefektywne. Inni decydują się na najbardziej zaawansowane rozwiązania chmurowe, płacąc za funkcje, których nigdy nie użyją, bo a nuż się kiedyś przyda. To trochę jak wynajmowanie pięciogwiazdkowego hotelu, żeby wziąć prysznic.

Kluczem jest precyzyjne dopasowanie infrastruktury do realnych potrzeb biznesowych. Czasem prostsza architektura, bazująca na mikrousługach i skalowalnych rozwiązaniach chmurowych, może okazać się znacznie bardziej efektywna niż monolityczny moloch pełen niewykorzystywanych funkcji.

Analiza biznesowa to nie suche wypełnianie tabelek. To proces głębokiego zanurzenia się w funkcjonowanie firmy. Zaczynamy od rozmów z pracownikami pierwszej linii, obserwujemy ich codzienną pracę. To jak detektywistyczne śledztwo - szukamy śladów nieefektywności, marnowania czasu i zasobów.

Mapowanie procesów biznesowych to kolejny krok. Tu wkraczają narzędzia do modelowania. BPMN (Business Process Model and Notation) to standard w tej dziedzinie. Narzędzia takie jak Lucidchart czy draw.io pozwalają tworzyć przejrzyste diagramy procesów. To nie tylko pomaga zrozumieć obecne procesy, ale też identyfikuje miejsca, gdzie nowy system może przynieść największą wartość.

Przy modelowaniu danych często sięgamy po narzędzia do tworzenia diagramów ERD (ang. Entity-Relationship Diagram). To pozwala nam zrozumieć, jakie dane są kluczowe dla biznesu i jak są ze sobą powiązane. Do modelowania architektury systemu przydają się narzędzia UML (ang. Unified Modeling Language). Visual Paradigm czy Enterprise Architect pozwalają tworzyć różnorodne diagramy — od przypadków użycia po diagramy klas i sekwencji. To pomaga przełożyć wymagania biznesowe na konkretne rozwiązania techniczne.

Nie zapominajmy o narzędziach do prototypowania interfejsów. Figma czy Sketch pozwalają szybko tworzyć makiety UI, które można prezentować interesariuszom. To świetny sposób na wczesne zebranie feedbacku i uniknięcie kosztownych zmian na późniejszych etapach projektu. Dokumentacja rośnie wraz z projektem. Narzędzia takie jak Confluence pomagają organizować i udostępniać dokumentację. To nie są dokumenty, które lądują na półce — to żywe przewodniki dla zespołu i przyszłych użytkowników systemu.

Pamiętajmy, że narzędzia to tylko środki do celu. Kluczowe jest zrozumienie potrzeb biznesu i przełożenie ich na efektywne rozwiązania techniczne. Najlepsze narzędzia nie zastąpią dobrego zrozumienia procesów biznesowych i umiejętności krytycznego myślenia. Cały ten proces to nie jednorazowe zadanie, a ciągła podróż. Regularnie weryfikujemy nasze założenia, zbieramy feedback, dostosowujemy plany. Elastyczność jest kluczowa - musimy być gotowi na zmiany w otoczeniu biznesowym i technologicznym.

Dobrym i prostym przykładem do zobrazowania skali rzeczy jest Google Analytics 4.

Dla niewtajemniczonych krótki opis: GA4 to narzędzie do analityki internetowej które według różnych statystyk ma ~90% rynku. Względem poprzedniej wersji (zwaną Universal Analytics) zaszła kluczowa zmiana paradygmatu mierzenia zdarzeń i ich standardu — docelowo jeśli chcesz wykonać bardziej złożone obliczenia i raporty musisz integrować się poprzez Google BigQuery i dane, które eksportuje aplikacja w stosownym formacie. Jest to problematyczne dla ludzi ze świata marketingu, gdzie poprzednio wiele rzeczy było dostępnych na wyciągnięcie ręki (niekoniecznie zapewniając poprawne dane, ale świadomość tego jest nikła, toteż wywołuje to problem natury UXowej bez zrozumienia zasadności zmian).

Z racji, że BigQuery to już środowisko cloudowe, trzeba podejść do procesu analityki marketingowej i biznesowej jak do każdego innego projektu IT. Nie da się wdrażać bazy danych, obrabiać danych, wizualizować, a następnie dystrybuować po organizacji bez rozpoznania potrzeb biznesowych i stworzenia architektury wdrożenia. Samo narzędzie dla wdrażania narzędzia owszem, ma zalety, takie jak np. integracja z produktami reklamowymi od Google, ale w dalszym razie nie jest to wdrażanie analityki, ale narzędzia. Zamiast tego w marketingu pokutuje bardzo szablonowe myślenie, które polega na sprzedawaniu usług nieświadomym klientom, a co gorsza, promuje wśród specjalistów podejście bezmyślnego kopiuj-wklej gotowych poleceń do generowania tabel i raportów.

Nie zrozum mnie źle — upraszczanie życia jest super i nie widzę problemów w tym, że powstają gotowe integracje, biblioteki i materiały. Tak samo rozumiem, że nie da się wiedzieć wszystkiego i edukacja jest super ważna. Trzeba jednak nazywać rzeczy po imieniu i w sytuacji, gdy nie rozumiesz podstawowych założeń i mechanizmów za nimi stojących, a odpowiadasz tak na dobrą sprawę za analizowanie przepływu finansowego marketingu i prognozy skuteczności, to prawdopodobnie robisz krzywdę firmie. Idealnie nigdy nie będzie (trochę w myśl niepisanej zasady zawsze pali się trochę pieniędzy), jednak należy dążyć w mojej opinii do jak największej precyzyjności i uspójnienia panujących zasad. Im szybciej marketing i biznes to zrozumie tym świat będzie zdecydowanie lepszy, budżety bardziej realne, a koszty bardziej policzone (szczególnie, gdy dobrze to się rozplanuje, to wtedy wiadomo czego brakuje i na jakim jesteś etapie wdrożenia).

O odkrywaniu koła na nowo, czyli jak dostawcy pod płaszczykiem usprawnień w istocie zabijają rentowność oraz o pozornie korzystnych sposobach rozliczeń

Teraz bardziej praktycznie o modelach rozliczeniowych z dostawcami. Bardzo często pokutuje myślenie, że wszystko, co działa, powinno być jak najbardziej dynamiczne i elastyczne, a najlepiej rozliczane za efekt. To podejście, choć na pierwszy rzut oka atrakcyjne, może prowadzić do nieoczekiwanych pułapek kosztowych, szczególnie w świecie usług chmurowych.

Pay-as-you-go vs. stałe koszty

Model pay-as-you-go to standard w usługach chmurowych. Płacisz tylko za to, co używasz - brzmi idealnie, prawda? Nie zawsze. Ta pozorna elastyczność może prowadzić do nieprzewidywalnych i często wyższych kosztów niż oczekiwano:

• AWS EC2: Firma uruchamia instancje na potrzeby okresowego przetwarzania danych, ale zapomina o ich wyłączeniu po zakończeniu pracy. Rezultat? Niepotrzebne opłaty za bezczynne maszyny.

• Azure Cosmos DB: Nieoczekiwany skok w liczbie zapytań do bazy danych może spowodować gwałtowny wzrost kosztów.

• Google Cloud Storage: Nieefektywne zapytania generujące duży ruch sieciowy przekładają się na wyższe koszty transferu danych.

Złożoność cenników

Cenniki usług chmurowych to często labirynt różnych stawek, zależnych od typu usług, regionów geograficznych czy poziomów wykorzystania:

• AWS Data Transfer: Koszty transferu danych różnią się w zależności od kierunku (do/z chmury), regionu i ilości danych. Nieświadoma firma może generować ogromne koszty, przenosząc dane między regionami.

• Azure Virtual Machines: Ceny zmieniają się w zależności od serii maszyn, regionu i systemu operacyjnego. Wybór niewłaściwej konfiguracji może znacząco wpłynąć na budżet.

• Google Cloud CDN: Opłaty zależą od lokalizacji użytkowników końcowych, ilości transferowanych danych i liczby zapytań. Globalna dystrybucja treści może okazać się droższa niż przewidywano.

Ukryte koszty

Pod powierzchnią podstawowych opłat często czają się dodatkowe koszty, które mogą znacząco wpłynąć na całkowity rachunek:

• AWS S3: Oprócz kosztów przechowywania, naliczane są opłaty za operacje (GET, PUT, COPY), transfer danych i zapytania do metadanych. Intensywne wykorzystanie może prowadzić do nieoczekiwanych wydatków.

• Azure SQL Database: Dodatkowe koszty za kopie zapasowe, replikację geograficzną i monitorowanie wydajności mogą szybko się sumować.

• Google Cloud Pub/Sub: Opłaty za przechowywanie niedostarczonych wiadomości mogą się kumulować, szczególnie w systemach z dużym ruchem.

Efekt vendor lock-in

Korzystanie ze specyficznych usług dostawcy może prowadzić do uzależnienia od jednego providera, co utrudnia późniejszą migrację:

• AWS Lambda: Funkcje napisane dla Lambda mogą wymagać znacznych modyfikacji przy przenoszeniu do innego środowiska, co zwiększa koszty migracji.

• Azure Cosmos DB: Przeniesienie danych do innej bazy NoSQL może być skomplikowane ze względu na unikalne funkcje Cosmos DB.

• Google Cloud Dataflow: Migracja przetwarzania strumieniowego do innej platformy może wymagać przepisania znacznej części logiki biznesowej.

Dynamiczne ceny

Niektórzy dostawcy oferują dynamiczne ceny oparte na aktualnym popycie. To może przynieść oszczędności, ale wprowadza element nieprzewidywalności:

• AWS EC2 Spot Instances: Ceny mogą zmieniać się co kilka minut, a instancje mogą być terminowane z krótkim wyprzedzeniem, co wymaga odpowiedniego projektowania aplikacji.

• Google Preemptible VMs: Tańsze, ale mogą być wyłączone po 24 godzinach lub wcześniej, jeśli Google potrzebuje zasobów.

• Azure Spot VMs: Podobne do AWS, ale z możliwością ustawienia maksymalnej ceny, co daje pewną kontrolę nad kosztami.

Modele subskrypcyjne i rezerwacje

Dostawcy często oferują zniżki za długoterminowe zobowiązania. To może przynieść oszczędności, ale wymaga dokładnego planowania:

• AWS Savings Plans: Elastyczne plany oszczędnościowe dla EC2, Fargate i Lambda, wymagające zobowiązania do określonego poziomu wykorzystania.

• Azure Reserved VM Instances: Rezerwacje na 1 lub 3 lata z możliwością płatności z góry lub miesięcznie, co może przynieść znaczące oszczędności przy stałym wykorzystaniu.

• Google Committed Use Discounts: Zniżki za zobowiązanie do wykorzystania określonej ilości zasobów przez 1 lub 3 lata, idealne dla stabilnych obciążeń.

Darmowe poziomy i progi

Wiele usług oferuje darmowe poziomy, które mogą być pułapką dla nieświadomych użytkowników:

• AWS Free Tier: 750 godzin EC2 t2.micro miesięcznie przez rok, ale tylko dla nowych klientów. Przekroczenie limitu może prowadzić do nieoczekiwanych opłat.

• Azure Free Account: $200 kredytu na start, ale niektóre usługi pozostają darmowe tylko przez 12 miesięcy. Ważne, aby monitorować wykorzystanie i planować przejście na płatne plany.

• Google Cloud Free Tier: Niektóre usługi zawsze darmowe w określonych limitach, inne tylko przez 90 dni. Wymaga uważnego śledzenia, aby uniknąć niespodzianek.

Koszty wyjścia

Często pomijane, ale istotne są koszty związane z migracją danych czy aplikacji poza chmurę lub do innego dostawcy:

• AWS S3: Brak opłat za przesyłanie danych do S3, ale wysokie koszty transferu danych na zewnątrz. Może to znacząco wpłynąć na koszty migracji.

• Azure Blob Storage: Opłaty za odczyt danych przy przenoszeniu ich do innego dostawcy mogą być znaczące przy dużych ilościach danych.

• Google Cloud Storage: Koszty transferu danych między regionami lub do innych chmur mogą szybko się sumować, szczególnie w przypadku globalnych aplikacji.

Niezależność technologiczna > cena, czyli jak odnaleźć się w grze dla dużych firm będąc małym graczem

W taki sposób przejdę do ostatniego punktu mojego dzisiejszego mejla. Jesteś firmą, chcesz zacząć korzystać z danych, ale to wszystko jest bardzo drogie i prawdę mówiąc nie chcesz na razie zbytnio zwiększać kosztu technologicznego. Jak do tego podejść?

To, do czego zachęcam wszystkich i moich klientów jest budowanie swojej własnej niezależności pod kątem stacku technologicznego. Do tego jest potrzebna wiedza i ludzie, co komponuje się ładną klamrą tematyczną z punktem pierwszym mojego mejla, a konkretnie z tym fragmentem:

[…] koszty personelu IT to nie tylko suche cyfry na liście płac. To inwestycja w fundament efektywnej infrastruktury. Paradoksalnie, wyższe pensje dla doświadczonych pracowników często przekładają się na niższe koszty ogólne. Dlaczego? Bo kompetentny zespół to mniejsza rotacja, stabilność wiedzy w organizacji i szybsze wdrażanie nowych technologii. Ciągłe szkolenia to nie fanaberia, a konieczność - pozwalają na optymalizację procesów i redukcję potrzeby drogiego outsourcingu.

W czasach gdy każdy rywalizuje o wiedzę, uwagę i bycie w krwioobiegu firm, open source oraz odpowiedni personel jest często wystarczający do ucięcia dużych kosztów cloudowych i zadbania o swoją podmiotowość w świecie technologii. Dobrym przykładem są takie darmowe narzędzia, jak Apache Spark czy Apache Hadoop, dzięki którym dość sprawnie jesteś w stanie zbudować część własnej architektury analitycznej i pracować na przewidywalnym środowisku pod kątem technologicznym i kosztowym.

Ale to dopiero początek. Budowanie niezależności technologicznej to nie tylko kwestia oszczędności — to strategiczna decyzja, która może zadecydować o przyszłości Twojej firmy. Chodzi tu o kontrolę nad własnymi danymi i procesami, elastyczność w dostosowywaniu rozwiązań do zmieniających się potrzeb biznesowych i, co nie mniej ważne, uniknięcie pułapki vendor lock-in.

Open source to nie tylko darmowe narzędzia, ale cała filozofia dzielenia się wiedzą i współpracy. Dla małych firm oznacza to dostęp do zaawansowanych technologii, które często dorównują komercyjnym rozwiązaniom. Weźmy na przykład PostgreSQL — potężny system zarządzania bazami danych, który w wielu przypadkach może zastąpić drogie, licencjonowane alternatywy. Albo spójrzmy na ekosystem Pythona — z bibliotekami takimi jak pandas czy scikit-learn możesz budować zaawansowane rozwiązania analityczne bez wydawania fortuny na specjalistyczne oprogramowanie.

Kluczem do skutecznego wykorzystania tych narzędzi jest inwestycja w rozwój własnego zespołu IT. I nie mówię tu o wysyłaniu ludzi na drogie, korporacyjne szkolenia. Chodzi o budowanie kultury ciągłego uczenia się, eksperymentowania z nowymi technologiami i dzielenia się wiedzą wewnątrz organizacji. To podejście nie tylko podnosi kompetencje zespołu, ale też przyciąga talenty - specjalistów, którzy cenią sobie pracę z nowoczesnymi, otwartymi technologiami.

Projektowanie własnej architektury IT z wykorzystaniem open source wymaga strategicznego myślenia. Trzeba patrzeć długoterminowo, planować z myślą o skalowalności, ale zaczynać od rozwiązań dopasowanych do aktualnych potrzeb. Modułowe podejście do budowy systemu pozwala na łatwe wymienianie lub aktualizowanie poszczególnych komponentów w miarę rozwoju firmy.

Weźmy konkretny przykład: zamiast inwestować w drogie rozwiązania Business Intelligence, możesz wdrożyć takie narzędzia jak Metabase czy Apache Superset. Dają one potężne możliwości wizualizacji i analizy danych, a jednocześnie są darmowe i open source. To samo dotyczy analityki big data — Apache Spark może być świetną alternatywą dla kosztownych rozwiązań chmurowych, szczególnie jeśli masz w zespole osoby, które potrafią go efektywnie wykorzystać.

Wymaga to budowania odpowiednich kompetencji we firmie, szkoleń i solidnego zaprojektowania architektury, ale jeśli duże spółki tak robią, to czemu tego nie zrobić na własną rękę i przestać przepłacać? ;)

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

ostatni wpis przesłałem ponad miesiąc temu — co prawda obiecałem sobie, że będę tworzył treści zdecydowanie częściej, acz:

1. Piszę wtedy, kiedy mam na to pomysł. To zresztą jedna z zasad tego newslettera, którą ustaliłem sobie na samym początku zakładania go i zdecydowanie się tego trzymam. Nie widzę sensu tworzenia zawartości po to, by coś napisać (acz pierwotny wpis który planowałem opublikuję jako następny).

2. Miałem zamiar pod koniec tamtego miesiąca wrzucić do Internetu bardzo fajną rzecz, acz z racji na moje bieżące obowiązki trochę się to niestety przedłuży i wyrobię się dopiero pod koniec sierpnia — zanotyfikuję Cię, gdyż to będzie bardzo przydatna rzecz poprzedzona bardzo drobiazgowym researchem.

Dzisiaj podrzucę sposób (który co prawda jest głównie ma zastosowanie w e-commerce, acz sam schemat nie jest na tyle szyty na miarę, by nie móc go zaadaptować w innej formie) na to, jak bez popadania w zbędną ekstazę i stosując mój ulubiony rodzaj wdrożeń, czyli łatwo, szybko i tanio, być firmą data-driven bez stosowania fikuśnych SaaSów w klasycznym tego słowa rozumieniu i porównywać ceny swoich produktów z konkurencją, by następnie, uwaga, dostosować na podstawie tej informacji swój budżet marketingowy i politykę cenową.

To wszystko stosując trochę kodu, narzędzia Google Cloud Platform i jakikolwiek brak stosowania AI :) Nie brzmi to za bardzo modnie, ale czymże byłyby konwenanse, gdyby nie można było ich naruszyć?

Rozpoznanie możliwości

Na pomysł wpadłem jakiś czas temu przy weryfikacji możliwości wyciągnięcia danych z różnych narzędzi od Google. Odkąd pamiętam wszystko co mogę staram konwertować do formatów baz danych takich jak np. Google BigQuery — wynika to u mnie głównie z wygody (szybciej zdecydowanie dla mnie jest napisać polecenie zamiast wyklikać interfejs, który często bywa źle zaprojektowany) i braku ograniczeń w dalszym zarządzaniu informacjami (mogę potem z tego tytułu zrobić wszystko, co mi się tylko podoba).

Otóż Google BigQuery posiada reklamowaną przez nich funkcję Google BigQuery Data Transfer, która jak sama nazwa mówi, służy do planowania transferów informacji danych z aplikacji do BigQuery. Pomijając to, że jej działanie jest momentami nieco dziwne i niezrozumiałe (o czym będzie w innym wydaniu), umożliwia uruchomienie w bardzo prosty sposób cyklicznych transferów do BigQuery i co za tym idzie, zapisu informacji. Integracji jest względnie sporo (acz bez możliwości dopisania własnych): od Google Ads, po nawet produkty reklamowe konkurencji (np. Meta). Jedną z nich jest Google Merchant Center, gdzie na dzień publikacji wpisu, mamy możliwość uzyskiwania następujących zestawień:

Wszystko byłoby do tego miejsca świetnie, gdyby nie to, że Google ze względu na brak uzasadnionego interesu oraz przepisy antymonopolowe nie ujawnia wielu danych, w tym bardzo precyzyjnych nt. konkurencji. Wszystko jest wyświetlane albo w sposób kohortowy (inaczej: zbiorczy, grupując np. konkurentów do grup i zestawiając zbiory ze sobą) albo z dużym opóźnieniem (gdzie w Google Ads to jest aż trzy dni!).

Informacje o statusach produktów dostajemy od razu, gdzie z doświadczenia polecam transferować je raz na dobę — do większości zastosowań to zdecydowanie wystarczy, ale sytuacja robi się tragiczna, gdy chcemy reagować w czasie rzeczywistym lub mieć bardziej precyzyjne informacje.

Automatyczne rabaty w Google Ads

Na problemy które tworzy Google odpowiada… Google. Od około roku w ramach narzędzia Google Merchant Center jest udostępniona funkcjonalność automatycznych rabatów, która pozwala na nadawanie rabatów w czasie rzeczywistym.

Sposób określania obniżek nie jest do końca wiadomy, acz według oficjalnego przekazu działa on na podstawie potencjału użytkownika do realizacji transakcji, jak i danych konkurencji — o ile cała polityka rabatowa zależna od zewnętrznego dostawcy z black-box’owym modelem jest fatalnym pomysłem, tak miałem okazję przetestować dla grup produktów charakteryzujących się:

1. Wysoką konkurencyjnością i zmiennością kwot, gdzie cena asortymentu może zmieniać się z godziny na godzinę (często widoczne np. w księgarniach).

2. Na tyle dużą marżą, że nie jest problemem zapewnienie Google’owi miejsca na automatyczną obniżek wynoszącą np. do 5% dopuszczalnej obniżki i utrzymanie polityki fiskalnej w ryzach.

Moje doświadczenia są takie, że o ile nie do końca miałem jak pomierzyć rzetelnie inkrementu przed i po wdrożeniu (nawet zważywszy na obostrzenia w reklamowaniu tego samego asortymentu z kilku porównywarek cenowych jednocześnie oraz de facto problem przy walidacji rodzaju sesji użytkownika), tak odnotowywałem zazwyczaj (co też podkreślam, bo to jest dużym uśrednieniem) większe ilości transakcji na mniejsze kwoty niż dotychczasowa średnia zakupów w całym e-commerce

Technicznie można zweryfikować wpływ tego komponentu na transakcje, gdyż każdorazowo Google przesyła informacje za pomocą JSON Web Token o tym, jaki rabat nałożyć, gdzie następnie po stronie sklepu musisz wygenerować kod rabatowy ważny przez określony czas. Cała integracja generalnie działa tak:

1. Zaloguj się do swojego konta Google Merchant Center.

2. Przejdź do sekcji "Marketing" w głównym menu, a następnie kliknij "Promocje".

3. Skonfiguruj dynamiczne promocje, podając:

   1. Minimalną cenę dla automatycznego ustalania cen [auto_pricing_min_price]

   2. Koszt towarów (COGS)

   3. Docelowy zwrot z wydatków na reklamę (ROAS)

   4. Maksymalny rabat promocyjny

Przykład konfiguracji w API Google Content:

4. Utwórz plik feedu promocyjnego w formacie CSV, XML lub JSON, zawierający szczegóły takie jak ID promocji, tytuł, opis, daty rozpoczęcia/zakończenia i kod realizacji. Przykład pliku CSV:

promotion_id,title,description,start_date,end_date,redemption_code

LATO2024,Letnia Wyprzedaż,20% zniżki na wszystkie letnie produkty,2024-06-01T00:00:00+02:00,2024-08-31T23:59:59+02:00,LATO20

5. Prześlij feed promocyjny do swojego konta Google Merchant Center

6. Przypisz promocję do konkretnych produktów lub całego asortymentu.

7. Przejrzyj i aktywuj promocję w interfejsie Google Merchant Center (lub zawrzyj odpowiednie reguły bezpośrednio we feedzie)

Implementacja automatycznych rabatów w Google Merchant Center wymaga dodatkowo integracji z systemem tokenów JWT. Gdy użytkownik kliknie w reklamę, zostaje przekierowany na stronę produktu z parametrem pv2 w URL, zawierającym zakodowany token. Aby obsłużyć ten token, należy dodać odpowiedni skrypt JavaScript na stronie produktowej:

Ten skrypt odczyta token i wyśle go do backendu do weryfikacji. Na backendzie, używając na przykład Pythona z frameworkiem Flask, implementujemy endpoint /verify-discount:

Ten endpoint dekoduje token, sprawdza jego ważność oraz zgodność ID oferty i sprzedawcy. Jeśli wszystko jest poprawne, zwracamy nową, obniżoną cenę produktu.

Pamiętajmy, że rabat musi być ważny przez minimum 30 minut sesji użytkownika, a dla produktów w koszyku - przez 48 godzin. Może to wymagać dodatkowej logiki w systemie koszyka i zarządzania zamówieniami.

Choć wdrożenie tego rozwiązania wymaga pewnego wysiłku, może znacząco wpłynąć na konkurencyjność oferty i zwiększyć konwersję. Jednak, jak wspomniałem wcześniej, kluczowe jest staranne monitorowanie wpływu automatycznych rabatów na ogólną rentowność sklepu i dostosowywanie strategii w miarę potrzeb. Warto również rozważyć implementację mechanizmów zabezpieczających przed nadużyciami, takimi jak wielokrotne wykorzystywanie tego samego tokenu rabatowego.

Samodzielny scrapping w czasie rzeczywistym

Dzięki API Google Merchant Center jesteśmy w stanie napisać również samodzielnie system, który realizuje scrapping w czasie rzeczywistym i niekoniecznie nas ogranicza w działaniu. Oto przykład jak:

Ten kod implementuje aplikację internetową opartą na Flask, która współpracuje z Google Content API for Shopping w celu pobierania i przetwarzania danych produktowych. Aplikacja automatyzuje proces uzyskiwania identyfikatorów REST dla produktów w koncie Google Merchant Center.

Proces rozpoczyna się od uwierzytelnienia z systemem OAuth2 Google, a następnie bezpiecznego przechowywania poświadczeń w Google Cloud Datastore. Główny przepływ pracy obejmuje pobieranie danych produktów z BigQuery (dzięki BigQuery Transfer i integracji z Google Merchant Center), a następnie wykorzystanie tych danych do wykonywania wywołań API do Google Content API for Shopping. Dla każdego produktu pobierany jest odpowiadający mu identyfikator REST. Te identyfikatory REST, które są unikalnymi identyfikatorami używanymi przez systemy Google (i jednym z wielu, co też należy podkreślić przy tworzeniu takiego “dzikiego” scrappingu), są następnie gromadzone i zapisywane z powrotem do BigQuery do przyszłego wykorzystania.

Kod obsługuje cały proces od uwierzytelnienia po pobieranie i przechowywanie danych, demonstrując jak zintegrować wiele usług Google Cloud (BigQuery, Datastore, Content API) w jednej aplikacji. Jest zaprojektowany do działania jako usługa w chmurze, potencjalnie uruchamiana przez żądania HTTP, co czyni go odpowiednim do przetwarzania dużych ilości danych produktowych w zautomatyzowany i skalowalny sposób.

Po uzyskaniu tych identyfikatorów możesz wykonać zapytanie, na przykład, do następującego linku (acz możliwości i konfiguracji jest wiele):

https://www.google.pl/shopping/product/[ID]/offers

a następnie napisać logikę pobierania cen od konkurentów i zapisywania ich sobie w bazie danych lub użycia w dowolny sposób.

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

niewątpliwie ChatGPT zmienił sposób postrzegania AI i jego roli w codziennym użytkowaniu, acz warto zwrócić uwagę na to, że modele językowe to nie jest cały zakres możliwości.

Osławione LLMy są częścią Deep Learningu, który jest zbiorem Machine Learningu — dziedziny Sztucznej Inteligencji, która zajmuje się tworzeniem i badaniem algorytmów oraz modeli statystycznych, pozwalających systemom komputerowym poprawiać swoje działanie w oparciu o doświadczenie, bez konieczności jawnego programowania. Innymi słowy, to technika umożliwiająca maszynom uczenie się z danych, identyfikowanie wzorców i podejmowanie decyzji z minimalną interwencją człowieka. Warto jednak zauważyć kilka dodatkowych punktów:

• LLMy wykorzystują głównie architektury głębokich sieci neuronowych, szczególnie transformatory, które są kluczowym elementem Deep Learning.

• Chociaż LLMy są często postrzegane jako poddział Deep Learning, ich rozwój i zastosowania są tak znaczące, że czasami są traktowane jako osobna kategoria w ramach NLP.

• LLMy łączą w sobie wiele aspektów AI, nie tylko Deep Learning. Wykorzystują również zaawansowane techniki przetwarzania języka naturalnego, reprezentacji wiedzy i czasami elementy rozumowania.

• Najnowsze badania nad LLMami, szczególnie w kontekście modeli takich jak GPT (ang. Generative Pre-trained Transformer), wykraczają poza tradycyjne granice Deep Learning, wkraczając w obszary takie jak few-shot learning (nauka na małej próbce danych), zero-shot learning (analiza przykładów, które nigdy nie wystąpiły), i potencjalnie prowadząc w kierunku bardziej ogólnej sztucznej inteligencji.

Wspominam o tym, gdyż oprócz modeli językowej można zastosować AI również w innych obszarach, a w szczególności na konkretnych próbkach danych w celu weryfikacji hipotez i anomalii. Za przykład w tym wpisie posłuży Prophet — biblioteka open-source do prognozowania szeregów czasowych, zaprojektowana z myślą o automatyzacji procesu tworzenia dokładnych prognoz dla danych biznesowych. Jej głównym celem jest dostarczenie prostego w użyciu, ale jednocześnie elastycznego i wydajnego narzędzia do generowania wysokiej jakości prognoz dla szeregów czasowych o różnych charakterystykach.

Jak działa Prophet i jakie ma możliwości?

U podstaw działania Propheta leży zaawansowana analiza danych historycznych. Narzędzie to bierze pod lupę dostarczone informacje, takie jak dzienna sprzedaż czy liczba użytkowników w czasie, i automatycznie identyfikuje kluczowe wzorce. Prophet rozpoznaje ogólny trend — czy mamy do czynienia ze wzrostem, spadkiem, czy może stabilizacją. Jednocześnie wykrywa różne rodzaje sezonowości, od tygodniowych fluktuacji po roczne cykle. Co więcej, Prophet potrafi uwzględnić wpływ świąt i specjalnych wydarzeń na analizowane dane. Na podstawie tych wszystkich zidentyfikowanych elementów, narzędzie buduje kompleksowy model matematyczny, który najdokładniej opisuje historyczne dane i stanowi podstawę do generowania prognoz na przyszłość.

Możliwości Propheta są naprawdę imponujące. Przede wszystkim, narzędzie to automatycznie radzi sobie z różnymi typami sezonowości, bez potrzeby skomplikowanej konfiguracji ze strony użytkownika. Można też łatwo dodać informacje o świętach czy promocjach, które mają istotny wpływ na prognozowane wartości. Prophet jest na tyle inteligentny, że potrafi sam wykryć momenty, w których trend się zmienia, co jest niezwykle przydatne w analizie długoterminowych danych. Elastyczność narzędzia pozwala na dostosowanie wielu parametrów, dzięki czemu można je dopasować do specyfiki konkretnej branży czy firmy. Co więcej, Prophet radzi sobie z lukami w danych historycznych, co często stanowi problem w rzeczywistych scenariuszach biznesowych.

Jednak to, co naprawdę wyróżnia Propheta, to jego zdolność do generowania nie tylko konkretnych prognoz, ale także przedziałów ufności. Oznacza to, że oprócz przewidywanej wartości, otrzymujemy również zakres możliwych scenariuszy, co jest nieocenione w planowaniu strategicznym. Narzędzie oferuje też możliwość analizy poszczególnych komponentów prognozy, takich jak trend, sezonowość czy wpływ wydarzeń specjalnych. Ta przejrzystość pozwala na głębsze zrozumienie czynników kształtujących przyszłe wyniki. Dodatkowo, Prophet działa szybko nawet na dużych zbiorach danych, co czyni go praktycznym rozwiązaniem dla firm operujących na dużą skalę. Użytkownicy mogą także dodawać własne czynniki wpływające na prognozę, co zwiększa elastyczność i dokładność przewidywań.

Jak zastosować w praktyce?

Zastosowanie Propheta w praktyce otwiera fascynujący świat możliwości, ale wymaga pewnych umiejętności technicznych. Choć istnieją narzędzia z interfejsami graficznymi, prawdziwa moc i elastyczność Propheta ujawnia się, gdy sami potrafimy go obsłużyć. Dlatego warto rozważyć naukę podstaw programowania, szczególnie w języku Python, który jest powszechnie używany w analizie danych.

Nauka programowania to nie tylko umiejętność pisania kodu - to nowy sposób myślenia i rozwiązywania problemów. W kontekście Propheta i analizy danych, umiejętności programistyczne pozwalają na pełną kontrolę nad procesem prognostycznym. Możesz samodzielnie przygotowywać dane, dostosowywać parametry modelu do specyficznych potrzeb Twojego biznesu, a także tworzyć niestandardowe wizualizacje wyników.

Co więcej, umiejętności programistyczne otwierają drzwi do szerszego świata analizy danych i sztucznej inteligencji. Prophet to tylko jedno z wielu narzędzi - znając podstawy programowania, możesz eksplorować inne biblioteki i techniki, które mogą być przydatne w Twoim biznesie. To jak nauka nowego języka - początkowo może wydawać się trudna, ale z czasem otwiera przed Tobą nowe możliwości komunikacji i zrozumienia świata.

Oto kilka przykładów jego użycia:

Prognozowanie wydatków reklamowych z uwzględnieniem sezonowości

Ten kod demonstruje, jak Prophet może być wykorzystany do prognozowania wydatków reklamowych z uwzględnieniem sezonowości. Rozpoczynamy od generowania syntetycznych danych, które symulują realne scenariusze wydatków reklamowych. Dane te zawierają bazowy poziom wydatków, efekt sezonowy (który może reprezentować np. zwiększone wydatki w okresie świątecznym) oraz długoterminowy trend wzrostowy.

Następnie tworzymy model Prophet, ustawiając seasonality_mode na multiplicative. Oznacza to, że model zakłada, iż efekty sezonowe są proporcjonalne do ogólnego poziomu trendu, co często jest bardziej realistyczne w kontekście wydatków reklamowych. Model jest dopasowywany do naszych danych historycznych za pomocą metody fit().

Kluczowym elementem jest generowanie przyszłych dat za pomocą make_future_dataframe() i używanie ich do stworzenia prognozy. W tym przypadku prognozujemy na rok do przodu. Finalnie, wizualizujemy wyniki, co pozwala na szybką interpretację przewidywanych trendów w wydatkach reklamowych.

Wykrywanie anomalii w wydatkach

Ten przykład pokazuje, jak Prophet może być wykorzystany do wykrywania anomalii w wydatkach. Rozpoczynamy od generowania syntetycznych danych, które zawierają celowo wprowadzone anomalie. Te anomalie symulują nietypowe wzrosty wydatków, które mogą wystąpić w rzeczywistych scenariuszach biznesowych.

Po stworzeniu danych, dopasowujemy model Prophet i generujemy prognozę. Kluczowym elementem jest wykorzystanie górnych i dolnych granic przedziału ufności prognozy (yhat_upper i yhat_lower) do identyfikacji anomalii. Punkty danych, które wykraczają poza te granice, są uznawane za anomalie.

Optymalizacja alokacji budżetu marketingowego

Kod rozpoczyna się od generowania syntetycznych danych ROI dla czterech różnych kanałów marketingowych: wyszukiwania, mediów społecznościowych, e-mail marketingu i reklamy displayowej. Każdy kanał ma przypisany bazowy poziom ROI oraz pewną losowość, co symuluje rzeczywiste wahania efektywności kampanii.

Następnie, dla każdego kanału tworzymy oddzielny model Prophet, dopasowujemy go do danych i generujemy prognozę na kolejne 90 dni. Wyniki są wizualizowane na oddzielnych wykresach dla każdego kanału, co pozwala na łatwe porównanie przewidywanych trendów ROI.

Finalnie, kod oblicza i wyświetla przewidywany średni ROI dla każdego kanału na najbliższe 90 dni. Ta informacja jest kluczowa dla podejmowania decyzji o alokacji budżetu marketingowego.

Planowanie timingu kampanii marketingowych

Ten przykład kodu demonstruje, jak Prophet może być wykorzystany do planowania timingu kampanii marketingowych poprzez dogłębną analizę sezonowości sprzedaży. Rozpoczynamy od generowania syntetycznych danych sprzedażowych, które zawierają bazowy poziom sprzedaży, wyraźny efekt sezonowy oraz długoterminowy trend wzrostowy. Te elementy doskonale odzwierciedlają rzeczywiste wzorce sprzedażowe wielu firm.

W kodzie wykorzystujemy kilka kluczowych funkcji Propheta. Ustawiamy seasonality_mode na multiplicative, co jest szczególnie odpowiednie dla danych sprzedażowych, gdzie amplituda wahań sezonowych często rośnie wraz z ogólnym trendem. Dodajemy również informacje o świętach amerykańskich za pomocą model.add_country_holidays(country_name='US'), co pozwala modelowi uwzględnić wpływ świąt na sprzedaż - czynnik często kluczowy w planowaniu kampanii marketingowych.

Po dopasowaniu modelu, generujemy prognozę na kolejne 90 dni i analizujemy komponenty sezonowości za pomocą model.plot_components(forecast). Ta funkcja pozwala zobaczyć trendy roczne, tygodniowe i wpływ świąt na sprzedaż, co jest nieocenione w planowaniu marketingowym. Następnie identyfikujemy okresy wysokiej sprzedaży, analizując komponent roczny sezonowości.

Śledzenie postępu w osiąganiu celów biznesowych

Ostatni przykład kodu demonstruje, jak Prophet może być wykorzystany do śledzenia postępu w osiąganiu konkretnych celów biznesowych, w tym przypadku zwiększenia udziału w rynku. Kod rozpoczyna się od generowania syntetycznych danych reprezentujących historyczny udział firmy w rynku, uwzględniając niewielkie fluktuacje i ogólny trend wzrostowy.

W tym przykładzie tworzymy model Prophet i dopasowujemy go do historycznych danych, a następnie generujemy prognozę na rok do przodu. Kluczowym elementem jest określenie obecnego udziału w rynku i celu biznesowego - w tym przypadku zakładamy 5% wzrost. Na podstawie prognozy identyfikujemy przewidywaną datę osiągnięcia tego celu.

Kiedy Prophet nie ma sensu?

Prophet, choć potężne narzędzie do prognozowania szeregów czasowych, nie nadaje się do wszystkich scenariuszy analizy danych.

Nie jest odpowiedni do modelowania złożonych, nieliniowych zależności między zmiennymi, gdyż skupia się głównie na trendach i sezonowości. Prophet ma ograniczone możliwości w przypadku danych niestacjonarnych lub z nagłymi zmianami strukturalnymi, co może prowadzić do niedokładnych prognoz w dynamicznie zmieniających się warunkach rynkowych. Narzędzie to nie radzi sobie dobrze z prognozowaniem wielu zmiennych jednocześnie, co ogranicza jego użyteczność w analizie wielowymiarowej. Ponadto, może nie być najlepszym wyborem dla danych o wysokiej częstotliwości lub gdy kluczowe jest zrozumienie przyczynowości, a nie tylko wzorców czasowych. W przypadkach wymagających głębokiego wglądu w interakcje między zmiennymi lub gdy dane nie wykazują wyraźnych wzorców sezonowych, inne metody mogą okazać się bardziej odpowiednie.

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

zanim zacznę podchodzić do bardziej złożonych tematów, wskazaliście w mojej ankiecie przy zapisie do newslettera, że interesują Was popularne wątki i kwestie narzędzi, produktywności w pracy oraz codziennych zastosować AI. Jestem szablonowym przykładem early adoptera, testuję większość rzeczy która pojawia się na rynku, stąd chętnie podzielę się moim setupem do użytku osobistego oraz zawodowego. Pokażę czego używam, w jaki sposób oraz ile to kosztuje — pomijając kwestię sprzętu, nie są to zdecydowanie kwoty przyprawiające o ból głowy.

Elementy wyposażenia

Codzienną pracę realizuję w ekosystemie sprzętów od firmy Apple, konkretnie na następujących parametrach:

• Laptop: MacBook Pro M2 2022 13.3”, 16 GB RAM, 512 GB SSD — solidny i wytrzymały sprzęt do mieszanej pracy: od oprogramowania, poprzez pisania i podstawową obróbkę graficzną;

• Telefon: iPhone Pro 15 8GB RAM, 128 GB SSD — kompatybilny z laptopem, a wersja Pro bez Max dlatego, że lubię mniejsze urządzenia (zdecydowanie telefon służy głównie do dzwonienia i komunikacji, stąd nie mam problemów z baterią w wyniku przeglądania mediów społecznościowych i używania innych aplikacji).

Oprócz tego mam Apple Airpods 2. generacji, bezprzewodową myszkę i klawiaturę: to jest akurat najmniej istotne, ku szczególnej uwadze polecam drugą sekcję.

Oprogramowanie w subskrypcjach

Używam następujących subskrypcji:

• Najważniejsza z nich to Setapp. Setapp to marketplace w modelu abonamentowym dla aplikacji pod urządzenia Apple. Reguła jest prosta: płacisz jeden abonament, używasz tyle aplikacji ile chcesz. Pod tym linkiem możesz skorzystać z mojego linku referencyjnego i zyskać darmowy miesiąc. Większość oprogramowanie używam właśnie przez Setapp i większość prezentowanych tutaj przykładów jest przez wspomnianą usługę;

• Raycast — aplikacja zwiększająca produktywność, która umożliwia szybki dostęp do różnych narzędzi i funkcji systemowych za pomocą klawiatury. Działa jako rozbudowany launcher oraz oferuje możliwość rozszerzeń i integracji z innymi aplikacjami. Ma na celu przyspieszenie wykonywania codziennych zadań, takich jak wyszukiwanie plików, zarządzanie oknami czy uruchamianie skryptów;

• Arc — przeglądarka internetowa opracowana przez The Browser Company, która oferuje bardziej spersonalizowane i mniej zabałaganione doświadczenie przeglądania internetu. Została zaprojektowana, aby zminimalizować rozpraszanie uwagi i uprościć interakcję z siecią. Przeglądarka jest dostępna zarówno dla użytkowników systemów macOS, jak i Windows. Zakładam, że będą kiedyś płatne funkcjonalności, na chwilę obecną jest darmowa.

Całość moich wydatków zamykam w okolicach ~40 USD netto miesięcznie, co biorąc pod uwagę, że używam większości programów codziennie i podniosło u mnie znacząco wydajność pracy (w szczególności Raycast, Craft, Arc, MindNote i Elephas), nie jest dużo.

Programy

Raycast

Raycast to nowoczesna aplikacja typu command-line, która ułatwia użytkownikom szybkie wykonywanie zadań na komputerze Mac poprzez wprowadzenie zaawansowanego launchera aplikacji. Działa jako inteligentny menadżer zadań, umożliwiając dostęp do aplikacji, plików i innych zasobów systemowych za pomocą błyskawicznych skrótów klawiszowych i komend. Zamiast tracić czas na poszukiwanie aplikacji w Finderze, użytkownicy mogą skupić się na produktywności.

Raycast wyróżnia się również możliwością integracji z wieloma popularnymi narzędziami i serwisami, takimi jak GitHub, Jira czy Google Workspace, co umożliwia wykonywanie typowych dla tych narzędzi zadań bezpośrednio z poziomu Raycasta. Dzięki otwartemu API deweloperzy mogą tworzyć własne rozbudowane wtyczki, które jeszcze bardziej zwiększają funkcjonalność aplikacji.

Najważniejsze funkcjonalności

• Błyskawiczne wyszukiwanie i uruchamianie aplikacji: Raycast pozwala na szybkie wyszukiwanie i uruchamianie aplikacji za pomocą skrótów klawiszowych;

• Integracje z narzędziami i usługami: Rozbudowany ekosystem wtyczek pozwala na integrację z takimi narzędziami jak GitHub, Jira, Google Workspace, Slack i wieloma innymi;

• Zarządzanie zadaniami: Możliwość zarządzania zadaniami i ich wykonywaniem bezpośrednio z poziomu aplikacji;

• Automatyzacja: Użytkownicy mogą tworzyć skrypty automatyzujące powtarzalne zadania;

• Konfigurowalne skróty klawiszowe: Pełna personalizacja skrótów klawiszowych do szybkiego uruchamiania aplikacji i komend;

• Otwarta platforma dla deweloperów: Możliwość tworzenia własnych wtyczek i rozszerzeń, dzięki otwartemu API.

Plusy aplikacji

• Zwiększona produktywność: Oszczędność czasu dzięki błyskawicznemu dostępowi do aplikacji i narzędzi;

• Wielofunkcyjność: Integracje z licznymi narzędziami, co pozwala na załatwianie różnych spraw bez zmiany aplikacji;

• Elastyczność: Personalizacja skrótów klawiszowych dla indywidualnych potrzeb użytkownika;

• Wsparcie dla deweloperów: Możliwość tworzenia i udostępniania własnych wtyczek.

Minusy aplikacji

• Ograniczenie do systemu macOS: Aplikacja dostępna tylko na komputerach Mac, brak wersji na Windows i Linux;

• Zależność od wtyczek: Podstawowa funkcjonalność może być dla niektórych użytkowników niewystarczająca bez dodatkowych wtyczek.

MindNote

MindNote to program zaprojektowany z myślą o tworzeniu map myśli, co pozwala na lepsze organizowanie pomysłów, planowanie projektów, i prowadzenie efektywniejszych sesji burzy mózgów. Dzięki intuicyjnemu interfejsowi użytkownika oraz rozbudowanej funkcjonalności, MindNote jest idealnym narzędziem zarówno dla profesjonalistów, jak i studentów. Aplikacja oferuje różnorodne opcje personalizacji, umożliwiając użytkownikom tworzenie map myśli, które najlepiej odzwierciedlają ich styl pracy.

Najważniejsze funkcjonalności

• Tworzenie map myśli: Intuicyjny interfejs do szybrego tworzenia i zarządzania mapami myśli;

• Synchronizacja przez iCloud: Automatyczna synchronizacja danych na wszystkich urządzeniach Apple, co zapewnia dostęp do map myśli wszędzie i zawsze;

• Tryb prezentacji: Opcja prezentowania map myśli w profesjonalnym formacie, idealna do spotkań i prezentacji;

• Personalizacja: Możliwość dostosowywania kolorów, stylów i układów mapy, aby stworzyć czytelne i estetyczne diagramy;

• Integracje z innymi narzędziami: Importowanie i eksportowanie danych do innych aplikacji productivity (np. Evernote, Trello).

Plusy aplikacji

• Intuicyjność: Łatwy w obsłudze interfejs użytkownika, który pozwala na szybkie tworzenie i edycję map myśli;

• Synchronizacja danych: Dzięki iCloud, mapy myśli są dostępne na wszystkich urządzeniach użytkownika, co pozwala na pracę z dowolnego miejsca;

• Wszechstronność: Szeroka gama narzędzi pozwala na personalizację map myśli do indywidualnych potrzeb i stylu pracy;

• Profesjonalne prezentacje: Tryb prezentacji umożliwia łatwe dzielenie się mapami myśli podczas spotkań biznesowych czy wykładów.

Minusy aplikacji

• Ograniczenie do ekosystemu Apple: Aplikacja dostępna tylko na urządzeniach Apple, brak wsparcia dla Windows i Androida;

• Złożoność dla nowicjuszy: Bogactwo opcji i funkcji może być przytłaczające dla osób, które dopiero zaczynają swoją przygodę z mapami myśli.

PDF Pals

PDF Pals to zaawansowana aplikacja do zarządzania plikami PDF, oferująca szeroki zakres funkcji, które ułatwiają pracę z dokumentami PDF. Narzędzie to jest przeznaczone zarówno dla profesjonalistów, jak i zwykłych użytkowników, umożliwiając łatwe edytowanie, organizowanie, zabezpieczanie i udostępnianie plików PDF. Dzięki intuicyjnemu interfejsowi oraz zaawansowanym funkcjom PDF Pals sprawia, że praca z dokumentami jest bardziej efektywna i przyjemna.

Najważniejsze funkcjonalności

• Edycja PDF: Możliwość edytowania tekstu, obrazów i innych elementów w plikach PDF;

• Zaawansowane narzędzia OCR: Rozpoznawanie tekstu w zeskanowanych dokumentach i zdjęciach, umożliwiające jego edycję;

• Łączenie i dzielenie plików PDF: Funkcje pozwalające na łączenie wielu dokumentów PDF w jeden oraz dzielenie dużych plików na mniejsze części;

• Dodawanie anotacji: Narzędzia do dodawania komentarzy, notatek, podkreśleń i innych oznaczeń w dokumentach;

• Zabezpieczanie dokumentów: Możliwość dodawania haseł i szyfrowania plików PDF, aby zabezpieczyć je przed nieautoryzowanym dostępem;

• Konwersja do i z PDF: Funkcje pozwalające na przekształcanie plików z różnych formatów (np. Word, Excel, PowerPoint) do PDF i odwrotnie.

Plusy aplikacji

• Wszechstronność: Szeroki zakres funkcji, które zaspokajają różne potrzeby związane z zarządzaniem dokumentami PDF;

• Intuicyjny interfejs: Łatwy w obsłudze interfejs, który umożliwia szybkie wykonywanie zadań i skraca czas nauki obsługi aplikacji;

• Wysoka jakość konwersji: Narzędzia konwertujące pliki zachowują formatowanie i jakość oryginalnych dokumentów;

• Bezpieczeństwo: Zaawansowane opcje zabezpieczania dokumentów pozwalają na ochronę poufnych informacji.

Minusy aplikacji

• Złożoność przy zaawansowanych funkcjach: Mimo intuicyjnego interfejsu, korzystanie z zaawansowanych funkcji może wymagać pewnej krzywej uczenia się.

Elephas

Elephas to zaawansowana aplikacja wspomagająca pisanie, zaprojektowana z myślą o zwiększeniu produktywności poprzez integrację sztucznej inteligencji. Elephas pomaga użytkownikom tworzyć harmonijne i spójne teksty, generować pomysły, edytować dokumenty oraz zarządzać procesem pisania. Dzięki potężnym algorytmom AI, Elephas jest w stanie zrozumieć kontekst i dostarczyć inteligentnych sugestii, które usprawniają proces twórczy. Aplikacja jest szczególnie ceniona przez pisarzy, dziennikarzy, blogerów oraz profesjonalistów wymagających efektywnego narzędzia do tworzenia treści.

Najważniejsze funkcjonalności

• Generowanie treści: Automatyczne tworzenie akapitów, artykułów, blogów i innych form pisanych na podstawie podanych tematów lub punktów;

• Sugestie kontekstowe: Inteligentne podpowiedzi dotyczące stylu, gramatyki i treści, ułatwiające poprawę jakości tekstu;

• Edycja i parafrazowanie: Narzędzia do edycji, ujednolicania stylu oraz parafrazowania istniejących tekstów;

• Zarządzanie projektem pisarskim: Funkcje organizacyjne pozwalające na zarządzanie wieloma projektami pisarskimi jednocześnie, z możliwością tworzenia notatek i przypomnień;

• Integracje z innymi narzędziami: Kompatybilność z popularnymi edytorami tekstu i platformami blogowymi, ułatwiająca eksport i publikację treści.

Plusy aplikacji

• Zwiększona produktywność: Automatyzacja wielu aspektów procesu pisania, od generowania treści po edycję, pozwala oszczędzać czas i zwiększać wydajność;

• Inteligentne wsparcie: Dzięki zaawansowanym algorytmom AI, Elephas dostarcza trafnych sugestii, które pomagają w poprawieniu jakości tekstu;

• Wszechstronność: Szeroki zakres funkcji dostosowanych do różnych potrzeb pisarskich, od tworzenia treści po zarządzanie projektami;

• Integracje: Łatwość integracji z innymi narzędziami i platformami, co czyni proces publikacji bardziej efektywnym.

Minusy aplikacji

• Uzależnienie od AI: Zbytnie poleganie na sugestiach AI może prowadzić do utraty unikalnego stylu pisania użytkownika (ja z racji bycia dyslektykiem stosuję AI głównie w korekcie).

Superwhisper

Superwhisper to innowacyjna aplikacja do transkrypcji mowy, która wykorzystuje zaawansowaną technologię rozpoznawania mowy wspieraną przez sztuczną inteligencję, aby oferować precyzyjne i szybkie transkrypcje w czasie rzeczywistym. Aplikacja jest idealna dla dziennikarzy, studentów, prawników oraz wszystkich, którzy potrzebują dokładnych transkrypcji swoich nagrań audio. Dzięki prostemu interfejsowi i intuicyjnym funkcjom, Superwhisper umożliwia łatwe zarządzanie i edytowanie transkrypcji, co znacząco oszczędza czas i zwiększa produktywność.

Najważniejsze funkcjonalności

• Transkrypcja w czasie rzeczywistym: Automatyczne przekształcanie mowy na tekst na bieżąco, zapewniające szybkie rezultaty;

• Wielojęzyczne wsparcie: Obsługa wielu języków i dialektów, co sprawia, że aplikacja jest przydatna w globalnym kontekście;

• Edycja transkrypcji: Intuicyjny edytor umożliwiający korektę transkrypcji oraz oznaczanie istotnych fragmentów;

• Rozpoznawanie mówcy: Funkcja identyfikowania i oznaczania różnych mówców w nagraniach wieloosobowych;

• Integracje z innymi narzędziami: Możliwość eksportowania transkrypcji do popularnych formatów plików oraz do innych aplikacji i usług.

Plusy aplikacji

• Dokładność i szybkość: Wysoka precyzja transkrypcji dzięki zaawansowanemu algorytmowi rozpoznawania mowy;

• Łatwość użycia: Prosty i przejrzysty interfejs, który pozwala na szybkie rozpoczęcie pracy z aplikacją;

• Wszechstronność zastosowań: Idealna dla różnych profesjonalnych i edukacyjnych zastosowań, od spotkań biznesowych po wykłady;

• Bezpieczeństwo: Możliwość lokalnej transkrypcji bez potrzeby wysyłania danych do zewnętrznych serwerów, co zwiększa bezpieczeństwo prywatnych danych.

Minusy aplikacji

• Ograniczenia językowe: Chociaż obsługuje wiele języków, nie wszystkie mogą być dostępne z taką samą dokładnością;

• Zależność od jakości dźwięku: Dokładność transkrypcji może być obniżona w przypadku nagrań o niskiej jakości dźwięku lub z dużym szumem tła.

Arc

Arc to nowoczesna przeglądarka internetowa zaprojektowana z myślą o zwiększeniu produktywności i efektywności pracy w Internecie. Oferuje unikalne podejście do przeglądania stron internetowych, łącząc innowacyjne funkcje z intuicyjnym interfejsem użytkownika. Arc wyróżnia się szeregiem zaawansowanych narzędzi, które umożliwiają organizowanie pracy w sposób bardziej efektywny i mniej chaotyczny, co sprawia, że jest idealnym rozwiązaniem dla profesjonalistów oraz entuzjastów technologii.

Najważniejsze funkcjonalności

• Spaces: Funkcja umożliwiająca tworzenie oddzielnych przestrzeni roboczych dla różnych projektów lub zadań, dzięki czemu można łatwo zarządzać wieloma czynnościami jednocześnie;

• Tab Groups: Organizowanie zakładek w grupy, co pomaga w utrzymaniu porządku i szybkim dostępie do często używanych stron;

• Side Panel: Boczne panele zapewniające szybki dostęp do ulubionych narzędzi i witryn, bez potrzeby przerywania pracy na głównym ekranie;

• Focus Mode: Tryb skupienia, który pomaga wyeliminować rozpraszacze i skupić się na jednym zadaniu;

• Integracje: Możliwość integracji z najpopularniejszymi aplikacjami i narzędziami używanymi w codziennej pracy, takimi jak Slack, Google Drive czy Trello;

• Personalizacja: Rozbudowane opcje personalizacji, które pozwalają dostosować wygląd i funkcje przeglądarki do indywidualnych potrzeb użytkownika.

Plusy aplikacji

• Zorganizowane środowisko pracy: Dzięki funkcjom takim jak Spaces i Tab Groups, użytkownicy mogą łatwiej zarządzać swoimi zadaniami i projektami;

• Wielozadaniowość: Przeglądarka wspiera produktywność poprzez ułatwienie pracy nad wieloma projektami jednocześnie;

• Intuicyjny interfejs: Prosty i nowoczesny design, który jest łatwy do opanowania i przyjemny w użytkowaniu;

• Integracje z narzędziami: Łatwe łączenie Arc z innymi aplikacjami i narzędziami, co sprawia, że codzienna praca staje się bardziej płynna i efektywna.

Minusy aplikacji

• Potencjalne problemy z wydajnością: W przypadku otwierania dużej liczby zakładek i korzystania z wielu przestrzeni roboczych, przeglądarka może wymagać więcej zasobów systemowych.

Craft

Craft to nowoczesna aplikacja do notowania i tworzenia dokumentów, która wyróżnia się eleganckim interfejsem użytkownika i zaawansowanymi funkcjami organizacyjnymi. Została zaprojektowana, aby pomóc użytkownikom w łatwym tworzeniu, organizowaniu i współdzieleniu notatek oraz dokumentów. Dzięki Craft, użytkownicy mogą gromadzić informacje, tworzyć złożone projekty dokumentów i łączyć różne zasoby w jednym, spójnym miejscu. Aplikacja jest ceniona za jej intuicyjność, elastyczność i piękny design, co sprawia, że jest idealna dla studentów, pisarzy, profesjonalistów oraz zespołów projektowych.

Najważniejsze funkcjonalności

• Tworzenie i organizowanie dokumentów: Intuicyjne narzędzia do szybkiego tworzenia i organizowania notatek, artykułów, raportów i innych form pisanych;

• Bloki treści: Modularne bloki treści, które można łatwo przenosić, edytować i reorganizować, pozwalając na dynamiczne zarządzanie zawartością;

• Integracja z chmurą: Synchronizacja dokumentów pomiędzy urządzeniami za pomocą iCloud oraz wsparcie dla innych usług chmurowych;

• Współpraca w czasie rzeczywistym: Możliwość współdzielenia dokumentów i współpracy nad nimi w czasie rzeczywistym z innymi użytkownikami;

• Eksport i import: Opcje eksportowania dokumentów do różnych formatów (PDF, Markdown, i inne) oraz importowania treści z innych narzędzi do notowania;

• Estetyczny design dokumentów: Wbudowane szablony oraz opcje formatowania pomagają w tworzeniu estetycznych i profesjonalnie wyglądających dokumentów.

Plusy aplikacji

• Elegancki interfejs: Estetyczny i przyjazny dla użytkownika interfejs zachęca do częstszego korzystania z aplikacji;

• Elastyczność: Modularne bloki treści oraz zaawansowane narzędzia formatowania pozwalają na łatwe dostosowanie dokumentów do własnych potrzeb;

• Współpraca: Funkcje wspólnej pracy w czasie rzeczywistym zwiększają efektywność zespołową i umożliwiają łatwe dzielenie się informacjami;

• Integracja z ekosystemem Apple: Doskonała integracja z systemem macOS i iOS, co ułatwia synchronizację i dostęp do dokumentów na różnych urządzeniach.

Minusy aplikacji

• Ograniczenie platformowe: Aplikacja jest głównie dostępna dla ekosystemu Apple, co może wykluczać użytkowników systemów Windows i Android.

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

chcę serdecznie podziękować za ciepłe przyjęcie mojego pierwszego newslettera, po którego publikacji zapisało się ponad 100 osób w mniej niż 24h. Jest to szczególnie motywujące, gdyż względnie niszowa tematyka, brak wcześniejszej bazy zasięgowej oraz długa forma jak na standardy social mediów nie są czynnikami sprzyjającymi zainteresowaniu. Chętnie odwdzięczę się dobrej jakości zawartością, zatem zapraszam do lektury (choć zdecydowanie krótszej).

Inspirację dzisiejszego newslettera zawdzięczam powoli odżywającej koniunkturze gospodarczej, a co za tym idzie, stopniowo zwiększającym się dostępowi do pieniędzy na rozwój firm. Każda spółka inwestująca w marketing prędzej czy później staje przed wyzwaniem optymalizacji swoich działań zasadniczo z dwóch potrzeb:

• zwiększenia przychodów;

• zmniejszenia kosztów.

Najlepiej byłoby, gdyby jeden i drugi czynnik zachodził równolegle, a bardzo często nie ma ich w ogóle — spoiwem natomiast jest automatyzacja i marketing automation (technologia i praktyki umożliwiające firmom automatyczne zarządzanie procesami marketingowymi i wielokanałowymi kampaniami reklamowymi w celu zwiększenia efektywności i personalizacji interakcji z klientem). Wszystko w mojej opinii wynika z dwóch powodów:

• sposobu, w jaki podchodzi się do automatyzacji w ogóle, nie mówiąc o tym, że zapomina się o etapie wcześniejszym, jakim jest uporządkowanie procesów;

• metodyki pomiaru skuteczności tychże narzędzi i oprogramowania.

Co z podejściem do automatyzacji jest nie tak?

Technologia kusi wieloma możliwościami, ale jednocześnie często wypłaszcza perspektywę i zbija z właściwego tropu — bardzo często zamiast skupiać się na faktycznych korzyściach wynikających z wdrażania automatyzacji (w ogólnym tego słowa znaczeniu — nie odnoszę tego wyłącznie do reklamy, gdyż bardziej namacalnym przykładem jest chociażby przemysł), to w pierwszej kolejności prezentowane są rozwiązania i możliwości, które mimo iż dobrze wyglądają, tak mogą być nieadekwatne do skali problemu. Podstawową sprawą przed wdrożeniem jakiejkolwiek automatyzacji w organizacji powinno być poukładanie procesów i sposobów ich mierzenia na tyle, by nie było wątpliwości odnośnie tego po co wdraża się automatyzację, jakie są aktualne koszty procesu (czas, pieniądze) oraz to, jakie mają być jej rezultaty (czyt. oszczędność czasu, finansowa itd.). Jest to praca zdecydowanie poziom wyżej i nie sprowadza się wyłącznie do wyboru narzędzia, ale zrozumienia tego, w jaki sposób działa dany obszar organizacji (jak nie cała organizacja — w mniejszych firmach zwłaszcza). Podejście do automatyzacji, często zbyt pochopnie traktowane jako panaceum na wszystkie problemy organizacyjne (problemy z wydatkowaniem budżetu reklamowego, brak właściwej obsługi klienta, niewłaściwe procesowanie zwrotów etc.), wymaga głębszej analizy i rozumienia wewnętrznych procesów przed jego implementacją.

Długotrwała wartość automatyzacji leży nie tylko w potencjale technologicznym narzędzi, ale przede wszystkim w ich zdolności do wspierania i usprawniania istniejących struktur i procesów. Jest to swego rodzaju banał, który niestety trzeba powtarzać z powodu chociażby często agresywnej i niezrozumiałej komunikacji dostawców narzędzi, uzupełnianej obietnicami o konkretnych wzrostach, gdzie często padają konkretne liczby, które co najwyżej są uśrednieniem statystycznym na grupie obecnych klientów, ale nie rzetelną informacją — to jest prognozowanie lub sprzedawanie obietnic, a z każdą prognozą wiadomo jak jest: istotniejszy jest trend, a nie konkretna liczba (pomijam tutaj zagadnienia jak ekonometria i tworzenia modeli prognostycznych, gdyż to temat na osobny wpis).

Inną sprawą jest też odkrywanie koła na nowo, gdzie często znane funkcjonalności i założenia reklamuje się jako rewolucyjne technologie pod szumnymi nazwami. Moim faworytem jest tutaj SALESManago i funkcjonalność Search Engine Turbocharger.

Znajdziesz tutaj wszystkie modne na czas pisania tego newslettera określenia — AI, NLP, CBA, AI Voice Search, ACDC *. Tak jakby zignorowano fakt, że pierwsze wzmianki o przetwarzaniu języka naturalnego (NLP — Natural Language Processing) pojawiły się w latach 50. XX wieku (jednym z pierwszych projektów, który można uznać za początek NLP, było stworzenie programu ELIZA przez Josepha Weizenbauma w 1966 roku), a z przykładów bardziej współczesnych to to, że popularne komercyjne oprogramowanie ElasticSearch służące właśnie jako silnik do wyszukiwania, indeksowania i zarządzania informacjami istnieje na zasadach open source od… 2010 roku. Nie ma co jednak kwestionować tego, że jest to naturalna konsekwencja tego, iż marketing sam w sobie nie jest innowacyjny, a jeśli chodzi o AI to jesteśmy na początku Cyklu Gartnera i trzeba niestety zacisnąć zęby na rozmowach sprzedażowych, jak handlowiec będzie tłumaczył, że narzędzie gwarantuje podniesienie przychodów bez potrzeby dodatkowych nakładów na marketing.

* niektóre ze skrótów zostały dodane przypadkowo i nie mają związku z narzędziem ;)

W jaki sposób atrybuowana jest skuteczność narzędzia?

Atrybucja to jest kolejny śliski temat w marketingu — Świety Graal zasadniczo każdej osoby, która wpisała sobie kiedykolwiek w stopce mejlowej frazę performance marketing odmienianą w jakiejkolwiek formie.

Atrybucja w reklamie to proces przypisywania wartości różnym kanałom i punktom styku w ścieżce zakupowej klienta, które przyczyniają się do finalnych decyzji zakupowych. Cel atrybucji reklamowej to zrozumienie, który kanał reklamowy (np. reklama w wyszukiwarce, reklama w mediach społecznościowych, e-mail marketing) lub kampania miała największy wpływ na to, że klient podjął decyzję o zakupie lub innym pożądanym działaniu.

Dotychczas istniało spopularyzowanych kilka modeli atrybucji, które firmy mogły stosować w zależności od potrzeb i strategii marketingowej:

• Atrybucja pierwszego kliknięcia: przypisuje całą wartość pierwszemu punktowi kontaktu, który spowodował, że klient w ogóle dowiedział się o produkcie;

• Atrybucja ostatniego kliknięcia: przypisuje całą wartość ostatniemu punktowi kontaktu przed dokonaniem zakupu;

• Atrybucja liniowa: równomiernie rozdziela wartość między wszystkimi punktami kontaktu w ścieżce zakupowej;

• Atrybucja oparta na pozycji: przypisuje większą wartość pierwszemu i ostatniemu punktowi kontaktu, a pozostałe wartości rozkłada równomiernie lub z mniejszym priorytetem na inne punkty;

• Atrybucja oparta na algorytmach: wykorzystuje zaawansowane narzędzia analityczne i algorytmy do analizy danych, aby określić rzeczywisty wkład każdego punktu kontaktu.

W Polsce wiedzy na temat atrybucji w marketingu jest mało, głównie spopularyzowana przez Witolda Wrodarczyka — na potrzeby odpowiedniego tła polecam zapoznać się z artykułami: Algorytmiczne modelowanie atrybucji – łańcuchy Markowa i Wartość Shapleya w modelowaniu atrybucji gdzie sensownie tłumaczy jak można podejść do tematu.

Rzecz jasna sama wspomniana treść jest nadgryziona przez ząb czasu, gdyż od tego zmienia się standard prywatności w pomiarze informacji, dominujące narzędzie do analityki Google Analytics zyskało swojego następcę (z Universal Analytics na “czwórkę”), platformy reklamowe modelują swoje wyniki według black-boxowych technik (patrz: atrybucja oparta na algorytmach), a same opublikowane research papery wskazują, że nie mamy styczności wyłącznie z prostymi obliczeniami.

Z tego wyłania się wniosek taki, iż o ile atrybucja jest ważna, tak nie warto się nią w pełni sugerować i jednak zadbać o to, by rozwijać techniki badawcze i proces pracy z danymi tak, by na ich podstawie podejmować konkretne rekomendacje marketingowe. Tymczasem platformy do automatyzacji poprzez pojęcia generowanego przychodu albo nie ujawniają metodyki tego, w jaki sposób została całość policzona, a nawet jeśli, to robią to w bardzo podstawowym stopniu. Dla odniesienia podlinkowuję informacje dla wspomnianych wcześniej Edrone (klik, klik) i SALESManago (klik), gdzie doskonale widać, że atrybucje są liczone w modelu last clickowym (a niektóre metryki uwzględniają cały impakt narzędzia, czyli nawet wyświetlenie pop up’u na stronie internetowej!) i bazujące na ciasteczkach (bez próby modelowania — cały wstęp na ten temat zrobiłem w #1), co biorąc pod uwagę to, z jakimi problemami zmaga się cała branża, jest delikatnie mówiąc, budzące niepokój.

W celu upewnienia się, że narzędzie faktycznie generuje dodatkową sprzedaż (poprzez zwiększenie jakości rekomendacji oraz profilowania) i wpływ na całą ścieżkę klienta (w tym pośredni) warto przeprowadzić:

• eksperyment z porównaniem wersji np. widgetów oferowanych przez MA;

• analizę danych z użyciem np. BigQuery

Drugi krok można zrealizować poprzez chociażby wykrywanie sesji, gdzie pojawiało się zdarzenie purchase i link z parametrem, który dokleił system MA — przykład poniżej:

Dzięki temu można zestawić to, w jaki sposób narzędzie wywołało impakt na konwersję z niezależnego od narzędzia źródła. Sam test A/B z kolei pozwoli zdefiniować to, czy faktycznie narzędzie zwiększa jakość rekomendacji i czy tylko nie nadpisuje całej ścieżki, przypisując sobie niesłusznie zasługi innych reklam, czy szeregu osobnych działań.

Jak możesz spostrzec, samo wdrożenie narzędzia to nie jest rozwiązanie jakiegokolwiek problemu, a w zależności od obranych definicji (i eksperymentów), możesz albo mieć dane przedstawione w korzystnym świetle, albo w istocie wykazać straty na wdrożeniu.

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper

Cześć,

na pierwszy wpis w moim newsletterze wrzucę na tapet bardzo kontrowersyjny problem jakim jest jakość ruchu w Internecie z różnych źródeł - od owianego złą sławą SEO, poprzez ruch bezpośredni (często też kwalifikowany jako taki pochodzący z crawlerów, czyli automatycznych robotów), kończąc na kampaniach płatnych, gdzie każdy wydana złotówka ma znaczenie dla końcowego efektu, jakim powinien być rentowny marketing.

Pokażę na przykładach w jaki sposób podejść do analizy danych tego typu, jak poglądowo zbudować system weryfikacji ruchu składający się z gotowych — i co też istotne, bezpłatnych lub niskokosztowych — rozwiązań.

Za podstawę technologiczną do realizacji posłuży w mojej opinii najpopularniejszy stack marketingowy w regionie CEE i kilka dodatkowych rozszerzeń:

• Google Analytics 4 — darmowa wersja narzędzia do analityki;

• Google BigQuery — chmura obliczeniowa; tutaj sprawa jest zróżnicowana, gdyż finalna kwota zależy od kilku zmiennych, takich jak lokalizacja hostingu, ilość wykonywanych operacji, czy powierzchnia etc. Dla większości zastosowań testowych można spokojnie zakwalifikować się na darmowy plan (Free Tier), który oferuje do 10 GiB powierzchni miesięcznie i procesowanie do 1 TiB danych. Więcej informacji znajdziesz tutaj: klik. Koszt na potrzeby demonstracyjnie nie powinien być znaczący;

• Google Tag Manager Server-Side — narzędzie porządkujące kody śledzące we witrynie. Polecana przeze mnie jest forma wdrożenia server-side, o czym pisałem na blogu tutaj i tutaj;

• framework Klaro — opensource’owe rozwiązanie do zbudowania własnego Consent Management Platform. Dlaczego nie gotowe CMP to opiszę w dalszej treści artykułu;

• Google Cloud Functions — zgodnie z przepisami prawa w momencie obsługi zgód masz obowiązek posiadać rejestr takowych zgód i ich zmian: dzięki Cloud Functions napiszemy sobie prostą aplikację i bazę danych, która będzie suplementem takowego rejestru;

• Google reCAPTCHA v3 — przykład podstawy systemu weryfikacji niejakościowego ruchu.

Do tego można byłoby załączyć jeszcze narzędzie służące do analityki użytkowej pokroju HotJar lub Microsoft Clarity, tylko że ze względu na to, iż intencją wpisu jest, by pokazać, jak zrobić taki cały system we względnie prosty sposób, pominę ten krok — z treści mejla będzie potem wynikała ścieżka w jaki sposób można to wdrożyć.

Docelowym, pożądanym rezultatem jest przygotowanie systemu oceny jakości ruchu pochodzącej od konkretnego użytkownika, który wykrywa anomalie na jak najbardziej wczesnym etapie i analizowanie tych informacji.

Na początku jest kluczowe zrozumienie w jaki sposób implementacja powinna przebiegać, a by to słusznie ocenić warto zacząć od końca, czyli w miejscu, gdzie są składowane dane o sesjach: BigQuery.

By zrozumieć strukturę danych w BigQuery zwłaszcza w momencie, gdy użytkownik nie wyraża zgody na zbieranie informacji, trzeba zrozumieć sam zamysł consent mode.

Na końcu z kolei jest prosta droga do tego, jak zaimplementować Consent Management Platform i na jakim etapie można tworzyć cookiesy, podział plików na kategorię oraz jak można interpretować prawo (o tym będzie kilka słów ekstra później).

Google BigQuery

Google Analytics 4 jako rekomendowaną funkcjonalność sugeruje konfigurację analityki wraz ze chmurą obliczeniową BigQuery. Wynika to z kilku powodów:

• Google Analytics 4 magazynuje domyślnie dane do 14 miesięcy wstecz, po czym je usuwa. W BigQuery płaci się za powierzchnię przechowywanych danych, dzięki czemu można je przechowywać bezterminowo (a przynajmniej do momentu, dopóki płaci się faktury za świadczenie usługi);

• Google Analytics 4 w celu oszczędzania mocy obliczeniowej serwerów służących do bezpłatnego utrzymania aplikacji (gdyż GA4 dalej jest darmowe, zakup licencji GA4 360 jest opcjonalny) poddaje dane procesom próbkowania, progowania i kardynalizacji:

  • Próbkowanie to technika statystyczna, która polega na wyborze podzbioru z większego zbioru, w celu estymowania cech całej kolekcji. Próbkowanie jest na ogół stosowane, gdy jest zbyt kosztowne lub niemożliwe do badania każdego pojedynczego elementu w całej populacji. Próbki powinny być reprezentatywne dla całości, aby oszacowania były wiarygodne;

  • Progowanie odnosi się do ustalenia określonego poziomu, powyżej którego lub poniżej którego zaczyna obowiązywać określona reguła lub zachodzi określone zjawisko. Na przykład, w algorytmach uczenia maszynowego, progowanie może by użyte do klasyfikacji wyjść modelu;

  • Kardynalizacja to pojęcie statystyczne, które odnosi się do liczby unikalnych elementów w zbiorze. W kontekście baz danych, kardynalizacja może odnosić się do liczby unikalnych wartości w kolumnie tabeli. Zarządzanie kardynalizacją jest kluczowe dla efektywnego przetwarzania informacji, szczególnie przy operacjach takich jak sortowanie czy łączenie zbiorów danych;

  • Istotnym tutaj szczegółem jest to, że dane o tym, jak działa każdy z procesów są udostępnione w okrojonej formie. Zalecam tutaj podejście, że modele od Google są black boxem i zastosować zasadę ograniczonego zaufania.

• Z Google BigQuery można wyciągnąć surowe dane pochodzące z GA4 i przeprowadzać na tej bazie danych dowolne operacje bez wpływu na to jak funkcjonują modele obliczeniowe Google w GA4.

Google Consent Mode

Internetowe działania marketingowe od pewnego czasu są nierozerwalnie związane ze zbieraniem informacji o użytkownikach strony internetowej. Te dane są gromadzone najczęściej za pomocą plików cookie, które później wykorzystywane są w ramach kampanii cyfrowych. Im więcej danych mamy o użytkowniku, tym precyzyjniejszą personalizację naszej oferty, przekazu marketingowego lub kanału komunikacji możemy zastosować.

Jednakże, od 25 maja 2018 roku, przepisy RODO (GDPR) zabraniają używania plików cookie bez zgody użytkownika. Dlatego, aby nadal móc korzystać z możliwości, jakie dają ciasteczka, strony internetowe muszą uzyskać na to zgodę. W tym procesie kluczową rolę odgrywa Consent Mode.

Consent Mode jest to standard, który polega na umieszczaniu na stronie internetowej specjalnego banneru informującego użytkowników o wykorzystywaniu plików cookie. Użytkownicy mają możliwość wyrażenia zgody na korzystanie z ciasteczek lub jej odrzucenia.

Consent Mode zakłada, że skrypty od stron trzecich, generujące pliki cookie na stronie użytkownika, mogą być uruchamiane tylko po uzyskaniu zgody. Może to obejmować różnorodne kwestie, takie jak zbieranie danych analitycznych, ustawianie plików cookie, personalizowanie treści, śledzenie działań użytkowników dla celów marketingowych.

Jeśli użytkownik kompletnie odrzuci zgody, korzystanie z plików cookie powinno zostać ograniczone do minimum niezbędnego dla działania strony, co de facto oznacza zablokowanie tagów od stron trzecich. Gdy zgoda zostanie udzielona tylko częściowo, działanie tagów powinno być modyfikowane tak, aby respektowało udzielone zgody, co oznacza aktywację tylko tych tagów, które pasują do zaakceptowanych kategorii.

Google Consent Mode umożliwia gromadzenie zgód użytkowników podzielonych na konkretne kategorie:

• analytics_storage - zgoda na wykorzystanie plików cookie do celów statystycznych;

• ad_storage – zgoda na korzystanie z plików cookie dla potrzeb reklamowych;

• ad_user_data – zgoda na przekazywanie do Google danych użytkownika do wykorzystania w reklamach online;

• ad_personalization – zgoda na personalizację reklam;

• functionality_storage – zgoda na wykorzystanie plików cookie, które wspierają funkcjonalności strony;

• security_storage – zgoda na przechowywanie danych z funkcji bezpieczeństwa;

• personalization_storage – zgoda na wykorzystanie plików cookie do personalizacji treści na stronie.

Każda z tych zgód może przyjąć jeden z dwóch stanów:

• denied – zgoda nie została udzielona;

• granted – zgoda została udzielona.

W sytuacji, gdy zgody nie są udzielone, tagi Google nie zapisują plików cookie na stronie użytkownika, ale przekazują minimalne informacje o aktywności użytkownika, zwanymi sygnałami. Sygnały dostarczają kluczowych danych ilościowych, na podstawie których potem Google realizuje modelowanie behawioralne (acz dopiero po spełnieniu określonych warunków).

I teraz ważne: jak to wpływa na dane w Google BigQuery?

Główną różnicą w eksporcie BigQuery dla danych pochodzących z sesji, w których zgoda analytics_storage została odrzucona, jest brak danych do modelowania behawioralnego. W rezultacie nie można standardowo wiązać użytkowników i sesji ze względu na brak dwóch kluczowych wymiarów: user_pseudo_id i ga_session_id.

Należy jednak pamiętać, że user_id jest dostępnym wymiarem w danych pochodzących z sesji z odrzuconą zgodą analytics_storage - nie mówiąc o innych wymiarach niestandardowych, które można względnie swobodnie definiować :)

Consent Management Platform

Po tym dość szczegółowym wyjaśnieniu można przejść do roli CMP. Consent Management Platform, jak sama nazwa wskazuje, to mechanizm obsługi tych zgód. Dla użytkowników najczęściej objawiają się one w postaci takich powiadomień przy wejściu na stronę internetową:

Poza samym wyrażeniem zgody, jako potencjalny dostawca usług masz obowiązek przechowywać informacje o tym, kto w ramach jakiej sesji wyraził zgodę bądź nie oraz respektować możliwość zmiany takowej zgody w każdym momencie. Trochę tych obowiązków jest, a wraz z nimi dochodzi mnogość scenariuszy w których użytkownik w ujęciu analityki może zmienić swój stan: teraz jak w tym połapać się?

Do napisania tego mejla zainspirował mnie wpis Adama Brzostka z firmy Better Steps, który na blogu porusza (co prawda zdawkowo, ale jednak - ogólnie z takim podejściem do pracy z zdanymi rzadko spotykam się w branży, co bywa obiektem mojego niezrozumienia i frustracji) mniej więcej to, co ja napisałem powyżej: na rozwiązanie problemu zliczania użytkowników i sesji proponuje stworzenie niezależnego klucza pośredniego, który byłby referencją do wiązania między sobą sesji - niezależnie od tego, czy użytkownik na to wyrazi zgodę, czy nie.

Pomysł jest bardzo w porządku, jednak adresuje tylko podstawowo problem: w jaki sposób wiązać sesje między anonimowymi zdarzeniami i je potem oceniać? Otóż klucz pośredni jest utworzony przy pomocy sessionStorage na bazie timestampa, co może i spełnia rozwiązanie problemu postawionego w artykule, tak jest dość wąskie i nieprecyzyjnie. Właściwie to powinno wyglądać tak:

• ustawiam w sessionStorage wartość przy wejściu jeśli jej nie wykryto. Tutaj zdecydowanie sprawdzi się UUID, które można byłoby jeszcze opcjonalnie przepuścić BCryptem, tak by ograniczyć w bardzo długiej perspektywie ryzyko powtarzalności danego klucza;

• w momencie jeśli użytkownik nie ma wyrażonej zgody i dalej nie wyrazi zgodę na analytics_storage pozostawić bez zmian i przesyłać klucz przy zdarzeniach;

• w momencie jeśli użytkownik nie ma wyrażonej zgody i dalej wyrazi zgodę na analytics_storage pozostawić bez zmian i przesyłać klucz przy zdarzeniach;

• gdy użytkownik zmieni zgodę analytics_storage to niezależnie od tego jaki będzie końcowy stan należy taki klucz usunąć i stworzyć nowy, dodatkowo polecałbym przeładowania karty przeglądarki i/lub kodów śledzących.

Wynika to z tego, że sessionStorage przeglądarki definiują jako okres aktywności użytkownika na stronie internetowej lub w aplikacji od momentu otwarcia do zamknięcia przeglądarki lub wygaśnięcia sesji po określonym czasie nieaktywności. Jaka to konkretnie definicja? Nie znalazłem takich informacji, a prawdę mówiąc lubię rozumieć co się dzieje, więc dla bezpieczeństwa zakładam, że może być wydłużany w nieskończoność. Dzięki tej poprawce nie ryzykuję, że mogę powiązać sesje użytkownika niezależnie od stanu jego zgód, czyli w istocie łamać przepisy.

Oprócz tego poruszę temat tego, jak można rozumieć niezbędne pliki cookies. Aby zdefiniować niezbędne pliki cookie, należy zapewnić i udowodnić, że są one niezbędne do działania strony internetowej lub aplikacji.

Pliki cookie uważane za niezbędne są zazwyczaj używane do:

• Zapamiętania produktów dodanych do koszyka w sklepie internetowym;

• Umożliwienia logowania użytkowników;

• Zabezpieczenia strony przed atakami;

• Personalizacji ustawień użytkownika.

Do realizacji zadań z punktu 3. dzięki m.in. właściwościom struktury danych z Google BigQuery i Google Consent Mode można użyć… Google reCAPTCHA, dzięki czemu można określić zasadność tworzenia ciasteczek w przeglądarkach mimo wyrażenia braku zgody. Nie traktuj tego jako porady prawnej, a przed wdrożeniem tego produkcyjnie skonsultuj to z adwokatem lub radcą prawnym.

Google reCAPTCHA

reCAPTCHA jest usługą firmy Google, która ma na celu ochronę stron internetowych przed spamem, zautomatyzowanymi atakami oraz nadużyciami internetowymi. Jest to narzędzie, które pozwala zweryfikować, czy interakcje na stronie są dokonywane przez ludzi, a nie przez boty komputerowe.

Wersje reCAPTCHA to:

• reCAPTCHA v2: W tej wersji użytkownik jest proszony o rozwiązanie testu CAPTCHA, aby dowieść, że jest człowiekiem. Może to być weryfikacja poprzez zaznaczenie odpowiednich pól lub rozwiązanie prostego zadania, takiego jak rozpoznawanie obrazów. reCAPTCHA v2 jest bardziej interaktywna i wymaga zaangażowania użytkownika w proces weryfikacji;

• reCAPTCHA v3: Jest to bardziej ukryta forma reCAPTCHA, która działa w tle i nie wymaga interakcji użytkownika. Działa na zasadzie oceny ryzyka każdej interakcji z witryną, nadając im określony stopień ryzyka. Na podstawie tych ocen, administratorzy mogą podejmować decyzje dotyczące zabezpieczeń witryny. reCAPTCHA v3 jest subtelniejsza dla użytkowników, ponieważ nie wymaga od nich interakcji w celu udowodnienia, że są ludźmi.

Dlaczego by więc jej nie użyć jako systemu punktowego interakcji użytkownika?

Sam sposób jej implementacji jest dość prosty, na przykład podążając za oficjalną dokumentacją techniczną:

Następnie, wystarczy wysłać kod zwrotny (token) do załadowanego uprzednio Google Tag Manager Server-Side, odpytać serwery Google, a po poprawnej weryfikacji wrócić z wynikiem — w ten sposób można prostym sposobem ocenić sesję użytkownika i robić to każdorazowo, gdy unikalny klucz pośredni jest tworzony (co ograniczy chociażby wykorzystywanie zasobów GTM Server-Side).

Jak załadować CMP, czyli dlaczego zrobiłbym to samodzielnie? Google Cloud Functions w praktyce

Bardzo mocno są spopularyzowane startupy legaltechowe, które dzięki wymogom Komisji Europejskiej mają możliwość dostarczania rozwiązań ułatwiających wdrożenie CMPków — jednym z nich jest polecany przeze mnie CookieYes.

Na potrzeby tego wdrożenia wolę pokazać to w jaki sposób zróbić to dzięki open source’owemu frameworkowi Klaro, gdzie rzecz sprowadza się jak widzisz głównie do umiejętnego zarządzania konfiguracją. Porównanie tego z kolei czy lepszy jest darmowy CMP czy płatny oraz przykład implementacji Klaro znajdziesz tutaj: klik.

Następnie, w zręczny sposób jesteś w stanie do Google Tag Manager Server-Side przesyłać informacje o statusie konkretnej zgody, a potem przechowywać to w Google Cloud Functions — na przykład tak:

To wszystko

Będę wdzięczny za informację zwrotną o tym, czy taka formuła newslettera podoba się. W razie pytań odpisz na tego mejla — chętnie odpowiem i pomogę.

Do przeczytania
Kacper