BrainBits
Conversational AI Agent dla influencerów
Conversational AI Agent, który prowadzi rozmowy z odbiorcami twórców internetowych i pomaga zamieniać zainteresowanie w sprzedaż (produktów cyfrowych).
357% wzrostu revenue w 12 miesięcy - z poziomu 1 mln USD miesięcznie.
357%
wzrost revenue w 12 miesięcy
0,5 mln+
rozmów miesięcznie
>2 mln
generacji LLM miesięcznie
Co to za produkt
BrainBits.ai to Conversational AI Agent dla twórców internetowych (online creators & influencers). Prowadzi rozmowy z ich odbiorcami i pomaga zamieniać zainteresowanie w sprzedaż.
- Dla kogo
- Twórcy internetowi i ich odbiorcy
- Problem
- Zamiana zainteresowania w sprzedaż przez rozmowę
- Model
- Conversational AI Agent w kanale twórcy
- Skala
- Ponad 0,5 mln rozmów i ponad 2 mln generacji LLM miesięcznie
Punkt wyjścia
Nowe funkcje w produkcie oraz zmiany w modelach i promptach były wypuszczane regularnie, ale wzrost firmy się zatrzymał. Nowe zmiany nie dawały oczekiwanych rezultatów, zespół czuł, że kręci się w kółko. Brakowało strategii produktowej, procesu szacowania szans i ewaluacji zmian po wdrożeniu.
Moja rola i wpływ
Odpowiadałem
Decyzje i wynik były po mojej stronie.
- Product Strategy Loop
- Product Discovery Loop
- Priorytety i produktowe bety
- Opportunity Sizing
- Jakość rozmów agenta
- Ewaluacja agenta i metryki produktowe
- Product OS - narzędzia produktowe dla firmy
- Product Builder - zmiany w produkcie end-to-end
Współtworzyłem
Robiłem to razem z innymi osobami z zespołu.
- AI Evals
- LLM
- Panel dla klientów
Najważniejsze inicjatywy
- 01
Przygotowanie strategii produktowej i pętli Product Strategy Loop
ProwadziłemProblem
Zespół wypuszczał dużo zmian, ale wzrost stanął. Nie było jasne, na czym się skupić.
Co zrobiłem
- Przygotowałem strategię produktową.
- Prowadzę Product Strategy Loop - kwartalną pętlę, w której decydujemy o strategii produktowej i wybieramy produktowe bety.
- Ograniczyliśmy roadmapę do dwóch głównych betów strategicznych.
Efekt
Co kwartał zespół wie, na jakich betach pracuje i dlaczego.
- 02
Wprowadzenie Opportunity Sizingu dla inicjatyw
ProwadziłemProblem
Pomysły trafiały do realizacji bez oceny, ile mogą dać.
Co zrobiłem
- Wdrożyłem proces Opportunity Sizingu dla inicjatyw.
- Zbudowałem agentów i skille, które przyspieszają szacowanie szans.
Efekt
Priorytety wynikają z szacowanego wpływu, a nie z kolejki pomysłów.
- 03
Mniej "bad optics" w rozmowach agenta
ProwadziłemProblem
Problematyczne wypowiedzi bota psuły odbiór agenta u klientów i podbijały churn.
Co zrobiłem
- Prowadziłem inicjatywę ograniczenia problematycznych wypowiedzi agenta.
- Stale analizowałem rozmowy - jakościowo i ilościowo.
- Wskazywałem najważniejsze problemy.
- Ewaluowałem rozwiązania.
Efekt
Mniejszy churn klientów. To dało przestrzeń na dalsze wzrosty i nowe bety.
- 04
Wdrożenie metryk produktowych i stałej ewaluacji zmian
ProwadziłemProblem
Zmiany w agencie nie były oceniane po wdrożeniu.
Co zrobiliśmy
- Wdrożyliśmy metryki produktowe dla kroków rozmowy i lejka.
- Wdrożyliśmy dashboardy i monitoring.
- Wdrożyliśmy mechanizm A/B testów rozmowy.
- Wdrożyliśmy jakościową ocenę zmian.
Efekt
Każda zmiana strategii konwersacji jest oceniana po wdrożeniu - liczbami i jakościowo.
- 05
Zbudowanie AI Evals oraz AI Harness w produkcie
WspółtworzyłemProblem
Trzeba było zapewnić jakość agenta po wprowadzeniu zmian.
Co zrobiliśmy
- Z engineeringiem zbudowaliśmy pełny LLM trace.
- Uruchomiliśmy ciągłe evals: ocena ludzi, LLM-as-judge i reguły.
- Zbudowaliśmy własny harness agenta konwersacyjnego.
- Model do produktu wybraliśmy na podstawie własnych danych i kosztów - dlatego nie wdrożyliśmy „najlepszego” modelu z rankingów.
Efekt
Jakość agenta jest sprawdzana po każdej zmianie.
- 06
Product OS dla wewnętrznych agentów
ProwadziłemProblem
Osoby w firmie nie miały wspólnych narzędzi, żeby pracować produktowo - także z agentami AI.
Co zrobiłem
- Zbudowałem wspólne produktowe repo.
- Przygotowałem skille i narzędzia dla wewnętrznych agentów.
Efekt
Inne osoby w firmie pracują produktowo na wspólnych zasadach i narzędziach.
- 07
Panel dla klientów
WspółtworzyłemProblem
Klienci nie mieli miejsca, w którym mogliby śledzić pracę agenta.
Co zrobiliśmy
- Razem z drugim Product Builderem zaprojektowaliśmy panel.
- Zbudowaliśmy go end-to-end.
Efekt
Klienci śledzą pracę agenta w jednym panelu.
Efekty dla firmy
- 357% wzrostu revenue w 12 miesięcy - z poziomu 1 mln USD miesięcznie.
- Ponad 0,5 mln rozmów miesięcznie.
- Ponad 2 mln generacji LLM miesięcznie.
Nie przypisuję sobie samodzielnie wzrostu przychodów. Strategia produktowa, priorytetyzacja i proces ewaluacji były jednymi z elementów, które wspierały wynik firmy.
Przerywana linia oznacza moment, w którym dołączyłem.