• CloudPouch NEW!
  • Blog
  • O stronie
  • Home

Dlaczego AWS Cost Explorer to za mało? Historia mojego własnego bólu i powstania CloudPouch


Dlaczego AWS Cost Explorer to za mało? Historia mojego własnego bólu i powstania CloudPouch

Rok 2016. Siedziałem przed monitorem, patrząc na szacunkowy rachunek AWS na 300 dolarów miesięcznie za mój side project. 300 dolarów! Za aplikację, którą używało może kilka osób. To był moment, kiedy zrozumiałem, że albo zrezygnuję z marzeń o własnym startupie, albo znajdę sposób na okiełznanie kosztów chmury.

Dziś, po latach walki z optymalizacją kosztów AWS, wiem jedno na pewno: AWS Cost Explorer to dopiero początek Twojej podróży, nie jej koniec.

Bolesne początki z AWS

Pochodziłem ze świata Java Enterprise Edition (JEE). Gdy w 2016 roku postanowiłem przerzucić się na chmurę (początkowo nawet próbowałem z Azure!), myślałem jak typowy deweloper: “Potrzebuję serwer, bazę danych, load balancer… Standardowy setup enterprise.”

Rezultat? Porażające 300 dolarów miesięcznie za infrastrukturę, która obsługiwała ruch porównywalny do małego bloga.

To wtedy odkryłem serverless w AWS. Lambda, DynamoDB, API Gateway – te technologie nie tylko rozwiązały mój problem kosztów, ale też nauczyły mnie myśleć “frugalnie” (jak to określił Dr. Werner Vogels wiele lat później podczas re:Invent 2023).

Angielskie słowo frugal (dosł. oszczędny) w kontekście chmury oznacza świadome wybieranie komponentów nie tylko ze względu na aspekty techniczne, ale również koszt.

Z 300 dolarów miesięcznie spadłem praktycznie do zera. Aplikacja działała za darmo w ramach Free Tier.

Cost Explorer: przyjaciel czy wróg?

Po kilku latach pracy z AWS zacząłem pomagać klientom w optymalizacji kosztów. I tu zaczął się prawdziwy ból głowy.

AWS Cost Explorer to narzędzie, które wydaje się potężne. Kolorowe wykresy, możliwość filtrowania po usługach, regionach, tagach. Na pierwszy rzut oka wygląda imponująco.

Problem? Każde pytanie o szczegóły kończy się frustracją.

Spróbuj odpowiedzieć na podstawie Cost Explorera na pozornie proste pytania:

  • Dlaczego ten miesiąc kosztował więcej niż poprzedni?
  • Co konkretnie napędza wzrost kosztów w EC2-Other?
  • Co oznacza usage type “EU-EBS:VolumeUsage.gp3”?

Cost Explorer pokaże Ci wykres. Może nawet powie, że EC2 kosztuje więcej. Ale nie wyjaśni dlaczego ani jak to naprawić.

Intensywnie pracując nad kosztami wyrobiłem sobie techniki i checklisty tego, co należy sprawdzić. Niestety CostExplorer zmusza(ł) mnie do ciągłego wyklikiwanie tych samych konfiguracji wykresów, a to ogromna strata czasu - a ja tego nie cierpię i zawsze staram się wszystko automatyzować. Dodatkowo, gdy dopiero zaczynasz, to mnogość opcji przytłacza, natomiast brakuje użytecznych domyślnych wykresów dla początkujących.

Zagadka usage types: 10 000 sposobów na płacenie

Ucząc się kosztów dalej, w pewnym okresie Usage Types stały się moją obsesją.

Dlatego dziś moim pytaniem otwierającym - aby ocenić czy dana osoba coś już wie o kosztach - jest pytania czy wie co to EC2 - Other?

W AWS istnieje szacunkowo 10 000 różnych typów użycia. Dziesięć tysięcy! Od prostych jak storage w S3, przez skomplikowane jak transfer danych między regionami, po kompletnie niezrozumiałe kombinacje, których nie ma co tutaj roztrząsać.

Przykład? S3 ma dziesiątki a może i setki usage types:

  • TimedStorage-Standard – za przechowywanie danych
  • Requests-Tier1 – za każde żądanie GET
  • Requests-Tier2 – za żądania PUT/POST
  • DataTransfer-Out-Bytes – za transfer wychodzący

A dokumentacja AWS? Niektóre usage types w ogóle nie są opisane. Próbowałem nawet przez support AWS dowiedzieć się, co oznaczają – bez skutku.

To jak próba rozwiązania krzyżówki, gdzie połowa haseł została ukryta.

Punkt zwrotny: narodziny CloudPouch

W 2021 roku miałem dość. Pracowałem z klientem, który płacił spore pieniądze za AWS, a Cost Explorer nie dawał mi odpowiedzi na podstawowe pytania o optymalizację.

Pomyślałem: “Jeśli AWS nie da mi narzędzi, które potrzebuję, zbuduję je sam.”

Zacząłem od prostego założenia:

  1. Zobacz koszty – lepiej niż Cost Explorer
  2. Zrozum je – wyjaśnij wszystkie usage types
  3. Zoptymalizuj – znajdź konkretne oszczędności

Tak wymyśliłem tagline mojej aplikacji “See. Understand. Reduce AWS costs.”. Po tylu latach jest on ciągle aktualny i pokazuje drogę każdego, kto chce zostać specjalistą od kosztów chmury.

CloudPouch powstało jako aplikacja desktopowa, która:

  • Łączy się bezpośrednio z Twoim AWS przez API
  • Wszystkie dane pozostają na Twoim komputerze – zero ryzyka bezpieczeństwa
  • Wyjaśnia Usage Types w zrozumiały sposób
  • Automatycznie wykrywa 15 różnych typów marnotrawstwa - po szczegóły zerknij tutaj.
  • Jest zbudowana w Electron, dlatego działa na Windows, macOS i Linux.

Gdy dane opowiadają historię

Jedna z moich ulubionych funkcji CloudPouch to analiza historyczna. Potrafię spojrzeć na koszty klienta i opowiedzieć mu, co robił w ostatnich miesiącach.

CloudPouch Compare Report

Detektyw od kosztów

Przykład z życia wzięty: Klient miał ogromny spadek kosztów o 50 000 dolarów między wrześniem a październikiem. W Cost Explorer widziałby tylko linię spadającą w dół.

CloudPouch pokazał szczegóły:

  • Redukcja “NAT Gateway Bytes” o 18 000 USD w Irlandii
  • Spadek “Data Transfer Regional” o kolejne tysiące
  • Podobne wzorce w innych regionach

Diagnoza? Klient wdrożył VPC Endpoints dla S3 i DynamoDB. Dane przestały przechodzić przez kosztowne NAT Gateway, a zaczęły lecieć bezpośrednio do usług AWS.

Gdy zadzwoniłem do klienta z tą “przepowiednią”, był w szoku. “Skąd to wiesz? To dokładnie to, co zrobiliśmy!” - usłyszałem.

Ta historia z resztą często się powtarza. Moi klienci są zaskoczeni, że bez rozmowy z nimi ani dostępu do dokumentacji projektowej, z samych kosztów, jestem w stanie wywnioskować, jakie zmiany wdrożyli na przestrzeni ostatnich 12 miesięcy.

Konkretne rezultaty: od 13% do 62% oszczędności

Po trzech latach rozwijania CloudPouch i pracy z dziesiątkami klientów mogę powiedzieć jedno: optymalizacja kosztów AWS to nie mit.

Moje statystyki:

  • Najmniejsza oszczędność: 13% miesięcznych kosztów
  • Największa oszczędność: 62% miesięcznych kosztów - w tym wypadku sam byłem zaskoczony, gdyż moje wstępne estymacje wskazywały “tylko” 41%
  • Przeciętnie to 18% do 26% oszczędności na konto AWS
  • Zakres kont: od 3 000 USD do 1,5 miliona USD miesięcznie - na takich pracowałem
  • Typowe przypadki marnotrawstwa:
    • Wolumeny EBS przyłączone do wyłączonych instancji
    • Nieużywane NAT Gateway (brak ruchu przez 14 dni)
    • RDS bez połączeń przez ponad 2 tygodnie
    • EC2 rightsizing
    • Błędna konfiguracja DynamoDB (provisioned vs on-demand)
    • Bazy danych lub EKS w trybie Extended Support.
    • oraz wiele innych.

Jeden przykład: klient płacił 262 USD miesięcznie za NAT Gateway, przez które przechodziło… 2KB danych w ciągu dwóch tygodni. Dwa kilobajty!

Przyszłość: FinOps jako nowy standard

Tworzenie CloudPouch to nie tylko rozwiązanie mojego problemu – to przygotowanie na przyszłość, gdzie świadomość kosztów stanie się wymaganiem niefunkcjonalnym, jak dziś bezpieczeństwo.

FinOps Foundation (finops.org) buduje jedyny kompleksowy framework zarządzania kosztami w chmurze. To nie teoretyczne abstrakcje, lecz praktyczne best practices z doświadczeń największych firm.

Dla deweloperów, architektów i inżynierów chmury oznacza to jedno: wkrótce każda decyzja techniczna będzie musiała uwzględniać aspekt kosztowy.

Więcej niż tylko oszczędności

CloudPouch nauczyło mnie, że optymalizacja kosztów to nie tylko matematyka. To historia detektywistyczna, gdzie każdy usage type opowiada fragment historii Twojej infrastruktury, a ja zakładam czapkę i biorę do ręki lupę.

Detektyw kosztowy

A na koniec mała uwaga o zrównoważonym rozwoju: każdy zaoszczędzony dolar w AWS to mniej zużytej energii. Gdy wyłączasz niepotrzebne serwery, nie tylko oszczędzasz pieniądze ale i pomagasz planecie 🌍. To może nie być główną motywacją biznesową, ale daje satysfakcję osobistą.

Podobnie lubię sobie wyobrażać, że przy dużych rocznych oszczędnościach (czasem są to nawet miliony USD), dzięki mojej pracy firmy nie są zmuszone do redukcji zatrudnienia, gdyż tną koszty chmury, a nie zwalniają pracowników. Dzięki czemu czyjeś życie staje się lepsze 😀.

Jaka była Twoja najbardziej niespodziewana oszczędność w AWS? Podziel się w komentarzach – być może Twoje doświadczenie pomoże innym uniknąć kosztownych błędów.


CloudPouch oferuje 7-dniowy trial bez podawania karty kredytowej. Pobierz na cloudpouch.dev i sprawdź samodzielnie ile naprawdę możesz zaoszczędzić.





Cześć

Nazywam się Paweł Zubkiewicz i cieszę się, że tu jesteś!
Od blisko 20 lat profesjonalnie tworzę oprogramowanie, a od 2016 roku pasjonuje się Serverless.
Tą stronę stworzyłem z myślą o Tobie i o nas wszystkich, którzy uważają, że trend serverless trwale zmieni sposób tworzenia oprogramowania.
Więcej o tej stronie...

Kategorie

Pobierz bezpłatny PDF

Poradnik 12 Rzeczy o Serverless

Wybrane artykuły