Poniżej znajdują się linki do newsów od AWS oraz artykułów i blog postów napisanych przez społeczność, które zebrałem w wydaniu numer 161 newslettera Serverless Polska. Strona ta została opublikowana tydzień po wysłaniu mailingu, dlatego jeśli chcesz być zawsze na bieżąco, to zasubskrybuj mój newsletter.
Bezsprzecznie najgłośniejszą sprawą ubiegłego tygodnia była ta:
⚡️How an empty S3 bucket can make your AWS bill explode
Ten artykuł odbił się szerokim echem w społeczności.
- Wiadro S3 nazwane jak placeholder w popularnym oprogramowaniu open-source niezamierzenie zebrało prawie 100,000,000 requestów PUT S3 w jeden dzień, prowadząc do nieoczekiwanego rachunku ponad 1300 dolarów dla właściciela wiadra.
- AWS nalicza opłaty nawet za nieautoryzowane requesty (błędy 4xx), co oznacza, że właściciel wiadra płaci za nieudane próby dostępu, nawet gdy w wiadrze zablokowano wszelkie publiczne dostępy.
Incydent ten uświadomił wszystkim zawiłości cennika i niuanse billingu, gdyż
- AWS nalicza opłaty za nieautoryzowane requesty (błędy 4xx), co oznacza, że właściciel wiadra płaci za nieudane próby dostępu, co może znacząco zwiększyć koszty.
- Koszty requestów PUT S3 są stosunkowo niskie (0,005 dolarów za 1000 requestów), jednak wolumen requestów ze źle skonfigurowanych systemów lub potencjalnych ataków typu DDoS może prowadzić do znacznych opłat.
Sytuacja ta również uwypukla zagrożenia bezpieczeństwa związane z błędną konfiguracją bucketów i podkreśla wyzwania związane z rozwiązywaniem problemów wynikających ze złożonej interakcji między usługami w chmurze a systemami opensource.
- Bohater opowieści, w ramach eksperymentu, otworzył swoje wiadro S3 na publiczne zapisy. To spowodowało zebranie ponad 10GB danych w mniej niż 30 sekund. To pokazuje jak łatwo o wyciek danych (z oprogramowania 3-rd party, nie AWS S3) z powodu błędów konfiguracji.
Po zgłoszeniu incydentu rachunek właściciela wiadra został anulowany przez AWS jako wyjątek. Jednak cała sprawa bardzo szybko stała się bardzo głośna i AWS dość szybko przyznał, że zajmie się tematem cennika, gdyż na tę chwilę nie ma przed tym zagrożeniem żadnego zabezpieczenia. Link »
🗞️ Newsy
Prosto od AWS.
⚡️ AWS launches Split Cost Allocation Data for Amazon EKS
AWS wprowadził nową funkcję dla użytkowników usługi Amazon Elastic Kubernetes Service (EKS), umożliwiając im uzyskanie szczegółowych wglądów w koszty. Ten mechanizm, znany jako AWS Split Cost Allocation Data for Amazon EKS, pozwala na precyzyjne śledzenie sposobu wykorzystania zasobów przez aplikacje Kubernetes, pomagając w optymalizacji konfiguracji klastra i redukcji nieefektywności, a tym samym kosztów.
- Szczegółowe dane dla usługi EKS są dostępne za pośrednictwem raportów kosztów AWS CUR (Cost and Usage Reports).
- Funkcja ta zapewnia szczegółowe wglądy w koszty na poziomie PODów, uwzględniając wykorzystanie mocy obliczeniowej i pamięci. Link »
⚡️ AWS CodeBuild now supports managed GitHub Action runners
AWS CodeBuild rozszerzyło swoje funkcje o wsparcie dla self-hosted runnerów zarządzanych przez GitHub Action, umożliwiając bezproblemową integrację GitHub Actions z AWS. Dzięki temu użytkownicy zyskują dostęp do szerokiej gamy platform obliczeniowych CodeBuild, w tym Lambda, GPU i instancji opartych na Arm. Konfiguracja wymaga ustawienia webhooków w projekcie CodeBuild i aktualizacji YAML workflow GitHub Actions dla self-hosted runnerów CodeBuild. Ta integracja jest zaprojektowana, aby usprawnić procesy ciągłej integracji i wdrażania CI/CD dla programistów korzystających zarówno z platform AWS, jak i GitHub. Link »
⚡️ Network Load Balancer now supports Resource Map in AWS Management Console
Network Load Balancer (NLB) obsługuje teraz Mapę zasobów (Resource Map), narzędzie w konsoli, które wyświetla wszystkie zasoby NLB oraz ich relacje w formacie wizualnym na jednej stronie, zapewniając jasne zrozumienie architektury NLB. Ta sama funkcja, została wcześniej dodana dla ALB. Link »
⚡️ Amazon DynamoDB introduces configurable maximum throughput for On-demand tables
Użytkownicy Amazon DynamoDB w trybie on-demand mają teraz możliwość konfigurowania maksymalnych poziomów przepustowości odczytu i zapisu dla poszczególnych tabel i powiązanych indeksów, co pozwala na bardziej efektywne zarządzanie kosztami i wydajnością. Ta aktualizacja udostępnia użytkownikom narzędzia do zapobiegania nieoczekiwanym wzrostom zużycia zasobów i zapewnia, że usługi downstream pozostają chronione przed potencjalnym przeciążeniem, oferując spersonalizowane podejście dostosowane do różnych obciążeń i wymagań aplikacji. Link »
⚡️ Knowledge Bases in Amazon Bedrock now simplifies asking questions on a single document
Podczas AWS re:Invent 2023 zaprezentowano bazy wiedzy dla Amazon Bedrock, usprawniając sposób, w jaki firmy mogą wchodzić w interakcje z pojedynczymi dokumentami za pomocą Retrieval Augmented Generation (RAG) bez wcześniejszej konfiguracji. Ta innowacja upraszcza przeszukiwanie danych przedsiębiorstwa w celu wykonania określonych zadań, takich jak analiza CV lub opinii klientów, bezpośrednio z przesłanych dokumentów. Eliminując potrzebę wektorowych baz danych i pozyskiwania danych, funkcja ta zwiększa również bezpieczeństwo oraz zmniejsza koszty i obciążenia operacyjne. Link »
⚡️ Amazon Q Developer, now generally available, includes previews of new capabilities to reimagine developer experience
Amazon Q Developer, asystent AI wytrenowany na 17 latach wiedzy związanej z AWS, osiągnął ogólną dostępność, wprowadzając funkcje, które znacznie usprawniają zarządzanie zasobami AWS i zrozumienie kosztów chmury za pomocą naturalnego języka. Z nowymi rozszerzeniami dla popularnych IDE, programiści zyskują dostęp do zaawansowanych możliwości, takich jak wsparcie w tworzeniu oprogramowania i transformacja kodu, szczególnie dla aplikacji Java. Oprócz tych aktualizacji AWS wprowadził dwupoziomowy model cenowy (bezpłatny i Pro za 19 USD) oraz bezpłatny kurs “Wprowadzenie do Amazon Q”. Link »
⚡️ Anthropic’s Claude 3 Opus model is now available on Amazon Bedrock
Anthropic wypuścił Claude’a 3 Opus na Amazon Bedrock, chwaląc się najlepszą wydajnością w zadaniach skomplikowanych spośród modeli Claude’a 3. Zaprojektowany, aby zrewolucjonizować branże poprzez automatyzację złożonych zadań i poprawę procesów podejmowania decyzji, Claude 3 Opus demonstruje znaczący wzrost dokładności w porównaniu z poprzednikami. Ten najnowszy model od Anthropica wspiera szeroki zakres zastosowań, od analiz finansowych po prognozowanie strategiczne. Link »
👨👩👧👦 Od Społeczności
Artykuły, tutoriale i nagrana przygotowane przez maniaków serverless.
⚡️ Architect Serverless Applications with Anticorruption Layers
Artykuł omawia znaczenie warstwy antykorupcyjnej (ACL) w kontekście inżynierii oprogramowania, szczególnie w odniesieniu do Domain-Driven Design (DDD) i rozwoju serverlessowego. Przytacza on paralele między historycznymi koncepcjami zapobiegania a współczesną praktyką projektowania systemów odpornych na korupcję wynikającą ze zmian zewnętrznych. Szczegółowo opisuje skupienie DDD na zrozumieniu domeny biznesowej przed zaprojektowaniem systemu, podkreślając rolę modelu domeny w enkapsulacji logiki biznesowej i ważność ACL w ochronie tego modelu przed zewnętrznymi zmianami systemowymi. Dyskusja rozszerza się o różne wzorce współpracy zespołowej i ich przydatność w architekturze serverlessowej, opowiadając się za ostrożnym i świadomym stosowaniem tych wzorców w celu zabezpieczenia integralności systemu i zapewnienia prostoty implementacji. Link »
⚡️ Gen AI, kultowy fragment z Taken’a i prompt engineering?
Artykuł szczegółowo opisuje innowacyjne podejście do automatyzacji podsumowywania rozmów obsługi klienta przy użyciu usług AWS. Proces wykorzystuje AWS Bedrock dla generatywnej AI, AWS Transcribe do konwersji mowy na tekst i AWS Lambda do integracji tych usług. Przetwarzając konkretny klip wideo jako przypadek testowy, metoda obejmuje ekstrakcję audio, transkrypcję mowy, a następnie podsumowanie rozmowy w celu podkreślenia uczuć i problemów, z wynikami zapisanymi jako pliki JSON i TXT. Przykład demonstruje potencjał usług AI i ML platformy AWS w usprawnianiu operacji obsługi klienta, nakreślając strukturę kodu i wspominając o dodatkowych rozważaniach dla środowiska produkcyjnego. Link »
⚡️ Building a Serverless AI Assistant with AWS Bedrock and Lambda
Artykuł wyjaśnia proces budowania chatbota AI generatywnego z AWS Bedrock, skupiając się na kluczowej roli AWS Lambda function URL przy wykorzystaniu AWS SAM do deployowania projektu. Autor podkreśla innowacyjne wykorzystanie funkcjonalności strumieniowania odpowiedzi AWS Lambda do poprawy interakcji z klientami aplikacji. Tutorial wykorzystuje model Claude od Anthropic. Co ważne, artykuł podkreśla znaczenie odpowiedniej konfiguracji IAM dla dostępu do modelu i wspomina potencjalne koszty wynikające z wykonania funkcji Lambda oraz wybranego modelu generatywnego. Dla chcących samodzielnie przetestować przedstawioną architekturę chatbota, repozytoria kodu zostały udostępnione. Link »
⚡️ Natural Language to SQL with LangChain & Amazon Bedrock and DynamoDB memory
Poradnik wyjaśnia, jak stworzyć system Q&A, wykorzystując modele Antrophic z rodziny Claude 3 na Amazon Bedrock do generowania zapytań SQL i interpretowania ich wyników. Artykuł kładzie nacisk na użycie Message API z powodu zaprzestania obsługi Text Completions. Znaczący nacisk położony jest na zmianę z używania surowych ciągów danych wejściowych na ustrukturyzowaną listę wiadomości wejściowych, każda z określoną rolą i treścią, aby ułatwić generowanie konwersacji. Link »
⚡️ Afraid of outgrowing AWS Rekognition? Try YOLO in Lambda.
AWS Rekognition, choć wygodna dla start-upów i szybkich projektów, napotyka ograniczenia w skalowalności i elastyczności w miarę wzrostu wymagań użytkownika. Artykuł sugeruje przejście na model wykorzystujący YOLO na AWS Lambda, co zapewnia bardziej dostosowaną i ekonomiczną alternatywę dla zadań związanych z computer vision. Zdolność YOLO do wykrywania obiektów w połączeniu z efektywnym wdrożeniem AWS Lambda w architekturze serverless oferuje skalowalne rozwiązanie przy znacznym obniżeniu kosztów w porównaniu z AWS Rekognition. To podejście, w połączeniu z ONNX Runtime do przenoszenia modeli między platformami, umożliwia programistom budowanie elastycznych i opłacalnych systemów widzenia komputerowego dopasowanych do ich rozwijających się potrzeb. Link »
⚡️ A New Way to Manage Permissions Part XV: AVP with Cognito groups
Ten wpis rozszerza temat integracji Amazon Verified Permissions (AVP) z grupami Amazon Cognito w celu zbudowania systemu autoryzacji, szczególnie dla systemu transakcji bankowych. Szczegółowo opisuje konfigurację AVP do wykorzystania Cognito jako dostawcy tożsamości, w tym ustawienie principalEntityType oraz mapowanie grup z Cognito. Poprzez przewodnik krok po kroku, wpis pokazuje, jak zautomatyzować tworzenie zbioru użytkowników, grup i identyfikatorów klientów za pomocą CloudFormation, a następnie skonfigurować policy store w AVP. Podkreślona jest konieczność korzystania z AVP-CLI do określonych zadań z uwagi na ograniczenia konsoli AWS. Link »
⚡️ Let’s talk about AWS VPC endpoints
Endpointy VPC są kluczowe dla zwiększenia bezpieczeństwa i wydajności infrastruktury chmury AWS, zapewniając prywatne połączenie do usług AWS, omijając narażenie na publiczny internet. Istnieją dwa rodzaje:
- Endpointy Gateway umożliwiające bezpośredni, specyficzny dla regionu dostęp do S3 i DynamoDB bez dodatkowych opłat
- oraz Endpointy Interfejsu, które korzystają z AWS PrivateLink do dostępu do szerszego zakresu usług, ale wiążą się z dodatkowymi kosztami.
Endpointy Interfejsu są kluczowe dla bezpiecznego połączenia z różnymi usługami AWS, oferując znaczne korzyści, takie jak podniesione bezpieczeństwo, wsparcie dla wielu usług, poprawiona wydajność oraz zgodność ze standardami regulacyjnymi, co sprawia, że są wszechstronnym rozwiązaniem dla złożonych architektur chmurowych. Link »
⚡️ Cost-Benefit Analysis for the Centralised VPC Endpoint Architecture
Przejście do scentralizowanej architektury endpointów VPC za pośrednictwem AWS Transit Gateway może przynieść znaczne oszczędności na rachunkach AWS. Ten sposób, idealny dla organizacji wykorzystujących wiele VPC z niewielkimi potrzebami transferu danych, różni się od tradycyjnej metody wdrożenia endpointów VPC w każdym VPC, co wiąże się z wyższymi kosztami z powodu dużej liczby Elastic Network Interfaces. Analiza wskazuje na znaczne oszczędności miesięczne poprzez centralizację, a efektywność kosztowa wzrasta wraz ze skalą wdrożenia VPC. Niemniej jednak, dla konfiguracji z mniejszą liczbą endpointów VPC i dużymi woluminami przetwarzanych danych, tradycyjny model może być nadal bardziej opłacalny, co podkreśla konieczność dopasowania architektury do konkretnych potrzeb organizacji i wzorców użytkowania. Link »
⚡️ Optimizing AWS Backup costs
AWS Backup ma kluczowe znaczenie dla oferowania organizacjom opłacalnej, w pełni zarządzanej strategii ochrony danych przed rosnącym zagrożeniem ransomware poprzez uproszczenie ochrony danych na dużą skalę dla zasobów hybrydowych. Nie tylko zapewnia znaczne oszczędności kosztów, eliminując potrzebę ręcznego skalowania infrastruktury i unikając rocznych opłat licencyjnych, ale także umożliwia organizacjom dostosowanie wysiłków w zakresie ochrony danych do celów związanych zarówno z bezpieczeństwem, jak i finansami. Szczegółowe narzędzia do śledzenia i zarządzania w ramach AWS Backup ułatwiają optymalizację kosztów tworzenia kopii zapasowych poprzez inteligentne strategie, takie jak dostosowywanie częstotliwości tworzenia kopii zapasowych, ustalanie odpowiednich zasad przechowywania i zrozumienie konsekwencji kosztowych różnych modeli tworzenia kopii zapasowych. Dzięki AWS Backup firmy mogą osiągnąć delikatną równowagę między skutecznymi środkami ochrony danych a zoptymalizowanymi wydatkami. Link »
Ta strona została opublikowana tydzień po wysłaniu mailingu, dlatego jeśli chcesz być zawsze na bieżąco, to zasubskrybuj mój newsletter.
