How-To: AWS Storage Kosten erkennen und optimieren

Einer der Hauptgründe für Unternehmen, in die AWS Cloud zu migrieren, ist sicher der Zugewinn an Flexibilität im Leistungsbezug, der je nach Bedarf skaliert und nach Bedarf abgerechnet werden kann. Allerdings kann die Provisionierung von on-demand Ressourcen manchmal auch zu sehr hohen Kosten führen, wenn diese nicht korrekt überwacht werden. Wie können AWS Storage Kosten also optimiert werden?

In diesem Artikel diskutieren wir die Kosten der AWS Storage Optionen und zeigen Ihnen, wie Sie die Kosten effektiv managen und optimieren können. Wichtige Tools dafür sind zum Beispiel ONTAP Cloud und OnCommand Cloud Manager von NetApp.

Amazon EBS Kosten

Bevor wir uns mit den Kosten beschäftigen, lassen Sie uns einen genaueren Blick auf den Service selbst werfen. Amazon EBS ist ein Block Storage Service mit dem Daten auf bestimmten Volumes abgelegt werden können. Amazon EBS wird besonders für Daten genutzt, die häufige Updates benötigen, wie zum Beispiel OS, Datenbank Applikationen, Web Server usw. EBS kann dafür mit Amazon EC2 Instanzen verbunden werden.

Insgesamt gibt es 4 Haupttypen der Amazon EBS Block Storage Volumes:

SSD

• General Purpose SSD (gp2)
• Provisioned IOPS SSD (io1)

HDD

• Thoroughput Optimized HDD (st1)
• Cold HDD (sc1)

Zusätzlich gibt es noch eine Variante, die auf Magnetbändern basiert, worauf wir hier aber nicht näher eingehen wollen.

Die Unterschiede zwischen SSD und HDD

Lassen Sie uns kurz SSD und HDD vergleichen: SSD Volumes passen zu IOPS-intensiven Workloads, wohingegen HDD Volumes ideal für Workloads sind, bei denen große Datenmengen transferiert werden sollen. Im Regelfall sind SSD-basierte Volumes das Mittel der Wahl, wenn low-latency und Kosteneffizienz im Storage gefragt ist. HDD-basierte Volumes sind ebenfalls sehr kosteneffizient, eignen sich aber eher für eine Priorität auf hohen Datendurchsatz. AWS hat hierzu eine sehr nützliche Übersicht erstellt.

Die Kosten für AWS Storage hängen ganz entscheidend von 3 Faktoren ab:

1. IOPS Requests
2. Storage Space
3. Snapshots

Deshalb variieren auch die Kosten für jeden Storagetyp wie folgt:

• GP2: nur pro GB (empfohlen)
• IO1: nur pro GB zzgl. IOPS Kosten
• SC1: nur pro GB
• ST1: nur pro GB

Mehr Informationen hierzu und auch zu zusätzlichen Snapshot-Kosten finden Sie direkt bei AWS.

AWS Kostenmonitoring, Storage Verbrauch und Kosten

AWS Storage Kosten können recht einfach mit einigen Tools von AWS selbst im Blick behalten werden. Zu nennen sind vor allem AWS Cost Explorer, AWS Trusted Advisor und Amazon CloudWatch. Zusätzlich ist es sinnvoll, ein Kostenmonitoring -tracking für Amazon EBS und Amazon S3  aufzusetzen, das Ihnen das Festlegen und Auslösen von Alerts ermöglicht, sobald bestimmte Kostenschwellen überschritten wurden. Hier sind einige Beispiele, wie das erreicht werden kann:

• Storage Monitoring mit Amazon CloudWatch: mit Amazon CloudWatch können Sie Billing Alarms festgelegt werden, die Sie darüber informieren, wenn ein zu bestimmendes Kosten- oder Storage Volumen erreicht bzw. überschritten wurde. Benachrichtigt werden Sie in einem solchen Fall via Email durch den Amazon Simple Notification Service (SNS).
• Verbrauchskosten mit Dashboard Graphen überwachen: Sie sollten regelmäßig Ihre Billing and Cost Management Console in Ihrem Dashboard überprüfen. Das Dashboard zeigt Ihnen diverse Verläufe an, die Ihnen ein besseres Verständnis über Ihre Kostenstruktur vermitteln.
• Analyse der Kosten mit dem Amazon Cost Explorer: mit dem Amazon Cost Explorer analysieren Sie Ihre Kosten sowie die Art der Ausgaben. Insbesondere können Sie zum Beispiel der Storage Kosten des vergangenen Jahres mit einer Vielzahl verschiedener Graphen vergleichen und so bestimmte Trends in Ihrer Kostenstruktur erkennen. Richtig angewendet erhöhen Sie damit spürbar Ihre Kosteneffizienz.
• Managed Service: falls Sie die Kostenkontrolle nicht selbst durchführen möchten, so können Sie dies als Managed Service unserem Wolkenmacher Team anvertrauen. Unsere AWS Spezialisten stellen Ihnen je nach Vereinbarung die gewünschten Reportings zur Verfügung und können auch Empfehlungen für Optimierungspotenzial aussprechen. Nehmen Sie dazu einfach direkt über www.wolkenmacher.rocks Kontakt auf.

AWS Kostenoptimierung

Es ist ungeheuer wichtig, die richtigen Storage Optionen auszuwählen. Lassen Sie uns anhand eines Beispiels erkennen, wie die Kosten durch eine falsche Wahl der Storage Variante außer Kontrolle geraten können: Die Firma XYZ möchte eine Database auf einer Amazon EC2 Instanz hosten und bucht dafür 500GB IO1 Volume mit 1000 PIOPS. Die Entscheidung für IO1 ist hinsichtlicher der Performance durchaus stimmig, jedoch könnte durch eine intelligente Lösung pro Volume ca. 90 Dollar eingespart werden – indem lediglich 350GB GP2 Volume gewählt wird. Einbußen bei der IO Performance gibt es dabei nicht.

Die folgende Checkliste hilft Ihnen bei der effektiven Kostenkontrolle:

OS Level Storage Optimierung:

• Konfigurieren Sie RAID o für höhere IOPS. RAID Konfigurationen sind Software-basierte Lösungen mit denen Sie die IOPS auf Amazon EBS Instanzen kombiniert optimieren. Dadurch sparen Sie nachvollziehbar Geld, denn immer neue zusätzliche Provisionierung wird vermieden.
• Nutzen Sie den Linus Logical Volume Manager, um Volumes schnell hinzuzufügen oder abzubauen und den Storage Space so möglichst dynamisch zu gestalten.

AWS / Application Level:

• Das Auditing Ihrer Storage Files in Amazon EBS Volumes, Amazon S3 Bucket und Amazon EFS hilft Ihnen zu erkennen, wie Ihr Storage genau genutzt wird und welche Handlungen für eine Optimierung nötig sind – wie zum Beispiel Archivierung oder Löschen.
• Zu den AWS Best Practices gehört es, statischen Content in Amazon S3 abzulegen, da dieser sehr günstigen Speicher und low-latency File Transfer bereitstellt.
• Daten, auf welche kaum zugegriffen wird, können in den Amazon Glacier verschoben werden, was die Storage Kosten signifikant senkt.
• Haben Sie Daten im Blick, die nirgends zugewiesen sind und auf die keine EC2 Instanz zugreift. Falls Sie diese Volumes dennoch sichern möchten genügt womöglich ein Snapshot.
• Die Amazon S3 Lifecycle Policy hilft bei der Rotation von Files aus dem S3 Bucket, um nicht benötigte Files wie Logs, Dumps etc. zu entfernen.
• Löschen Sie alte Amazon EBS Snapshots und reduzieren Sie so die Snapshot Storage Kosten.
• Löschen Sie Amazon EBS Volumes, die nicht benötigt werden aber weiter Kosten verursachen.
• Nutzen Sie AWS Glacier für nicht-kritische Daten, die dennoch reproduzierbar sein müssen. Glacier hat eine geringere Redundanz im Vergleich zu S3, bietet aber 99,99% Haltbarkeit und ist deutlich günstiger als normaler S3 Storage.
• Das Amazon EBS Sizing sollte ebenso klug gewählt sein wie die Art des Storage, denn beides hat direkt Auswirkungen auf die Kosten.
• Nutzen Sie AWS Trusted Advisor für ein kontinuierliches Monitoring Ihres Storage. Das Tool schlägt Ihnen auch direkt mögliche Optimierungen vor (nur mit Developer Support Plan). Ein Hinweis: mit dem NetApp OnCommand Cloud Manager Storage Automation Report können Sie das ebenfalls tun.
• AWS Cost Explorer zeigt Ihnen übersichtlich Ihre Cloud Kosten je Service an.
• Durch Tags können Sie bestimmte Services und Instanzen zum Beispiel User Groups zuweisen und so wichtige Einblicke in die Kostenstruktur gewinnen. Hinweis: VINTIN hat ein eigenes Tool entwickelt, mit dem Sie Ihre AWS Kosten direkt definierten Kostenstellen zuweisen können. Das unterstützt wirkungsvoll eine interne Weiterverrechnung. Bitte kontaktieren Sie auch dazu unser Wolkenmacher Team.
• Mit AWS Budgets können Sie für definierte Ressourcen Budgets festlegen und erhalten eine Alert, falls diese überschritten werden.

Zusätzlich zu den oben genannten Punkten empfehlen wir NetApp ONTAP Cloud, um Ihr AWS Storage zu optimieren und die Storage Kosten dramatisch zu senken. ONTAP Cloud nutzt für Amazon EBS verschiedene Storage Efficiency Features wie Data Compression, Data Deduplication, Thin Provisioning und Data Tiering, die im richtigen Zusammenspiel den überhaupt benötigten Storage radikal schrumpfen lassen. Um sich eine besser Vorstellung von den möglichen Ersparnissen zu machen, hat NetApp einen entsprechenden Kalkulator entwickelt.

Falls Sie AWS und ONTAP Cloud kostenlos testen möchten, können Sie sich hier bei VINTIN registrieren!

Dieser Artikel basiert in Teilen auf einem Beitrag unseres Technologiepartners NetApp: https://cloud.netapp.com/blog/find-and-optimize-your-aws-storage-costs