Object Storage für alle

Laut Philippe Nicolas gibt es heute über 45 Lösungen für Object Storage. Wie es dazu kam, zeigt der Speicheranalyst in einer Grafik. Die belgische Firma Filepool und die Unternehmen Bycast, Evertrust und Permabit waren Pioniere. Neue Innovationen gingen meist von Start-ups aus, und die Branchenleader kauften viele davon auf.

Doch warum überhaupt Object Storage? Bisherige Speichermodelle waren auf strukturierte Daten optimiert. Wer etwa eine Bestellung im Web auslöst, generiert strukturierte Daten wie Name, Alter und Adresse. Sie lassen sich mit einem Dateisystem in einer Datenbank ablegen. Das funktionierte lange gut.

Datenexplosion zwingt zu Innovation

Laut IDC lagen aber bereits 2015 rund 90 Prozent der Daten in unstrukturierter Form vor. Unstrukturierte Daten haben keine formalisierte Struktur. Beispiele sind Word-Dokumente, Audio und Video. Auch der Speicherbedarf von Unternehmen wuchs rasant. Multi-Petabyte-Umgebungen sind heute keine Seltenheit mehr.

Klassische Dateisysteme stossen mit unstrukturierten Daten an ihre Grenzen – und sie skalieren nicht gut. Sie setzen noch auf Ordner und Hierarchien. Ein Konzept, das mit grossen, unstrukturierten Datenmengen nicht richtig funktioniert. Die klassischen Dateisysteme sind auch nicht optimiert für den Datenaustausch im Internet.

Keine Hierarchien, keine Ordner

Die Branche musste reagieren und erfand Object Storage, mit flachem Adressraum statt Hierarchien. Ordner und Verzeichnisse gibt es nicht mehr. Der Zugriff erfolgt über eine Object ID. Das funktioniert nicht nur lokal, sondern auch in der Cloud. Über HTTP-basierte REST-Schnittstellen ist es möglich, Objekte direkt anzusprechen.

Wer will, kann Objekte mit erweiterten Metadaten ergänzen. Etwa um die Information, wann und wohin sich ein Objekt replizieren soll. Oder um die Information, wann sich ein Objekt zu einem anderen Speicherort verschieben soll. Oder um die Information, dass sich ein Objekt am Tag X selbst löschen soll. Die Möglichkeiten sind fast endlos.

Offener Cloud-Speicher

Heute gibt es rund 15 offene Object-Storage-Lösungen. Etwa Ceph oder Openstack Swift. Eine weitere Alternative ist Minio. Das Start-up gibt es seit 2014. Gartner zählte es letztes Jahr zu einem der fünf Cool Vendor im Storage-Bereich. Der Marktforscher lobt nicht nur die Technologie des Unternehmens. Er geht auch davon aus, dass Minio genug Power hat, um sich langfristig auf dem Speichermarkt zu etablieren.

Gründer von Minio ist Anand Babu Periasamy. Seit er 2011 sein Cloud-Start-up Gluster für 136 Millionen US-Dollar an Red Hat verkauft hat, gilt er in der Open-Source-Szene als Legende. Die Redaktion besuchte den Inder im Silicon Valley, im Rahmen der IT Press Tour. "Ich will Cloud-Speicher demokratisieren und als Open-Source-Technologie frei verfügbar machen", sagte Periasamy in Kalifornien.

In DevOps-Umgebungen zuhause

Minio ist ein Stück Software, das bewusst einfach gehalten ist. Es basiert auf der Programmiersprache Go. Die Lösung ist optimiert für Daten, die sich nicht mehr verändern, wenn sie einmal gespeichert sind. Etwa Audio, Fotos, Videos oder Log-Dateien. Die Technologie ist kompatibel mit den API-Versionen 2 und 4 von Amazon S3 und unterstützt Erasure-Coding (Reed-Solomon) und Bitrot-Erkennung.

Die Lösung soll es ermöglichen, eigene Cloud-Speicher-Umgebungen aufzubauen. Ähnlich wie Amazon, Google und Facebook. Minio eignet sich laut Periasamy besonders für DevOps-Umgebungen und Cloud-Anwendungen.

Docker und Raspberry Pi

Minio hat eine Client-Server-Architektur, für Entwickler gibt es ein Software Development Kit. Der Client ermöglicht es, auf Amazon S3 zuzugreifen. Er läuft auf Windows, OS X, GNU/Linux, Solaris, Illumos und FreeBSD.

Der Server steht unter der Apache-Lizenz in der Version 2.0 zur Verfügung. Er hat eine Weboberfläche, die Interessierte auf http://play.minio.io:9000 testen können. Die Software kann in einer virtuellen Maschine oder in einem Docker-Container laufen. Minio funktioniert mit Standard-Hardware und unterstützt auch den Raspberry Pi.