Künstliche Intelligenz verändert die Artwork und Weise, wie Unternehmen speichern und auf ihre Daten zugreifen. Dies liegt daran, dass herkömmliche Datenspeichersysteme so konzipiert wurden, dass einfache Befehle von einer Handvoll Benutzern gleichzeitig verarbeitet werden, während heute KI -Systeme mit Millionen von Wirkstoffen kontinuierlich zugreifen und große Datenmengen parallel verarbeiten müssen. Herkömmliche Datenspeichersysteme haben jetzt Komplexitätsschichten, die KI -Systeme verlangsamen, da Daten mehrere Ebenen durchlaufen müssen, bevor sie die grafischen Verarbeitungseinheiten (GPUs) erreichen, die die Gehirnzellen der AI sind.

Cloudian, Mitbegründer von Michael TSO ’93, SM ’93 und Hiroshi Ohta, hilft der Lagerung mit der KI-Revolution. Das Unternehmen hat ein skalierbares Speichersystem für Unternehmen entwickelt, das den Daten hilft, zwischen Speicher- und KI -Modellen nahtlos zu fließen. Das System reduziert die Komplexität, indem es paralleles Pc auf die Datenspeicherung anwendet, KI-Funktionen und -daten auf eine einzige parallele Verarbeitungsplattform konsolidiert, die skalierbare Datensätze mit direkten, hochgeschwindigen Übertragungen zwischen Speicher und GPUs und CPUs gespeichert, abgerufen und verarbeitet.

Die integrierte Speicherplattform von Cloudian vereinfacht den Prozess des Aufbaus von KI-Instruments im Bereich von kommerziellen Maßstäben und bietet Unternehmen eine Speicherfundament, die mit dem Aufstieg der KI Schritt halten kann.

„Eines der Dinge, die die Menschen an KI vermissen, ist, dass es nur um die Daten geht“, sagt TSO. „Mit 10 Prozent mehr Daten oder sogar zehnmal mehr Daten können Sie keine Verbesserung der KI -Leistung um 10 Prozent erzielen. Sie benötigen 1.000 -mal mehr Daten. In der Lage zu sein, diese Daten auf eine Weise zu speichern, die einfach zu verwalten ist, und so, dass Sie die Berechnungen einbetten können, damit Sie den Betrieb ausführen können, während die Daten eingehen, ohne die Daten zu verschieben – dorthin ist diese Branche.“

Vom MIT zur Industrie

Als Scholar am MIT in den neunziger Jahren wurde TSO von Professor William Dally in Parallel Computing eingeführt – eine Artwork Berechnung, bei der viele Berechnungen gleichzeitig auftreten. TSO arbeitete auch am parallelen Computing mit Affiliate Professor Greg Papadopoulos.

„Es conflict eine unglaubliche Zeit, denn die meisten Schulen hatten ein Tremendous-Computing-Projekt-MIT hatte vier“, erinnert sich TSO.

Als Doktorand arbeitete TSO mit dem MIT -Seniorforschungswissenschaftler David Clark zusammen, einem Pionier von Computing, der zur frühen Architektur des Internets beitrug, insbesondere zum Übertragungskontrollprotokoll (TCP), das Daten zwischen den Systemen liefert.

„Als Doktorand am MIT arbeitete ich an getrennten und intermittierenden Netzwerkoperationen für große verteilte Systeme“, sagt TSO. „Es ist lustig – 30 Jahre später, das mache ich heute noch.“

Nach seinem Abschluss arbeitete TSO in Intel’s Structure Lab, wo er Datensynchronisationsalgorithmen von Blackberry erfand. Er erstellte auch Spezifikationen für Nokia, die die Obtain -Branche der Klingelton entzündeten. Anschließend kam er zu Inktomi, einem Startup, das von Eric Brewer SM ’92, PhD ’94, mitbegründet wurde, dass Pionier für Such- und Webinhalteverteilungstechnologien leistete.

Im Jahr 2001 startete TSO mit Joseph Norton ’93, SM ’93 und anderen Gemini Cellular Applied sciences. Das Unternehmen baute die weltweit größten mobilen Messaging -Systeme, um das large Datenwachstum von Kamerafelefonen zu bewältigen. In den späten 2000er Jahren wurde Cloud Computing für Unternehmen zu einer leistungsstarken Möglichkeit, virtuelle Server zu mieten, als sie ihre Geschäftstätigkeit steigern. TSO bemerkte, dass die gesammelte Datenmenge weitaus schneller wuchs als die Geschwindigkeit der Networking. Daher beschloss er, das Unternehmen zu drehen.

„Daten werden an vielen verschiedenen Orten erstellt, und diese Daten haben ihre eigene Schwere: Sie werden Sie Geld und Zeit kosten, um sie zu verschieben“, erklärt TSO. „Das bedeutet, dass der Endstatus eine verteilte Cloud ist, die nach Edge -Geräten und -Invers geht. Sie müssen die Cloud auf die Daten bringen, nicht die Daten in die Cloud.“

TSO hat Cloudian 2012 offiziell aus Gemini Cellular Applied sciences herausgebracht, wobei der Schwerpunkt auf dem Kunden mit skalierbarem, verteilten, cloud-kompatiblen Datenspeicher hilft.

„Was wir nicht gesehen haben, als wir das Unternehmen zum ersten Mal begannen, conflict, dass AI der ultimative Anwendungsfall für Daten am Rande sein würde“, sagt TSO.

Obwohl TSOs Forschung am MIT vor mehr als zwei Jahrzehnten begann, sieht er starke Verbindungen zwischen dem, woran er heute gearbeitet hat, und der Branche heute.

„Es ist, als ob mein ganzes Leben zurückspielt, weil David Clark und ich mit getrennten und zeitweise verbundenen Netzwerken zu tun hatten, die heute Teil jedes Edge -Anwendungsfalls sind, und Professor Dally arbeitete an sehr schnellem, skalierbaren Verbindungen“, sagt TSO und bemerkt, dass Dally jetzt der Senior Vice President und Chefwissenschaftler der führenden AI -Firma NVIDIA ist. „Wenn man sich die moderne Nvidia -Chip -Architektur und die Artwork und Weise ansieht, wie sie die Kommunikation übernehmen, hat es Dallys Arbeit über sich. Mit Professor Papadopoulos habe ich an der Beschleunigung von Anwendungssoftware mit parallelem Computerhardware gearbeitet, ohne die Anwendungen neu zu bewerben.

Heute verwendet die Cloudian -Plattform eine Objektspeicherarchitektur, in der alle Arten von Daten – Dokumenten, Movies, Sensordaten – als eindeutiges Objekt mit Metadaten gespeichert werden. Die Objektspeicherung kann large Datensätze in einer Flat -Datei -Struktur verwalten, wodurch sie splendid für unstrukturierte Daten und KI -Systeme ist, konnte jedoch traditionell keine Daten direkt an AI -Modelle senden, ohne dass die Daten zuerst in das Speichersystem eines Computer systems kopiert wurden, wodurch Latenz- und Energie -Engpässe für Unternehmen erstellt werden.

Im Juli kündigte Cloudian an, sein Objektspeichersystem um eine Vektor -Datenbank zu erweitern, die Daten in einem Formular speichert, das von KI -Modellen sofort verwendet werden kann. Wenn die Daten aufgenommen werden, berechnet Cloudian in Echtzeit die Vektorform dieser Daten, um AI-Instruments wie Empfehlungsmotoren, Suche und AI-Assistenten zu betreiben. Cloudian kündigte auch eine Partnerschaft mit NVIDIA an, mit der sein Speichersystem direkt mit dem GPUs des KI -Unternehmens zusammenarbeiten kann. Laut Cloudian ermöglicht das neue System noch schnellere KI -Vorgänge und senkt die Rechenkosten.

„Nvidia hat uns vor ungefähr anderthalb Jahren kontaktiert, weil GPUs nur mit Daten nützlich sind, die sie beschäftigen“, sagt TSO. „Jetzt, da die Leute erkennen, dass es einfacher ist, die KI in die Daten zu bewegen, als um riesige Datensätze zu verschieben. Unsere Speichersysteme bitten viele KI-Funktionen ein, damit wir Daten für die KI in der Nähe der Daten vor und nach dem Prozess vorbereiten können, wo wir die Daten sammeln und speichern.“

AI-First-Speicher

Cloudian hilft etwa 1.000 Unternehmen auf der ganzen Welt, mehr Wert aus ihren Daten zu erhalten, darunter große Hersteller, Finanzdienstleister, Gesundheitsorganisationen und Regierungsbehörden.

Die Cloudian -Speicherplattform hilft einem großen Autohersteller beispielsweise mit AI, um festzustellen, wann jeder seiner Fertigungsroboter gewartet werden muss. Cloudian arbeitet auch mit der Nationwide Library of Drugs zusammen, um Forschungsartikel und -Patente zu speichern, sowie mit der nationalen Krebsdatenbank, um DNA -Sequenzen von Tumoren zu speichern – reiche Datensätze, die AI -Modelle verarbeiten könnten, um die Forschung zu entwickeln oder neue Einblicke zu gewinnen.

„GPUs conflict ein unglaublicher Enabler“, sagt TSO. „Moore’s Legislation verdoppelt die Menge an Berechnung alle zwei Jahre, aber die GPUs können die Operationen auf Chips parallelisieren, sodass Sie GPUs miteinander vernetzen und Moores Gesetz zerstören können. Diese Skala drückt die KI auf neue Ebenen der Intelligenz, aber der einzige Weg, um GPUs hart zu machen, ist, sie mit der gleichen Geschwindigkeit zu füttern.

Wenn Sie Docker verwenden, können Sie Volumes verwenden, um Daten auch dann beizubehalten, wenn Sie die Container stoppen oder neu starten. Wir erstellen und verwenden Docker-Volumes für PostgreSQL.

Voraussetzungen

So können Sie diesem Tutorial folgen:

• Sie sollten Docker installiert auf Ihrem Rechner
• Sie sollten mit Docker-Befehlen und PostgreSQL vertraut sein

Schritt 1: Ziehen Sie das PostgreSQL-Picture

Zuerst ziehen wir das PostgreSQL-Picture von DockerHub:

Schritt 2: Erstellen Sie ein Docker-Quantity

Als Nächstes erstellen wir ein Docker-Quantity zum Speichern der Daten. Dieses Quantity speichert die Daten auch dann, wenn der Container entfernt wird.

$ docker quantity create pg_data

Schritt 3: Ausführen des PostgreSQL-Containers

Nachdem wir nun das Picture heruntergeladen und ein Quantity erstellt haben, können wir den PostgreSQL-Container ausführen und das erstellte Quantity daran anhängen.

$ docker run -d 
	--name my_postgres 
	-e POSTGRES_PASSWORD=mysecretpassword 
	-v pg_data:/var/lib/postgresql/information 
	-p 5432:5432 
	postgres

Dieser Befehl wird ausgeführt my_postgres im getrennten Modus. Mit –v pg_data:/var/lib/postgresql/information montiert die pg_data Volumen auf /var/lib/postgresql/daten im Container. Und mit -p 5432:5432 Karten Port 5432 von my_postgres zu Port 5432 auf dem Hostcomputer.

Schritt 4: Überprüfen der Quantity-Nutzung

Nachdem wir das Quantity erstellt haben, können wir überprüfen, ob es verwendet wird. Sie können das Quantity überprüfen und den Inhalt prüfen.

$ docker quantity examine pgdata

Durch Ausführen dieses Befehls werden Particulars zum Quantity angezeigt, einschließlich seines Einhängepunkts auf Ihrem Hostsystem. Sie können zu diesem Verzeichnis navigieren und die PostgreSQL-Datendateien anzeigen.

(
	{
    	"CreatedAt": "2024-08-07T15:53:23+05:30",
    	"Driver": "native",
    	"Labels": null,
    	"Mountpoint": "/var/lib/docker/volumes/pg_data/_data",
    	"Title": "pg_data",
    	"Choices": null,
    	"Scope": "native"
	}
)

Schritt 5: Erstellen einer Datenbank und Tabelle

Stellen Sie eine Verbindung zur Postgres-Instanz her und erstellen Sie eine Datenbank und eine Tabelle.

Starten Sie eine psql-Sitzung:

$ docker exec -it my_postgres psql -U postgres

Erstellen Sie eine neue Datenbank:

Stellen Sie eine Verbindung zur neuen Datenbank her:

Erstellen Sie eine Tabelle und fügen Sie einige Daten ein:

CREATE TABLE customers (
    id SERIAL PRIMARY KEY,
    title VARCHAR(100),
    e mail VARCHAR(100)
);

INSERT INTO customers (title, e mail) VALUES ('Abby', 'abby@instance.com'), ('Bob', 'bob@instance.com');

Führen Sie eine Beispielabfrage aus:

Ausgabe:

 id | title |  	e mail  	 
----+------+------------------
  1 | Abby | abby@instance.com
  2 | Bob  | bob@instance.com

Schritt 6: Stoppen und Entfernen des Containers

Stoppen Sie den laufenden Container und entfernen Sie ihn. Wir tun dies, damit wir testen können, ob die Daten auch dann erhalten bleiben, wenn der Container gestoppt wird.

$ docker cease my_postgres
$ docker rm my_postgres

Schritt 7: Führen Sie den Postgres-Container mit demselben Quantity erneut aus

Starten Sie einen neuen PostgreSQL-Container mit demselben Volumen, um die Datenpersistenz sicherzustellen.

$ docker run -d 
	--name my_postgres 
	-e POSTGRES_PASSWORD=mysecretpassword 
	-v pgdata:/var/lib/postgresql/information 
	-p 5432:5432 
	postgres

Stellen Sie eine Verbindung mit der Postgres-Instanz her und überprüfen Sie, ob die Daten erhalten bleiben.

Öffnen Sie eine psql-Sitzung:

$ docker exec -it my_postgres psql -U postgres

Verbinden Sie sich mit dem mydb Datenbank:

Überprüfen Sie die Daten im customers Tisch:

Sie sollten immer noch die Ausgabe sehen:

 id | title |  	e mail  	 
----+------+------------------
  1 | Abby | abby@instance.com
  2 | Bob  | bob@instance.com

Ich hoffe, dieses Tutorial hilft Ihnen zu verstehen, wie Sie Volumes zum persistenten Speichern von Daten bei der Arbeit mit Docker verwenden.

Weitere Ressourcen

Weitere Informationen finden Sie in den folgenden Ressourcen:

Viel Spaß beim Entdecken!

Bala Priya C ist Entwicklerin und technische Redakteurin aus Indien. Sie arbeitet gerne an der Schnittstelle zwischen Mathematik, Programmierung, Datenwissenschaft und Inhaltserstellung. Ihre Interessens- und Fachgebiete umfassen DevOps, Datenwissenschaft und natürliche Sprachverarbeitung. Sie liest, schreibt, programmiert und trinkt gerne Kaffee! Derzeit arbeitet sie daran, ihr Wissen zu lernen und mit der Entwickler-Neighborhood zu teilen, indem sie Tutorials, Anleitungen, Meinungsbeiträge und mehr verfasst. Bala erstellt auch ansprechende Ressourcenübersichten und Programmier-Tutorials.