DALL-E 101: Was es ist und wie es funktioniert

DALL-E ist eine der innovativen generativen KI-Plattformen, die die Grenzen zwischen menschlicher und computergenerierter Kreativität verwischt. Hier finden Sie einen Überblick über DALL-E, wie Sie es verwenden und was Sie wissen sollten, damit es für Sie funktioniert.

Inhaltsverzeichnis

• Was ist DALL-E?
• Wer hat DALL-E erschaffen?
• Entwicklung von DALL-E
• So funktioniert DALL-E
• Ist DALL-E kostenlos?
• So verwenden Sie DALL-E
• Anwendungsfälle und Anwendungen
• Vorteile von DALL-E
• Mängel von DALL-E
• Abschluss

Was ist DALL-E?

DALL-E ist eine generative KI-Plattform, die Textaufforderungen in Bilder umwandelt. DALL-E kann natürliche Sprache verarbeiten, sodass Sie für die Verwendung keine besonderen Programmier- oder Bildbearbeitungsfähigkeiten benötigen. Sie können Eingabeaufforderungen eingeben, die das Motiv, den Stil, den Rahmen und andere Eigenschaften Ihres gewünschten Bildes beschreiben, und DALL-E erstellt dann eine visuelle Darstellung, die Ihrer Beschreibung entspricht. Es können auch vorhandene Bilder bearbeitet werden.

Der Name DALL-E wurde von einer Kombination der Namen zweier bekannter Figuren inspiriert: des spanischen surrealistischen Künstlers Salvador Dali und WALL-E, dem Roboter im gleichnamigen Pixar-Film von 2008.

Wer hat DALL-E erschaffen?

OpenAI, das gleiche Unternehmen wie ChatGPT, hat DALL-E entwickelt. OpenAI ist ein 2015 gegründetes KI-Forschungsunternehmen.

Open AI veröffentlichte DALL-E im Januar 2021. DALL-E 2 wurde im September 2022 und DALL-E 3 im Oktober 2023 veröffentlicht.

Wie hat sich DALL-E entwickelt?

OpenAI kündigte 2020 sein erstes Tool zur Bildgenerierung an, und DALL-E hat sich von dort aus weiterentwickelt. Der erste Vorstoß von OpenAI in die Bilderzeugung hieß Image GPT. Image GPT lieferte den ersten Beweis dafür, dass das GPT-Modell Bilder erstellen kann.

Dann kam DALL-E. Die erste Iteration von DALL-E basierte auf einer für die Bildgenerierung angepassten Version von GPT-3 – dem Large Language Model (LLM), das OpenAI im Jahr 2020 veröffentlichte.

DALL-E erstellt glaubwürdige Bilder und erfüllt mehrere Aufgaben, darunter:

• Modifizieren mehrerer Eigenschaften eines Objekts, beispielsweise der Farbe und Textur einer Kugel
• Bildausschnitte wie Nahaufnahmen und Weitwinkel verstehen
• Erstellen Sie Bilder desselben Objekts aus mehreren Blickwinkeln
• Geografische Informationen und historische Epochen verstehen

Was ist DALL-E 2?

Die nächste Version, DALL-E 2, erzeugt Bilder mit einer viermal höheren Auflösung als die von DALL-E erzeugten Bilder. Es verwaltet die Komposition und Objektplatzierung effektiver und lässt Elemente wie Schatten und Beleuchtung realistischer erscheinen. DALL-E 2 führte außerdem zwei neue Funktionen zum Ändern vorhandener Bilder ein: Inpainting und Outpainting.

• Beim Inpainting löscht man einen Teil eines Bildes und füllt den leeren Raum mithilfe von KI mit etwas anderem auf. Sie können beispielsweise ein Gebäude aus dem Hintergrund eines Fotos entfernen und es durch einen Baum ersetzen.
• Beim Outpainting erweitert man die Ränder eines Bildes mit KI. Wenn Sie beispielsweise ein Nahaufnahmebild Ihres Hundes in einem Park haben und es vergrößern möchten, um die Skyline der Stadt in der Ferne zu zeigen, erledigt DALL-E 2 dies mit Outpainting.

Was ist DALL-E 3?

DALL-E 3 ist in mehrfacher Hinsicht eine deutliche Verbesserung gegenüber seinem Vorgänger. Zunächst einmal ist es besser darin, Eingabeaufforderungen zu interpretieren. In früheren Versionen wurden Wörter und Beschreibungen übersprungen. Um das gewünschte Bild zu erhalten, musste man sich mit der schnellen Technik auskennen. DALL-E 3 versteht Nuancen und Zusammenhänge besser und kann komplexeren Anweisungen folgen. Seine Antworten sind genauer und seine Bilder kohärenter. Letztendlich stimmt die Ausgabe besser mit den Wünschen der Menschen überein.

DALL-E 3 beinhaltet auch ausgefeiltere Sicherheitsmaßnahmen. Es verhindert beispielsweise explizite, aggressive oder diskriminierende Bilder. Um zu verhindern, dass Personen Bilder erstellen, die Urheberrechte verletzen und geistiges Eigentum verletzen, generiert DALL-E 3 keine Bilder, die lebenden Persönlichkeiten des öffentlichen Lebens ähneln oder den Stil beliebter Künstler und Marken nachahmen. Mit DALL-E 3 können Entwickler außerdem die Verwendung ihrer Bilder für das Training zukünftiger Modelle ablehnen.

Einbindung in bestehende KI-Tools

DALL-E 3 ist nativ in ChatGPT und Microsoft Image Creator von Designer (ehemals Bing Image Generator) enthalten.

Das bedeutet, dass Sie, wenn Sie ein Premium-ChatGPT-Abonnement haben, im Rahmen Ihrer Konversation mit dem Chatbot Bilder generieren können. Mit dieser Funktion müssen Sie nicht nur einfache Eingabeaufforderungen schreiben. Sie können Fragen stellen oder Anweisungen geben, und ChatGPT kann diese an DALL-E weiterleiten, um ein Bild zu erstellen.

Du könntest zum Beispiel sagen: „Ich bin gerade nach Arizona gezogen und alle reden ständig über etwas, das Haboob genannt wird.“ Wie sieht das aus?“ ChatGPT kann Ihre Frage verarbeiten und eine Eingabeaufforderung für DALL-E generieren. DALL-E wird dann Bilder eines Haboob erstellen, einem Staubsturm, der in trockenen Gebieten wie Arizona auftritt.

ChatGPT wird auch Ihre Eingabeaufforderungen näher erläutern, um DALL-E detailliertere Informationen zu liefern. Wenn Sie eine Aufforderung schreiben, die besagt: „Erstellen Sie ein Bild von zwei Katzen, die auf einem Stuhl sitzen, im Vintage-Fotostil“, könnte ChatGPT Ihre Aufforderung wie folgt verfeinern: „Erstellen Sie ein Schwarzweiß-Vintage-Foto von zwei Katzen, die auf einem sitzen.“ grüner Sofastuhl. Eine Katze ist getigert, die andere ist ganz und gar grau. Die beiden Katzen sitzen Seite an Seite.“

So funktioniert DALL-E

Auf einer grundlegenden Ebene nutzt DALL-E Deep Learning, um die Beziehungen zwischen Bildern und Text zu verstehen, sodass das Modell neue Bilder für eine Textaufforderung ausgeben kann. Die spezifischen generativen KI-Modelle hinter DALL-E entwickeln sich ständig weiter.

DALL-E 1

DALL-E 1 (auch DALL-E genannt) verwendet eine Version von GPT-3, dem LLM von OpenAI, das darauf trainiert wurde, Bilder aus Textbeschreibungen zu generieren. Dieses Modell basiert auf einer Transformatorarchitektur. So wie ChatGPT Text generiert, indem es jedes Wort einzeln vorhersagt, generiert die Originalversion von DALL-E Bilder, indem es jedes Pixel vorhersagt.

DALL-E 1 generiert viele Kandidatenausgaben für eine einzelne Eingabeaufforderung. Ein zweites KI-System namens CLIP (Contrastive Language-Image Pretraining) wird verwendet, um das beste auszuwählen. CLIP wird, genau wie DALL-E 1, auf einem großen Bild- und Beschriftungsdatensatz trainiert. Das Ziel von CLIP besteht jedoch darin, zu verstehen, wie eng ein bestimmtes Bild und eine Textunterschrift miteinander verbunden sind.

DALL-E 2

DALL-E 2 generiert Bilder mithilfe eines Diffusionsmodells anstelle eines LLM, um die Bildqualität und -genauigkeit zu verbessern.

Dieser Ansatz trainiert ein Modell, verrauschte Bilder aufzunehmen, bei denen Pixel auf zufällige Weise verzerrt wurden, und das Rauschen schrittweise zu entfernen, um ein klares Bild zu erhalten. Dann können Sie einem Modell eine Reihe von Pixeln plus Rauschen zuweisen – die einige zugrunde liegende Bildmerkmale darstellen, wie zum Beispiel „eine Katze mit Zylinder“ – und das Modell erstellt ein neues Bild von Grund auf.

DALL-E 2 verwendet CLIP, um den Text in der Eingabeaufforderung eines Benutzers zu verstehen und ihn Bildfunktionen zuzuordnen. Diese Informationen werden an das Diffusionsmodell weitergeleitet, sodass dieses eine Ausgabe generieren kann, die der Eingabeaufforderung des Benutzers entspricht.

DALL-E 3

Über die architektonischen Unterschiede zwischen DALL-E 2 und DALL-E 3 ist wenig bekannt. Dies liegt daran, dass OpenAI diese Informationen nicht öffentlich geteilt hat. Allerdings verwendet DALL-E 3 mit ziemlicher Sicherheit ein Diffusionsmodell, da dieses weithin als modernste Technik zur Bilderzeugung gilt.

Es gibt Spekulationen, dass DALL-E 3 fortschrittlichere Diffusionstechniken verwendet und möglicherweise ein LLM (anstelle eines kleineren Modells wie CLIP) verwendet, um Beziehungen zwischen Bildern und Text zu verstehen.

Ist die Nutzung von DALL-E kostenlos?

DALL-E ist mit einem kostenpflichtigen ChatGPT-Abonnement erhältlich, das in mehreren Stufen für Privatpersonen und Unternehmen angeboten wird.

Sie können mit Microsoft Image Creator von Designer (ehemals Bing Image Generator) kostenlos auf DALL-E zugreifen. Image Creator ist auch über Copilot verfügbar, den Chatbot von Microsoft.

Tipps zur Verwendung von DALL-E

Hier sind einige Tipps, um mit DALL-E die besten Ergebnisse zu erzielen:

Seien Sie beschreibend

Je präziser Ihre Eingabeaufforderung ist, desto besser ist die Ausgabe von DALL-E.

• Geben Sie eine klare Beschreibung des Hauptthemas an; zum Beispiel „eine blaue Mikrofasercouch“ statt nur „eine Couch“.
• Erklären Sie die Umgebung, z. B. „an einem tropischen Strand“, „in einem Haus aus den 1970er-Jahren“ oder „in der Turnhalle einer Grundschule“.
• Beschreiben Sie jede Handlung detailliert, z. B. „Die Sonne geht unter“, „Ein Hund macht ein Nickerchen“ oder „Ein Drachen fliegt“.
• Beschreiben Sie das Bildformat, z. B. „fotorealistisch“, „Gemälde“ oder „Bleistiftskizze“.
• Sagen Sie DALL-E, welchen Stil Sie möchten; zum Beispiel „Schwarz-Weiß“, „Abstrakt“ oder „Art Deco“.
• Geben Sie Kamerawinkel und Brennweite an, z. B. „Luftaufnahme“, „Nahaufnahme“ oder „Weitwinkel“.
• Geben Sie Beleuchtungsdetails an, z. B. „tiefe Schatten“, „Blitz“ oder „Hintergrundbeleuchtung“.
• Beschreiben Sie die Stimmung; zum Beispiel „romantisch“, „düster“ oder „verträumt“.

Seien Sie experimentell

Es gibt kein Lehrbuch oder eine perfekte Möglichkeit, DALL-E zu verwenden. Der beste Weg, die gewünschten Ergebnisse zu erzielen, ist eine experimentelle Herangehensweise an die Anwendung.

• Nehmen Sie geringfügige Änderungen an Ihren Eingabeaufforderungen vor, um zu sehen, ob Sie bessere Ergebnisse erzielen. Versuchen Sie, Variationen derselben Wörter zu verwenden, um zu sehen, ob sich dadurch Ihre Ergebnisse ändern.
• Finden Sie die richtige Balance der Details. Wenn Ihre Eingabeaufforderungen zu detailliert sind, weiß DALL-E möglicherweise nicht, welche am wichtigsten sind. Spielen Sie mit der Komplexität Ihrer Eingabeaufforderungen, um Ihren Sweet Spot zu finden.
• Machen Sie sich auf Fehler und Misserfolge gefasst. DALL-E kann aus der Spur geraten. Nehmen Sie jede fehlgeschlagene Antwort als Gelegenheit zum Lernen. Herauszufinden, was nicht funktioniert, ist genauso wichtig wie herauszufinden, was funktioniert.

DALL-E-Anwendungsfälle und -Anwendungen

Menschen nutzen DALL-E für viele Anwendungen im geschäftlichen und privaten Bereich.

Marketing und Geschäftskommunikation

• Erstellen von Bildern für Blogs, Social-Media-Beiträge und Websites
• Gestaltung von Werbeanzeigen wie Flyern und Plakaten
• Gestaltung von Logos und Markenelementen
• Erstellen Sie einzigartige Stockfotos
• Gestaltung von Produktverpackungen

Konzeptualisierung

• Entwerfen physischer Produkte
• Rendern von Architekturmodellen
• Ideen für andere kreative Projekte wie Animation, Storyboards und Innenarchitektur
• Kreative Ideen in verschiedenen Stilrichtungen ausprobieren

Bildungsinhalte

• Erstellen visueller Hilfsmittel wie Infografiken und Diagramme
• Darstellung historischer Ereignisse
• Visualisierung wissenschaftlicher Prozesse, die man mit bloßem Auge nicht sehen kann, wie zum Beispiel chemische Reaktionen
• Erstellen von Bildern, die auf die spezifischen Bedürfnisse, Interessen oder den Lernstil eines einzelnen Schülers zugeschnitten sind

Kunst und Design

• Erstellen Sie individuelle Kunstwerke für Ihr Zuhause oder Ihre Partydekoration
• Entwerfen von Cover-Artworks für Bücher, Alben oder Filme
• Erstellen Sie Kunst zum Verkauf auf Produkten wie T-Shirts, Lesezeichen und Drucken
• Erstellen von Referenzbildern, die als Inspiration für andere Kunstmedien wie Modedesign dienen
• Entwerfen von Elementen, wie z. B. Hintergrundtexturen, zur Integration in andere Formen von Kunstwerken

Vorhandene Bilder ändern

• Hinzufügen weiterer Motive zu einem Bild
• Anpassen des Hintergrunds
• Ändern des Seitenverhältnisses
• Hervorheben bestimmter Objekte
• Ein Objekt entfernen und durch etwas anderes ersetzen

Vorteile der Verwendung von DALL-E

DALL-E bietet zahlreiche Vorteile, darunter die Möglichkeit, aus mehreren Antworten auszuwählen, die Plattform zusammen mit anderen KI-Tools zu nutzen und Hindernisse für Kunst und Design zu beseitigen.

Erzeugt mehrere Bilder pro Eingabeaufforderung

DALL-E generiert pro Eingabeaufforderung vier Bilder, sodass Sie das Bild auswählen können, das Ihren Vorlieben am besten entspricht. Es ändert die Eingabeaufforderung für jedes Bild leicht und erweitert sie, um mehr Details hinzuzufügen.

Wenn Sie beispielsweise eine generische Eingabeaufforderung wie „Ein Bild einer dunklen Gasse im Comic-Stil“ eingeben, formuliert DALL-E Ihre Eingabeaufforderung um und fügt Details wie den Stil der Gebäude in der Szene, den Bildausschnitt usw. hinzu die vorherrschenden Farben. Sie können die Eingabeaufforderungsvarianten von DALL-E sehen, indem Sie auf das jeweilige Bild klicken.

Integriert sich in ChatGPT und Microsoft Copilot

Sie können über Chatbots, die Sie möglicherweise bereits verwenden, auf DALL-E zugreifen. Es ist praktisch, Text und Bilder in einem Tool zu generieren. Da es sich um Chatbots handelt, können die von Ihnen generierten Bilder außerdem Teil einer längeren Konversation sein.

Angenommen, Sie haben ChatGPT verwendet, um eine Agenda für eine Babyparty zu erstellen. In diesem Fall können Sie auch DALL-E verwenden, um die Bilder für die Einladungen zu erstellen. Da alles Teil einer Konversation ist, kann ChatGPT einige Details Ihrer Agenda in die Einladung integrieren.

Macht Design zugänglicher

Design-Software und Fotoausrüstung können teuer und schwierig zu erlernen sein. DALL-E macht die Bilderzeugung für den Durchschnittsbürger zugänglicher.

• Ein Kleinunternehmer kann benutzerdefinierte Markenwerte wie Fotos und Produktbilder erstellen, die zuvor unerreichbar gewesen wären.
• Bastler in Bereichen wie Holzbearbeitung und Bildhauerei können Visualisierungen ihrer Konzepte erstellen, ohne in kostspielige Software investieren zu müssen.
• Menschen und Organisationen aus unterrepräsentierten Gruppen oder mit Nischenhobbys können Bilder erstellen, die ihre Interessen ansprechen.

Mängel von DALL-E

Trotz seiner Fähigkeiten weist DALL-E einige Einschränkungen auf.

Unvorhersehbarkeit

Da DALL-E jedes Bild von Grund auf generiert, kann es unvorhersehbar sein. Angenommen, Sie haben spezielle Anforderungen an die Platzierung von Objekten oder Markenstandards. In diesem Fall berücksichtigt DALL-E diese Standards möglicherweise nicht immer in seinen Ergebnissen.

Außerdem kann eine geringfügige Anpassung Ihrer Eingabeaufforderung zu einer erheblich anderen Ausgabe führen. Dies ist besonders schwierig, wenn ein von DALL-E bereits erstelltes Image geändert wird.

Vorurteile

Jede generative KI beschäftigt sich mit Vorurteilen, und DALL-E ist da nicht anders. DALL-E unterliegt der Generierung von Antworten, die Vorurteile in Bezug auf Rasse, Geschlecht, Klasse und sogar bestimmte Sprachen oder Länder widerspiegeln. DALL-E wurde hauptsächlich auf Daten aus den USA trainiert und spiegelt daher häufig die amerikanische Kultur, Werte und Vorurteile wider.

Die Verwendung bestimmter Adjektive kann zu stereotypen Ergebnissen führen. Wenn die Eingabeaufforderung beispielsweise Wörter wie„emotional“oder „sensibel“enthält, kann die Ausgabe mit einer Frau in Verbindung gebracht werden. Gleichzeitig können Wörter wiehartoderintellektuellzu Ergebnissen führen, die Männer betreffen.

Kosten

DALL-E ist kostenpflichtig, es sei denn, Sie verwenden Microsoft Image Creator, was je nach Ihren Vorlieben unpraktisch sein kann.

Wenn Sie ChatGPT den KI-Plattformen von Microsoft vorziehen, müssen Sie für den Zugriff auf DALL-E bezahlen.

Was kommt als nächstes für die DALL-E- und AI-Bilderzeugung?

Sie können DALL-E nutzen, um kreatives Brainstorming voranzutreiben, Designprozesse zu rationalisieren oder einfach nur Spaß zu haben. Es ist eine der vielen generativen KI-Plattformen, die es Ihnen ermöglicht, auf neue Art und Weise zu kreieren. Da es in bestehende KI-Plattformen wie ChatGPT und Microsoft Image Creator integriert ist, können Sie Bilder erstellen und Text generieren – alles in einem einzigen Tool.

Bei der Verwendung von DALL-E ist es wichtig zu bedenken, dass jede generative KI dazu neigt, voreingenommene Reaktionen hervorzurufen. Wenn Sie die Einschränkungen von DALL-E kennen, können Sie die besten Möglichkeiten finden, es zu nutzen und die gewünschten Bilder zu erhalten.

Ständig entstehen neue Fähigkeiten, Funktionen und Wettbewerber. Wer generative KI nutzen möchte – sei es für geschäftliche, private oder pädagogische Zwecke – sollte die neuesten Entwicklungen im Auge behalten. Wir werden weiterhin über die bedeutenden Änderungen in der generativen KI berichten, also bleiben Sie mit dem Grammarly-Blog auf dem Laufenden, um auf dem Laufenden zu bleiben.