Что такое ДАЛЛ·Е 2? Объяснение для начинающих с примерами

DALL·E 2 — это КЛИП-система переводит текстовую информацию в визуальную. Это парадигма кодировщик-декодер, что означает, что когда предоставляется входной текст, он сначала преобразуется в машинный ввод, затем обрабатывается системой и, наконец, передается в декодер, который преобразует закодированные данные в изображение.

Что такое ДАЛЛ·Е 2?

Это последнее поколение DALL·E, генеративной языковой модели, которая использует фразы для создания совершенно новых визуальных эффектов. DALL·E 2 — огромная модель с параметрами 3,5 млрд, хотя и не такая массивная, как GPT-3. Интересно, что он также легче своего предшественника (12B). С точки зрения выравнивания описания и фотореализма DALL·E 2 в 70 % случаев предпочтительнее DALL·E 2, несмотря на его больший размер.

DALL.E 2- объяснение для начинающих с примерами

В частности, DALL·E 2 представляет собой иерархическую модель синтеза изображений с условным текстом, которая сочетает в себе глубокое обучение для обработки естественного языка с компьютерным зрением для создания изображений. Его цель — обучить две модели, а обучающий набор состоит из парных картинок и описаний. Первый — это априор, который, получив письменный заголовок, может быть обучен генерировать встраивание изображения CLIP. Затем у нас есть декодер, который при встраивании CLIP-изображения (и, если он есть, подписи) может генерировать обученное изображение.

DALLE 2 обучается с использованием сотен миллионов фотографий с подписями из Интернета, и некоторые из этих изображений удаляются и перевешиваются, чтобы изменить то, что изучает модель. Он извлекает несколько вариантов вложений CLIP изображения, а затем использует свой декодер для просмотра каждого из них. Затем он создает интересную смесь всей этой информации, учитывая данные, введенные пользователем.

Пример DALL·E 2

Давайте поиграем в небольшую игру, чтобы понять DALL·E. Разделим его на следующие три шага.

1. Представьте радугу, облака и единорогов, летящих в голубом небе. Представьте, каким может быть рисунок в вашем воображении. Люди — это самое близкое, что у нас есть, к идеальному аналогу встраивания изображения, и картинка, которая только что возникла у вас в голове, — прекрасный тому пример. Вы можете только догадываться о конечном продукте, но у вас есть хорошее представление о том, что должно быть включено. Априорная модель переводит читателя от слов во фразе к сцене в его или ее воображении.
2. Теперь вы можете начать рисовать. Что делает unCLIP, так это преобразует вашу ментальную картинку в реальный эскиз. Теперь вы можете точно воссоздать другого персонажа по тому же описанию, с теми же основными характеристиками, но с совершенно новым визуальным стилем. DALL·E 2 также может генерировать уникальные изображения из существующего изображения, встроенного таким образом.
3. Обратите внимание на сделанный вами эскиз. Вот что происходит, когда вы делаете набросок описания «единорог посреди облаков, а на фоне неба поднимается радуга». Теперь изучите изображение и текст, чтобы определить, что лучше иллюстрирует другое (солнце, дом, дерево и т. д.), а что лучше всего иллюстрирует предмет, стиль, цвета и т. д. Что делает CLIP, так это кодирует характеристики. текста и изображения.

Теперь, когда мы знаем, что такое DALL-E, давайте перейдем к следующему разделу и разберемся в его особенностях.

Советы: как создавать реалистичные изображения с помощью сервиса DALL-E-2 AI

Особенности DALL·E 2

Ниже приведены характеристики DALL·E 2.

1. Вариации
2. Раскрашивание
3. Текстовые различия

Поговорим о них подробно.

1]Вариации

DALL·E 2 выходит за рамки простого перевода предложения в изображение. OpenAI может экспериментировать с генеративным процессом, создавая разные результаты для данной подписи благодаря надежным вложениям CLIP. То, что CLIP «видит» в своем «разуме», — это то, что он считает важным из входных данных (остается одинаковым для всех изображений) и что можно заменить (что меняется для разных изображений). Когда это возможно, DALL·E 2 будет удерживать как «смысловую информацию…, так и эстетические аспекты».

2]Раскрашивание

DALL·E 2 может изменять существующие фотографии с помощью автоматической заливки. В следующем примере левое изображение является исходным, а центральное и правое фото имеют элемент, нарисованный в разных местах. DALL·E 2 сопоставляет дополнительный элемент стилю изображения. Он также обновляет текстуры и отражения, чтобы отразить новый элемент.