Поиск по сайту:

Создайте аниме с помощью LoRA и модели диффузии


Введение

Добро пожаловать, уважаемые любители аниме! Представьте себе: вас окружают постеры с изображением ваших любимых аниме-персонажей, и внезапно вас посещает вдохновение! Вы сейчас хотите создать свой собственный аниме-шедевр, но как вы это сделаете?

С помощью LoRA и диффузионных моделей мы научимся создавать потрясающих аниме-персонажей!

В этой статье мы узнаем, как создавать аниме-изображения с помощью самого обсуждаемого дуэта: LoRA и Stable Diffusion (SD). Мы попытаемся понять основы LoRA и почему он используется, а также получить обзор SD.

Предварительные условия

  • Базовые знания: Знакомство с концепциями глубокого обучения и моделями стабильного распространения.
  • Настройка среды: доступ к среде Python с установленными такими библиотеками, как PyTorch, Diffusers и Transformers.
  • Аппаратное обеспечение: графический процессор с достаточным объемом видеопамяти (например, рекомендуется NVIDIA 16 ГБ и более).
  • Предварительно обученная модель: контрольная точка модели стабильной диффузии.
  • Файлы LoRA: файлы адаптации низкого ранга (LoRA), оптимизированные для создания аниме.
  • Наборы данных: необязательно, для более точной настройки при необходимости.

Что делает аниме-портреты такими особенными

Персонажи аниме — как старые друзья; мы никогда не устанем от них. Они бывают самых разных форм и размеров: от свирепых воинов до причудливых старшеклассников и персонажей BTS. Они очень особенные для нас. Но что делает их по-настоящему особенными, так это их способность захватывать наши сердца и уносить в фантастические миры, где возможно все.

Раньше для создания нестандартных изображений в стиле аниме требовалось несколько вещей, в первую очередь художественный талант. Теперь, благодаря Stable Diffusion, можно воспользоваться преимуществами революции искусственного интеллекта и создавать собственные произведения искусства практически без обучения.

Расширьте возможности своих графических и ресурсоемких задач с помощью надежной памяти GDDR6 объемом 16 ГБ с функцией ECC, что вдвое увеличивает объем памяти по сравнению с предыдущим поколением. Не стесняйтесь посетить страницу NVIDIA, чтобы узнать больше.

Что такое ЛоРА

По мере масштабирования нашей модели до более крупных моделей проводится полная тонкая настройка, которая обычно включает в себя переобучение всех параметров модели. Этот процесс становится утомительным и затратным не только с точки зрения денег, но и вычислительных затрат. Для решения этой проблемы была разработана адаптация низкого ранга, или LoRA.

LoRA работает путем замораживания предварительно обученных весов модели и введения обучаемых матриц разложения ранга на каждый уровень архитектуры Transformer. Такой подход значительно уменьшает количество обучаемых параметров, необходимых для последующих задач.

Один из примеров, представленных в оригинальной исследовательской работе, подчеркивает тот факт, что по сравнению с точной настройкой GPT-3 175B с помощью Adam - LoRA может уменьшить количество обучаемых параметров в 10 000 раз и снизить требования к памяти графического процессора в три раза.

Более того, несмотря на сокращение обучения модели с целью уменьшения количества параметров, LoRA демонстрирует сопоставимое или превосходящее качество модели по сравнению с методами точной настройки на различных архитектурах, таких как RoBERTa, DeBERTa, GPT-2 и GPT-3. Более того, настройка LoRA обеспечивает более высокую эффективность обучения и не вызывает дополнительной задержки вывода, в отличие от подходов на основе адаптеров.

У нас есть подробная статья «Обучение модели LoRA для Stable Diffusion XL», и мы настоятельно рекомендуем эту статью как необходимое условие для лучшего понимания модели.

Обзор стабильной диффузии и используемой модели

Стабильная диффузия — это модель генеративного искусственного интеллекта (генеративного ИИ), которая использует технологию диффузии и скрытое пространство для создания фотореалистичных изображений. Модель также можно запустить с использованием процессора, однако она работает хорошо, если у вас есть графический процессор. По сути, модели диффузии включают гауссовский шум для кодирования изображения. Впоследствии они используют предиктор шума вместе с процессом обратной диффузии для восстановления исходного изображения.

Основные компоненты Stable Diffusion включают в себя вариационный автокодировщик, обратную диффузию, предсказатель шума и обработку текста.

Вариационный автокодировщик состоит из двух основных компонентов: кодера и декодера. Кодер сжимает большое изображение размером 512x512 пикселей в меньшее изображение размером 64x64 в скрытом пространстве, с которым легче работать. Позже декодер реконструирует это сжатое представление обратно в полноразмерное изображение размером 512x512 пикселей.

Прямая диффузия предполагает постепенное добавление гауссова шума к изображению до тех пор, пока оно полностью не закроется случайным шумом. Во время обучения все изображения подвергаются этому процессу, хотя в дальнейшем он обычно используется только для преобразования изображений в изображения.

Обратная диффузия — это противоположный процесс, по существу шаг за шагом отменяющий прямую диффузию. Например, если вы обучаете модель изображениями кошек и собак, процесс обратной диффузии будет иметь тенденцию реконструировать либо кошку, либо собаку, с небольшим промежутком между ними. На практике обучение включает в себя огромное количество изображений и подсказки для создания разнообразных и уникальных результатов.

Предиктор шума, реализованный в виде модели U-Net, играет решающую роль в шумоподавлении изображений. Модели U-Net, изначально разработанные для сегментации биомедицинских изображений, используются для оценки шума в скрытом пространстве и его вычитания из изображения. Этот процесс повторяется заданное количество шагов, постепенно уменьшая шум в соответствии с заданными пользователем параметрами. На предиктор шума влияют подсказки, которые определяют окончательное создание изображения.

Кондиционирование текста — это распространенная форма кондиционирования, при которой текстовые подсказки используются для управления процессом создания изображения. Каждое слово в приглашении анализируется и встраивается в вектор из 768 значений с помощью токенизатора CLIP. В приглашении можно использовать до 75 токенов. Stable Diffusion использует эти подсказки, передавая их через текстовый преобразователь от текстового кодера к предсказателю шума U-Net. Установив начальное значение генератора случайных чисел, в скрытом пространстве можно генерировать разные изображения.

В этой демонстрации мы использовали Pastel Anime LoRA для SDXL. Эта модель представляет собой модель адаптации низкого ранга высокого разрешения для Stable Diffusion XL. Модель была точно настроена: скорость обучения установлена на уровне 1e-5 для 1300 глобальных шагов и размер пакета 24. Она использует набор данных, состоящий из изображений в стиле аниме высшего качества. Эта модель, созданная на основе Animagine XL, очень похожа на другие модели Stable Diffusion в стиле аниме и упрощает генерацию изображений с использованием тегов Danbooru.

Демо

Прежде чем мы начнем, мы проведем быструю проверку

!nvidia-smi

1.Установите необходимые пакеты и модули для запуска модели.

!pip install diffusers --upgrade
!pip install invisible_watermark transformers accelerate safetensors
!pip install -U peft

2.Импортируйте библиотеки

import torch
from torch import autocast
from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler

3.Укажите базовую модель для генерации изображений и сейтензоры в переменную.

base_model = "Linaqruf/animagine-xl"
lora_model_id = "Linaqruf/pastel-anime-xl-lora"
lora_filename = "pastel-anime-xl.safetensors"

4. Далее мы инициализируем конвейер для стабильной диффузионной модели XL с конкретными конфигурациями. Мы загрузим предварительно обученную модель, укажем тип данных факела, который будет использоваться для вычислений модели. Кроме того, использование float16 помогает сократить использование памяти и ускорить вычисления, особенно на графических процессорах.

pipe = StableDiffusionXLPipeline.from_pretrained(
    base_model,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16"
    )

5. Обновите планировщик диффузионного конвейера XL, а затем переместите объект конвейера в графический процессор для ускорения вычислений.

pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

6. Загрузите гири

pipe.load_lora_weights(lora_model_id, weight_name=lora_filename)

7. Используйте модель для создания захватывающих аниме-творений.

prompt = "face focus, cute, masterpiece, best quality, 1girl, green hair, sweater, looking at viewer, upper body, beanie, outdoors, night, turtleneck"
negative_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry"

image = pipe(
    prompt,
    negative_prompt=negative_prompt,
    width=1024,
    height=1024,
    guidance_scale=12,
    target_size=(1024,1024),
    original_size=(4096,4096),
    num_inference_steps=50
    ).images[0]

image.save("anime_girl.png")

Мы настоятельно рекомендуем нашим читателям раскрыть свой творческий потенциал, предлагая подсказки для создания изображений.

Заключение

В этой статье мы рассмотрели, как создавать аниме-персонажей с помощью LoRA и Stable Diffusion. Способность Stable Diffusion создавать изображения с мелкими деталями, различными стилями и контролируемыми атрибутами делает его ценным инструментом для множества приложений, включая искусство, дизайн и развлечения.

Поскольку исследования и разработки в области искусственного интеллекта продолжают развиваться, мы ожидаем дальнейших инноваций и усовершенствований в этих моделях. Stable Diffusion вместе с LoRA, несомненно, изменит ландшафт синтеза изображений и расширит границы творчества и самовыражения. Эти новые подходы, несомненно, произведут революцию в том, как мы воспринимаем цифровые изображения и взаимодействуем с ними в ближайшие годы.

Надеемся, вам понравилось читать статью!

Ссылка

  • Пастель аниме xl лора
  • Что такое стабильная диффузия
  • Стабильная диффузия
  • Дистиллировать стабильную диффузию
  • Обучение модели LoRA для Stable Diffusion XL

Статьи по данной тематике: