Создайте аниме с помощью LoRA и модели диффузии
Введение
Добро пожаловать, уважаемые любители аниме! Представьте себе: вас окружают постеры с изображением ваших любимых аниме-персонажей, и внезапно вас посещает вдохновение! Вы сейчас хотите создать свой собственный аниме-шедевр, но как вы это сделаете?
С помощью LoRA и диффузионных моделей мы научимся создавать потрясающих аниме-персонажей!
В этой статье мы узнаем, как создавать аниме-изображения с помощью самого обсуждаемого дуэта: LoRA и Stable Diffusion (SD). Мы попытаемся понять основы LoRA и почему он используется, а также получить обзор SD.
Предварительные условия
- Базовые знания: Знакомство с концепциями глубокого обучения и моделями стабильного распространения.
- Настройка среды: доступ к среде Python с установленными такими библиотеками, как PyTorch, Diffusers и Transformers.
- Аппаратное обеспечение: графический процессор с достаточным объемом видеопамяти (например, рекомендуется NVIDIA 16 ГБ и более).
- Предварительно обученная модель: контрольная точка модели стабильной диффузии.
- Файлы LoRA: файлы адаптации низкого ранга (LoRA), оптимизированные для создания аниме.
- Наборы данных: необязательно, для более точной настройки при необходимости.
Что делает аниме-портреты такими особенными
Персонажи аниме — как старые друзья; мы никогда не устанем от них. Они бывают самых разных форм и размеров: от свирепых воинов до причудливых старшеклассников и персонажей BTS. Они очень особенные для нас. Но что делает их по-настоящему особенными, так это их способность захватывать наши сердца и уносить в фантастические миры, где возможно все.
Раньше для создания нестандартных изображений в стиле аниме требовалось несколько вещей, в первую очередь художественный талант. Теперь, благодаря Stable Diffusion, можно воспользоваться преимуществами революции искусственного интеллекта и создавать собственные произведения искусства практически без обучения.
Расширьте возможности своих графических и ресурсоемких задач с помощью надежной памяти GDDR6 объемом 16 ГБ с функцией ECC, что вдвое увеличивает объем памяти по сравнению с предыдущим поколением. Не стесняйтесь посетить страницу NVIDIA, чтобы узнать больше.
Что такое ЛоРА
По мере масштабирования нашей модели до более крупных моделей проводится полная тонкая настройка, которая обычно включает в себя переобучение всех параметров модели. Этот процесс становится утомительным и затратным не только с точки зрения денег, но и вычислительных затрат. Для решения этой проблемы была разработана адаптация низкого ранга, или LoRA.
LoRA работает путем замораживания предварительно обученных весов модели и введения обучаемых матриц разложения ранга на каждый уровень архитектуры Transformer. Такой подход значительно уменьшает количество обучаемых параметров, необходимых для последующих задач.
Один из примеров, представленных в оригинальной исследовательской работе, подчеркивает тот факт, что по сравнению с точной настройкой GPT-3 175B с помощью Adam - LoRA может уменьшить количество обучаемых параметров в 10 000 раз и снизить требования к памяти графического процессора в три раза.
Более того, несмотря на сокращение обучения модели с целью уменьшения количества параметров, LoRA демонстрирует сопоставимое или превосходящее качество модели по сравнению с методами точной настройки на различных архитектурах, таких как RoBERTa, DeBERTa, GPT-2 и GPT-3. Более того, настройка LoRA обеспечивает более высокую эффективность обучения и не вызывает дополнительной задержки вывода, в отличие от подходов на основе адаптеров.
У нас есть подробная статья «Обучение модели LoRA для Stable Diffusion XL», и мы настоятельно рекомендуем эту статью как необходимое условие для лучшего понимания модели.
Обзор стабильной диффузии и используемой модели
Стабильная диффузия — это модель генеративного искусственного интеллекта (генеративного ИИ), которая использует технологию диффузии и скрытое пространство для создания фотореалистичных изображений. Модель также можно запустить с использованием процессора, однако она работает хорошо, если у вас есть графический процессор. По сути, модели диффузии включают гауссовский шум для кодирования изображения. Впоследствии они используют предиктор шума вместе с процессом обратной диффузии для восстановления исходного изображения.
Основные компоненты Stable Diffusion включают в себя вариационный автокодировщик, обратную диффузию, предсказатель шума и обработку текста.
Вариационный автокодировщик состоит из двух основных компонентов: кодера и декодера. Кодер сжимает большое изображение размером 512x512 пикселей в меньшее изображение размером 64x64 в скрытом пространстве, с которым легче работать. Позже декодер реконструирует это сжатое представление обратно в полноразмерное изображение размером 512x512 пикселей.
Прямая диффузия предполагает постепенное добавление гауссова шума к изображению до тех пор, пока оно полностью не закроется случайным шумом. Во время обучения все изображения подвергаются этому процессу, хотя в дальнейшем он обычно используется только для преобразования изображений в изображения.
Обратная диффузия — это противоположный процесс, по существу шаг за шагом отменяющий прямую диффузию. Например, если вы обучаете модель изображениями кошек и собак, процесс обратной диффузии будет иметь тенденцию реконструировать либо кошку, либо собаку, с небольшим промежутком между ними. На практике обучение включает в себя огромное количество изображений и подсказки для создания разнообразных и уникальных результатов.
Предиктор шума, реализованный в виде модели U-Net, играет решающую роль в шумоподавлении изображений. Модели U-Net, изначально разработанные для сегментации биомедицинских изображений, используются для оценки шума в скрытом пространстве и его вычитания из изображения. Этот процесс повторяется заданное количество шагов, постепенно уменьшая шум в соответствии с заданными пользователем параметрами. На предиктор шума влияют подсказки, которые определяют окончательное создание изображения.
Кондиционирование текста — это распространенная форма кондиционирования, при которой текстовые подсказки используются для управления процессом создания изображения. Каждое слово в приглашении анализируется и встраивается в вектор из 768 значений с помощью токенизатора CLIP. В приглашении можно использовать до 75 токенов. Stable Diffusion использует эти подсказки, передавая их через текстовый преобразователь от текстового кодера к предсказателю шума U-Net. Установив начальное значение генератора случайных чисел, в скрытом пространстве можно генерировать разные изображения.
В этой демонстрации мы использовали Pastel Anime LoRA для SDXL. Эта модель представляет собой модель адаптации низкого ранга высокого разрешения для Stable Diffusion XL. Модель была точно настроена: скорость обучения установлена на уровне 1e-5 для 1300 глобальных шагов и размер пакета 24. Она использует набор данных, состоящий из изображений в стиле аниме высшего качества. Эта модель, созданная на основе Animagine XL, очень похожа на другие модели Stable Diffusion в стиле аниме и упрощает генерацию изображений с использованием тегов Danbooru.
Демо
Прежде чем мы начнем, мы проведем быструю проверку
!nvidia-smi
1.Установите необходимые пакеты и модули для запуска модели.
!pip install diffusers --upgrade
!pip install invisible_watermark transformers accelerate safetensors
!pip install -U peft
2.Импортируйте библиотеки
import torch
from torch import autocast
from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler
3.Укажите базовую модель для генерации изображений и сейтензоры в переменную.
base_model = "Linaqruf/animagine-xl"
lora_model_id = "Linaqruf/pastel-anime-xl-lora"
lora_filename = "pastel-anime-xl.safetensors"
4. Далее мы инициализируем конвейер для стабильной диффузионной модели XL с конкретными конфигурациями. Мы загрузим предварительно обученную модель, укажем тип данных факела, который будет использоваться для вычислений модели. Кроме того, использование float16 помогает сократить использование памяти и ускорить вычисления, особенно на графических процессорах.
pipe = StableDiffusionXLPipeline.from_pretrained(
base_model,
torch_dtype=torch.float16,
use_safetensors=True,
variant="fp16"
)
5. Обновите планировщик диффузионного конвейера XL, а затем переместите объект конвейера в графический процессор для ускорения вычислений.
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')
6. Загрузите гири
pipe.load_lora_weights(lora_model_id, weight_name=lora_filename)
7. Используйте модель для создания захватывающих аниме-творений.
prompt = "face focus, cute, masterpiece, best quality, 1girl, green hair, sweater, looking at viewer, upper body, beanie, outdoors, night, turtleneck"
negative_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry"
image = pipe(
prompt,
negative_prompt=negative_prompt,
width=1024,
height=1024,
guidance_scale=12,
target_size=(1024,1024),
original_size=(4096,4096),
num_inference_steps=50
).images[0]
image.save("anime_girl.png")
Мы настоятельно рекомендуем нашим читателям раскрыть свой творческий потенциал, предлагая подсказки для создания изображений.
Заключение
В этой статье мы рассмотрели, как создавать аниме-персонажей с помощью LoRA и Stable Diffusion. Способность Stable Diffusion создавать изображения с мелкими деталями, различными стилями и контролируемыми атрибутами делает его ценным инструментом для множества приложений, включая искусство, дизайн и развлечения.
Поскольку исследования и разработки в области искусственного интеллекта продолжают развиваться, мы ожидаем дальнейших инноваций и усовершенствований в этих моделях. Stable Diffusion вместе с LoRA, несомненно, изменит ландшафт синтеза изображений и расширит границы творчества и самовыражения. Эти новые подходы, несомненно, произведут революцию в том, как мы воспринимаем цифровые изображения и взаимодействуем с ними в ближайшие годы.
Надеемся, вам понравилось читать статью!
Ссылка
- Пастель аниме xl лора
- Что такое стабильная диффузия
- Стабильная диффузия
- Дистиллировать стабильную диффузию
- Обучение модели LoRA для Stable Diffusion XL





