Notebooks
H
Hugging Face CLIP Guided Stable Diffusion With Diffusers

CLIP Guided Stable Diffusion With Diffusers

hf-notebooksdiffusers
alph-notebooks/hf-notebooks / CLIP_Guided_Stable_diffusion_with_diffusers.ipynb

Open In Colab

CLIP Guided Stable Diffusion using d🧨ffusers

This notebook shows how to do CLIP guidance with Stable diffusion using diffusers libray. This allows you to use newly released CLIP models by LAION AI..

This notebook is based on the following amazing repos, all credits to the original authors!

Initial Setup

[1]
     |████████████████████████████████| 229 kB 8.9 MB/s 
     |████████████████████████████████| 4.9 MB 68.2 MB/s 
     |████████████████████████████████| 53 kB 2.2 MB/s 
     |████████████████████████████████| 5.3 MB 51.1 MB/s 
     |████████████████████████████████| 163 kB 68.4 MB/s 
     |████████████████████████████████| 6.6 MB 46.5 MB/s 
     |████████████████████████████████| 55 kB 4.4 MB/s 
     |████████████████████████████████| 2.3 MB 56.0 MB/s 
     |████████████████████████████████| 57 kB 6.2 MB/s 
     |████████████████████████████████| 270 kB 48.4 MB/s 
     |████████████████████████████████| 112 kB 58.6 MB/s 
     |████████████████████████████████| 84 kB 4.2 MB/s 
     |████████████████████████████████| 54 kB 3.8 MB/s 
     |████████████████████████████████| 84 kB 2.4 MB/s 
     |████████████████████████████████| 212 kB 12.2 MB/s 
     |████████████████████████████████| 63 kB 2.7 MB/s 
     |████████████████████████████████| 80 kB 11.6 MB/s 
     |████████████████████████████████| 68 kB 8.0 MB/s 
     |████████████████████████████████| 46 kB 5.1 MB/s 
     |████████████████████████████████| 594 kB 68.0 MB/s 
     |████████████████████████████████| 4.0 MB 52.4 MB/s 
     |████████████████████████████████| 856 kB 66.2 MB/s 
  Building wheel for ffmpy (setup.py) ... done
  Building wheel for python-multipart (setup.py) ... done

Authenticate with Hugging Face Hub

To use private and gated models on 🤗 Hugging Face Hub, login is required. If you are only using a public checkpoint (such as CompVis/stable-diffusion-v1-4 in this notebook), you can skip this step.

[2]
Login successful
Your token has been saved to /root/.huggingface/token

CLIP Guided Stable Diffusion

[ ]
model_id
clip_model_id
scheduler
[ ]
[ ]
prompt
clip_prompt
num_samples
num_inference_steps
guidance_scale
clip_guidance_scale
num_cutouts
use_cutouts
unfreeze_unet
unfreeze_vae
seed
[ ]