스테이블 디퓨전 웹 UI 모델 다운로드 및 적용 방법

스테이블 디퓨전을 사용하는 이유는 많은 사람들이 학습시켜둔 다양한 모델을 오픈소스로 사용할 수 있다는 점이 아무래도 가장 클 것입니다. 따라서 이번에는 원하는 모델을 다운로드받고 적용하는 방법에 대해서 알려드리겠습니다.

원하는 모델 찾기

https://civitai.com/

대부분의 모델은 위 사이트 civitai (씨빗에이아이)에서 다운로드 받아서 사용하게 됩니다.

civitai를 들어가면 그림처럼 수많은 모델이 존재하는데 이 중에서 원하는 모델을 골라주면 됩니다.

단, 고를 때 주의할 점이 있습니다.

내가 받으려는 모델이 CHECKPOINT인지, LORA(LyCORIS)인지 확인해야 합니다.

두 개의 모델은 서로 기능이 다른데, CHECKPOINT는 베이스 모델이고, LORA는 베이스 모델 위에 얹어서 사용하는 약간의 확장 기능정도로 생각하시면 됩니다.

즉 CHECKPOINT는 혼자서도 결과물을 뽑아낼 수 있지만, LORA는 혼자서 결과물을 뽑을 수 없습니다.

따라서 이번글에서는 CHECKPOINT를 다운로드 받아서 적용해보겠습니다.

원하는 모델을 찾았다!

원하는 CHECKPOINT를 찾은 뒤 클릭하면, 다음과 같이 다운로드할 수 있는 버튼이 있습니다. 눌러서 다운로드 해줍니다. (저는 실사모델을 가지고 테스트 해보겠습니다.)

다운로드도 받았다!

다운로드가 완료되었으면, 각자 webui를 설치한 폴더로 찾아갑니다.

그 다음에 models폴더 안의 Stable-diffusion폴더 안에 넣어주면 끝입니다.

대충 다음과 같은 경로를 가지게 되겠습니다.

C:\각자_webui를_설치한_폴더\stable-diffusion-webui\models\Stable-diffusion

폴더에 옮기기까지 했는데?

폴더에 옮긴 후에 webui에서 새로고침 버튼을 누르면 체크포인트 드롭다운 메뉴에 다운로드 받은 모델이 생길겁니다.

눌러서 적용해주시면 끝입니다.

결과물을 뽑아야지 제대로 해본거지

모델 적용이 완료되었으면, 이미지를 뽑을 때가 되었습니다.

그 전에 각 파트별로 간단하게 설명을 드리겠습니다.

체크포인트 : 모델을 선택
텍스트 -> 이미지, 이미지 -> 이미지 : 텍스트(프롬프트)에서 이미지를 만들것인지, 이미지+텍스트(프롬프트)를 이용해서 이미지를 만들것인지
프롬프트 : 원하는 그림에 대한 설명
네거티브 프롬프트 : 원하는 그림에 나오지 않았으면 하는 것들에 대한 설명
샘플링 방법 : 스테이블 디퓨전의 핵심 아키텍쳐인 Diffusion의 sampling 방법에 대한 내용으로, 자세한 설명을 하려면 논문을 가져와야해서 패스, 방법별로 큰 차이는 없지만 필자는 DPM++ 계열을 자주 사용
샘플링 스텝 수 : 마찬가지로 Diffusion에 대한 설명으로 최소 20스텝정도 해주는게 좋음 (필자는 30을 사용)
고해상도 보정 : 이미지를 처음부터 고해상도 (예를들어 1920*1080)으로 뽑기 보다는, half resolution 정도(960*540)에서 샘플링을 하여 이미지를 초벌하고, 2x고해상도를 진행하여 결과물을 뽑는게 퀄리티가 더 좋음
가로 세로 사이즈 : 필자는 1920*1080을 뽑는게 목표이므로 960*540을 기본으로 사용하며, 고해상도화 2배를 사용 (해상도를 높게 뽑을수록 더 좋은 그래픽카드가 필요)
배치 수, 배치 크기 : 배치 수는 총 몇번 이미지를 생성할 것인지, 배치 크기는 한번에 몇개의 이미지를 뽑을 것인지, 최종적으로 배치 수 * 배치 크기만큼의 이미지가 생성
CFG 스케일 : 값이 높을수록 프롬프트의 영향을 더 받음. 필자는 7을 사용 (추후에 다이나믹 쓰레쉬홀딩을 적용할 경우, 다른값을 사용)
시드 : 디퓨전에서 초기값을 세팅할때 사용하는 랜덤시드의 값으로, -1을 사용하면 매번 생성할때마다 다른 시드값을 사용, 그 외 특정 값을 사용하면 다른 설정값이 바뀌지 않는 한, 항상 같은 이미지가 생성

여기서 꿀팁.

어떤 프롬프트를 써야할지 모르겠다면, civitai에서 잘 만든 그림들을 참고하면 된다.

모든 그림이 다 정보를 오픈해둔것은 아니지만, 그림의 우측하단에 'i' 모양 아이콘을 누르면 어떤 설정으로 이미지를 뽑았는지 알 수 있다.

필자는 해당 설정을 다 가져와서 사용하지는 않고, 프롬프트에서 쓸만해보이는 것들을 가져와서 사용한다.

위 그림에서 프롬프트만 살짝 배껴서 이미지를 뽑아보겠다.

아주 잘나온다.

이제 자신이 원하는 그림을 뽑을때까지 체크포인트, 프롬프트, 샘플링 스텝 등 설정을 다양하게 해보면서 최적의 설정을 찾아가야한다.

다음 글에서는 좀 더 이쁜, 원하는 그림을 뽑을 수 있게 도와주는 LORA와 Textual Inversion(embedding)에 대해서 알아본다.

이 블로그 검색

은긔-AI