ComfyUI EP14 : วิธีใช้ ControlNet กับ Flux 

ในบทความนี้เราจะสำรวจวิธีการใช้ ControlNet ร่วมกับ Flux เพื่อควบคุมการสร้างภาพอย่างมีประสิทธิภาพ โดยเราจะเรียนรู้วิธีการติดตั้ง โมเดล และการปรับแต่งการตั้งค่าต่างๆ เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด.

สารบัญ

ขั้นตอนที่ 1: แนะนำ ControlNet และ Flux

ControlNet เป็นโมเดลที่ช่วยให้ผู้ใช้สามารถควบคุมการสร้างภาพได้อย่างมีประสิทธิภาพมากขึ้น โดยเฉพาะเมื่อทำงานร่วมกับ Flux ซึ่งเป็นเครื่องมือที่ช่วยในการสร้างภาพจากข้อความ การรวมกันของ ControlNet และ Flux ช่วยให้ผู้ใช้สามารถจัดการกับพารามิเตอร์ต่างๆ เช่น ท่าทาง ความลึก และการสร้างภาพที่น่าสนใจจากภาพเริ่มต้นได้อย่างง่ายดาย

นอกจากนี้ ControlNet ยังรองรับโหมดการควบคุมต่างๆ เช่น Canny, Tile, Depth และ Pose ซึ่งช่วยให้ผู้ใช้สามารถสร้างสรรค์ภาพได้ตามต้องการ

ControlNet and Flux introduction

ขั้นตอนที่ 2: ดาวน์โหลดโมเดล Diffusion PyTorch

ในการเริ่มต้นใช้งาน ControlNet กับ Flux ผู้ใช้ต้องดาวน์โหลดโมเดล Diffusion PyTorch ก่อน โดยสามารถทำได้ง่ายๆ ผ่านการเข้าถึงแท็บไฟล์และเลือกโมเดลที่ต้องการ

หลังจากดาวน์โหลดแล้ว ควรตั้งชื่อโมเดลใหม่เพื่อหลีกเลี่ยงความสับสนกับโมเดลอื่นๆ ในโฟลเดอร์เดียวกัน

Downloading Diffusion PyTorch model

ขั้นตอนที่ 3: ติดตั้ง Custom Nodes ใน ComfyUI

หลังจากดาวน์โหลดโมเดลแล้ว ขั้นตอนถัดไปคือการติดตั้ง Custom Nodes ที่จำเป็นสำหรับการทำงานร่วมกับ ControlNet และ Flux

ผู้ใช้ควรตรวจสอบให้แน่ใจว่ามีการติดตั้ง ControlNet Auxiliary, ComfyUI Guff, RG3 Node และ Control Alt AI เพื่อให้การทำงานเป็นไปอย่างราบรื่น

Installing Custom Nodes in ComfyUI

ขั้นตอนที่ 4: อัพเดต ComfyUI และ Nodes

การอัพเดต ComfyUI และ Nodes เป็นสิ่งที่สำคัญเพื่อให้สามารถเข้าถึงฟีเจอร์ใหม่ๆ และการปรับปรุงประสิทธิภาพ

ผู้ใช้สามารถคลิกที่ปุ่มอัพเดตทั้งหมดใน ComfyUI เพื่อดาวน์โหลดและติดตั้งการอัพเดตที่จำเป็น

Updating ComfyUI and Nodes

ขั้นตอนที่ 5: เริ่มต้นใช้งาน ControlNet กับ Flux

เมื่อติดตั้งทุกอย่างเรียบร้อยแล้ว ผู้ใช้สามารถเริ่มต้นใช้งาน ControlNet กับ Flux โดยการโหลด Workflow พื้นฐานที่ใช้ในการสร้างภาพจากข้อความ

การเลือกโมเดลที่เหมาะสมตามขนาดของ RAM วิดีโอเป็นสิ่งสำคัญเพื่อให้การสร้างภาพมีประสิทธิภาพสูงสุด

Starting to use ControlNet with Flux

ขั้นตอนที่ 6: ตั้งค่าสำหรับการสร้างภาพ

การตั้งค่าสำหรับการสร้างภาพด้วย ControlNet และ Flux เป็นขั้นตอนที่สำคัญมาก เนื่องจากการปรับค่าต่างๆ จะมีผลต่อผลลัพธ์ของภาพที่สร้างขึ้น

ผู้ใช้ควรทดลองปรับค่าความแรงของ ControlNet และค่าต่างๆ เพื่อให้ได้ผลลัพธ์ที่ดีที่สุดตามที่ต้องการ

Setting up for image generation

ขั้นตอนที่ 7: การใช้ Pre-Processor กับ ControlNet

การใช้ Pre-Processor เป็นขั้นตอนสำคัญในการสร้างภาพด้วย ControlNet ซึ่งช่วยให้ภาพที่สร้างขึ้นมีคุณภาพและความละเอียดที่ดีขึ้น โดย Pre-Processor จะทำการแปลงภาพต้นฉบับให้เป็นรูปแบบที่ ControlNet เข้าใจได้ เช่น การสร้างแผนที่ Canny หรือแผนที่ความลึก (Depth Map).

เริ่มต้นด้วยการเพิ่ม Pre-Processor ลงใน Workflow ของคุณ โดยค้นหา “aiio” และเพิ่ม Node ที่เกี่ยวข้อง จากนั้นเชื่อมต่อภาพต้นฉบับกับ Node นี้ เพื่อให้สามารถสร้างภาพที่ถูกประมวลผลได้.

Pre-Processor setup in ControlNet

ขั้นตอนที่ 8: การสร้างภาพและการปรับแต่งค่าควบคุม

หลังจากที่คุณได้ตั้งค่า Pre-Processor เรียบร้อยแล้ว ขั้นตอนถัดไปคือการสร้างภาพโดยใช้ ControlNet คุณสามารถปรับแต่งค่าควบคุมเพื่อให้ได้ผลลัพธ์ที่ต้องการ เช่น การปรับระดับความเข้มของ ControlNet ซึ่งค่าแนะนำอยู่ระหว่าง 0.3 ถึง 0.8.

การปรับค่าควบคุมนี้จะส่งผลต่อการสร้างภาพโดยตรง หากค่าต่ำเกินไปอาจทำให้ผลลัพธ์ไม่เป็นไปตามที่คาดหวัง และหากค่าสูงเกินไปอาจทำให้ภาพที่สร้างขึ้นมีความซับซ้อนเกินไป.

Adjusting ControlNet strength

ขั้นตอนที่ 9: การเปรียบเทียบภาพที่สร้างขึ้น

การเปรียบเทียบภาพที่สร้างขึ้นเป็นอีกหนึ่งขั้นตอนที่สำคัญ เพื่อให้คุณสามารถเห็นความแตกต่างระหว่างภาพต้นฉบับและภาพที่สร้างขึ้นโดย ControlNet คุณสามารถใช้ Node เปรียบเทียบภาพ (Image Comparer Node) เพื่อวิเคราะห์ผลลัพธ์.

การเปรียบเทียบจะช่วยให้คุณสามารถปรับค่าควบคุมให้เหมาะสมยิ่งขึ้น โดยมองหาจุดที่ภาพที่สร้างขึ้นมีความแตกต่างหรือไม่ตรงตามที่คาดหวัง.

Image comparison results

ขั้นตอนที่ 10: การสร้างภาพแบบพิเศษด้วย ControlNet

ControlNet ยังสามารถใช้ในการสร้างภาพแบบพิเศษได้ โดยการใช้พารามิเตอร์ที่เหมาะสม คุณสามารถสร้างภาพที่มีลักษณะเฉพาะเช่น สไตล์การวาดภาพ 3D หรือการสร้างภาพในลักษณะการ์ตูน.

การปรับแต่งค่าควบคุม เช่น การตั้งค่าความเข้มและเปอร์เซ็นต์การสิ้นสุด (End Percent) จะช่วยให้คุณสร้างภาพที่มีความเป็นเอกลักษณ์และสร้างสรรค์มากขึ้น.

Free Stuff!

Check out this really cool thing

Click me

Special image generation using ControlNet

คำถามที่พบบ่อย

  • ControlNet คืออะไร? ControlNet เป็นโมเดลที่ช่วยให้ผู้ใช้สามารถควบคุมการสร้างภาพได้อย่างมีประสิทธิภาพ โดยเฉพาะเมื่อทำงานร่วมกับเครื่องมือสร้างภาพจากข้อความ.
  • Pre-Processor คืออะไร? Pre-Processor เป็นเครื่องมือที่ช่วยในการแปลงภาพต้นฉบับให้เป็นรูปแบบที่ ControlNet เข้าใจได้ เช่น แผนที่ Canny หรือแผนที่ความลึก.
  • ควรปรับค่าควบคุมอย่างไรเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด? ค่าควบคุมควรปรับอยู่ในช่วง 0.3 ถึง 0.8 โดยต้องลองปรับเพื่อหาค่าที่เหมาะสมที่สุดสำหรับภาพที่คุณสร้าง.
  • สามารถใช้ ControlNet กับภาพประเภทใดได้บ้าง? ControlNet สามารถใช้ได้กับภาพหลายประเภท รวมถึงภาพการ์ตูน ภาพ 3D และภาพศิลปะดิจิทัล.

 

Leave a Comment