ในบทความนี้เราจะสำรวจวิธีการใช้งาน ControlNet Union สำหรับ SDXL ซึ่งจะช่วยให้ AI สร้างภาพที่ตรงตามโครงสร้างที่ต้องการได้อย่างมีประสิทธิภาพ เราจะพูดถึงการตั้งค่า การใช้ pre-processors และการรวมโมเดล ControlNet หลายตัวเข้าใน workflow ของคุณ
สารบัญ
- ขั้นตอนที่ 1: แนะนำ
- ขั้นตอนที่ 2: ดาวน์โหลดโมเดล ControlNet
- ขั้นตอนที่ 3: ทำความเข้าใจ ControlNet
- ขั้นตอนที่ 4: ComfyUI และภาพรวมของอินเตอร์เฟซใหม่
- ขั้นตอนที่ 5: การตั้งค่า Custom Nodes สำหรับ ControlNet
- ขั้นตอนที่ 6: การสำรวจ Preprocessors: Canny, Depth, และอื่นๆ
- ขั้นตอนที่ 7: การรวม ControlNet เข้ากับ Workflow ของคุณ
- ขั้นตอนที่ 8: การซ้อนโมเดล ControlNet หลายตัว
- ขั้นตอนที่ 9: การทดสอบและปรับแต่ง Workflow ของคุณ
- ขั้นตอนที่ 10: คำถามที่พบบ่อย (FAQ)
ขั้นตอนที่ 1: แนะนำ
ControlNet Union เป็นโมเดลที่ช่วยให้ AI สามารถสร้างภาพที่ตรงตามโครงสร้างที่ต้องการได้อย่างมีประสิทธิภาพ โดยการรวมฟังก์ชันการควบคุมที่หลากหลายไว้ในโมเดลเดียว ทำให้การใช้งานสะดวกและมีประสิทธิภาพมากขึ้น
โมเดลนี้เหมาะสำหรับผู้ที่ต้องการสร้างภาพที่มีความซับซ้อนหรือมีรายละเอียดสูง โดยสามารถใช้ในการออกแบบภาพตามที่ต้องการได้อย่างแม่นยำ
ขั้นตอนที่ 2: ดาวน์โหลดโมเดล ControlNet
ในการดาวน์โหลดโมเดล ControlNet ให้ไปที่หน้าดาวน์โหลดใน Hugging Face และเลือกโมเดลที่ชื่อว่า “Promax” จากนั้นคลิกที่ปุ่มดาวน์โหลด
หลังจากดาวน์โหลดเสร็จให้ไปที่ ComfyUI และนำไฟล์ที่ดาวน์โหลดมาเก็บไว้ในโฟลเดอร์ที่เรียกว่า “control net” เพื่อให้สามารถใช้งานได้อย่างถูกต้อง
ขั้นตอนที่ 3: ทำความเข้าใจ ControlNet
ControlNet เป็นเครื่องมือที่ช่วยให้ AI สร้างภาพตามโครงสร้างหรือสไตล์ที่ต้องการ โดยทำงานคล้ายกับการให้สเก็ตช์เริ่มต้นแก่ศิลปิน
การฝึกโมเดล ControlNet จะเกี่ยวข้องกับการสอนให้โมเดลจับคู่ข้อมูลนำเข้ากับภาพที่ต้องการ โดยใช้ตัวอย่างที่หลากหลายในการฝึกฝน
ขั้นตอนที่ 4: ComfyUI และภาพรวมของอินเตอร์เฟซใหม่
เมื่อคุณอัปเดต ComfyUI คุณจะสามารถเข้าถึงอินเตอร์เฟซใหม่ได้ ซึ่งจะทำให้การใช้งานสะดวกขึ้น
อินเตอร์เฟซใหม่จะช่วยให้คุณดูตัวอย่างของแต่ละโหนดได้ง่ายขึ้น และมีตัวเลือกในการปรับแต่งตำแหน่งของเมนูและตัวเลือกต่างๆ
ขั้นตอนที่ 5: การตั้งค่า Custom Nodes สำหรับ ControlNet
ในการทำงานกับโมเดล ControlNet คุณจะต้องติดตั้ง Custom Nodes บางตัว โดยไปที่เมนูจัดการ แล้วค้นหาคำว่า “Venture” เพื่อติดตั้งโหนด Comfy UI Art Venture
หลังจากนั้นให้ติดตั้งโหนด ControlNet Auxiliary Pre-processors เพื่อให้สามารถเข้าถึง Pre-processors เพิ่มเติมได้
ในขั้นตอนสุดท้ายให้ค้นหา Comfy Roll และติดตั้ง Comfy Roll Studio เพื่อให้สามารถรวมโมเดล ControlNet หลายๆ ตัวในการทำงานได้
ขั้นตอนที่ 6: การสำรวจ Preprocessors: Canny, Depth, และอื่นๆ
ในขั้นตอนนี้เราจะสำรวจ preprocessors ที่แตกต่างกันและวิธีการที่พวกเขาสามารถช่วยในการสร้างภาพที่มีคุณภาพสูงขึ้นได้ โดยเฉพาะอย่างยิ่ง Canny และ Depth ซึ่งเป็นตัวอย่างที่ใช้บ่อยที่สุด
Preprocessor Canny
Canny เป็น preprocessor ที่ดีในการตรวจจับขอบของภาพ มันทำหน้าที่เหมือนการใช้ดินสอในการวาดขอบของวัตถุ ซึ่งจะช่วยให้ AI เข้าใจโครงสร้างของภาพได้ดีขึ้น
การใช้ Canny จะเป็นประโยชน์สำหรับการสร้างภาพที่มีรายละเอียดของโครงสร้าง เช่น ภาพศิลปะที่มีเส้นสายชัดเจนหรือการออกแบบสถาปัตยกรรม
Preprocessor Depth
Depth เป็นอีกหนึ่ง preprocessor ที่ช่วยในการวิเคราะห์โครงสร้าง 3 มิติของภาพ มันสามารถแยกแยะได้ว่าสิ่งใดอยู่ใกล้หรือไกลจากกล้อง ซึ่งจะช่วยสร้างภาพที่มีความลึกและมิติที่ชัดเจน
การใช้ Depth เหมาะสำหรับการสร้างภาพที่ต้องการความสมจริงและมุมมองที่มีมิติ เช่น ภาพทิวทัศน์หรือฉากที่มีการวางแผนอย่างดี
ขั้นตอนที่ 7: การรวม ControlNet เข้ากับ Workflow ของคุณ
ในการรวม ControlNet เข้ากับ workflow ของคุณ ให้เริ่มจากการเพิ่ม node ที่เรียกว่า “Apply ControlNet” ลงใน canvas
หลังจากนั้นให้เชื่อมโยง conditioning ไปยัง node นี้เพื่อให้สามารถนำเข้า image map ที่ถูกสร้างจาก preprocessor ได้
การเชื่อมต่อ Node
- เชื่อมต่อ output ของ load image node ไปยัง input ของ ControlNet pre-processor
- เชื่อมต่อ output ของ ControlNet pre-processor ไปยัง input ของ Apply ControlNet node
- เชื่อมต่อ output ของ Apply ControlNet node ไปยัง K sampler
การทดสอบ Workflow
เมื่อคุณได้เชื่อมต่อ node ทั้งหมดแล้ว ให้ทำการทดสอบ workflow โดยการรันมันและดูผลลัพธ์ที่ได้ หากผลลัพธ์ไม่เป็นไปตามที่คาดหวัง อาจจะต้องลองเปลี่ยน prompt หรือปรับแต่ง preprocessor ที่ใช้
ขั้นตอนที่ 8: การซ้อนโมเดล ControlNet หลายตัว
การซ้อนโมเดล ControlNet ช่วยให้คุณสามารถใช้หลาย pre-processors สำหรับภาพเดียวกันได้ ซึ่งจะทำให้ได้รายละเอียดที่หลากหลายมากขึ้น
เริ่มจากการค้นหา node ที่เรียกว่า “CR Stack” เพื่อสร้าง stack สำหรับโมเดล ControlNet
การเพิ่ม Node Stack
- เชื่อมต่อ output ของ pre-processor แรกไปยัง input ของ node stack
- เพิ่ม control net ที่สองโดยการทำซ้ำ node แรกและปรับแต่งให้ใช้ pre-processor ที่แตกต่างกัน
- เชื่อมต่อ output ของ node stack ไปยัง node apply multi-control net
ขั้นตอนที่ 9: การทดสอบและปรับแต่ง Workflow ของคุณ
หลังจากที่คุณได้ซ้อนโมเดล ControlNet หลายตัวแล้ว ให้ทำการทดสอบ workflow อีกครั้ง เพื่อดูว่าผลลัพธ์ที่ได้มีความหลากหลายและน่าสนใจมากขึ้นหรือไม่
คุณสามารถปรับแต่งค่า strength สำหรับแต่ละ pre-processor เพื่อดูผลลัพธ์ที่แตกต่างกัน เพิ่มเติมได้
ขั้นตอนที่ 10: คำถามที่พบบ่อย (FAQ)
1. ControlNet คืออะไร?
ControlNet เป็นโมเดลที่ช่วยให้ AI สร้างภาพที่ตรงตามโครงสร้างหรือสไตล์ที่ต้องการ โดยการใช้ pre-processors ที่แตกต่างกันเพื่อปรับปรุงคุณภาพของภาพ
2. ฉันสามารถใช้ ControlNet กับโมเดลอื่นๆ ได้หรือไม่?
ControlNet ถูกออกแบบมาเพื่อทำงานร่วมกับโมเดล AI ที่เฉพาะเจาะจง ดังนั้นคุณต้องตรวจสอบให้แน่ใจว่า ControlNet ที่คุณใช้ตรงกับโมเดล AI ที่คุณมี
3. ควรเลือก pre-processor อะไรสำหรับภาพของฉัน?
การเลือก pre-processor ขึ้นอยู่กับประเภทของภาพที่คุณต้องการสร้าง หากคุณต้องการโครงสร้างที่ชัดเจน Canny เป็นตัวเลือกที่ดี แต่ถ้าคุณต้องการความลึก Depth จะเหมาะสมกว่า
