ในบทความนี้เราจะมาสำรวจวิธีการสร้าง Prompt โดยใช้โมเดลภาษาใหญ่ (LLMs) และการสร้าง Prompt จากภาพใน ComfyUI ที่จะช่วยเพิ่มประสิทธิภาพในการทำงานของคุณ.
สารบัญ
บทนำ
ในยุคปัจจุบันที่เทคโนโลยีการสร้างภาพและการประมวลผลภาษาได้ก้าวหน้าขึ้นอย่างรวดเร็ว การสร้าง Prompt ที่มีประสิทธิภาพจึงกลายเป็นสิ่งที่สำคัญสำหรับการใช้งานในหลายๆ ด้าน ไม่ว่าจะเป็นการสร้างเนื้อหา การออกแบบกราฟิก หรือการพัฒนาซอฟต์แวร์ ในบทความนี้เราจะมาพูดถึงวิธีการสร้าง Prompt ที่มีคุณภาพโดยใช้โมเดลภาษาใหญ่ (LLMs) และการสร้าง Prompt จากภาพ ซึ่งจะช่วยให้คุณสามารถนำไปใช้งานได้อย่างมีประสิทธิภาพมากยิ่งขึ้น
ขั้นตอนที่ 1: สร้าง Prompt จากภาพ
การสร้าง Prompt จากภาพเริ่มต้นด้วยการใช้โมเดลภาษาเชิงภาพ เช่น Florence 2 ซึ่งพัฒนาโดย Microsoft โมเดลนี้ถูกออกแบบมาเพื่อทำงานกับภาพและข้อความที่เกี่ยวข้อง เช่น การสร้างคำบรรยายภาพและการตรวจจับวัตถุ
เริ่มจากการติดตั้ง Florence 2 ผ่านทาง Custom Nodes Manager โดยค้นหาคำว่า “Florence” และเลือกโหนดที่มี ID 269 จากนั้นคลิกติดตั้ง
หลังจากติดตั้งเสร็จสิ้น คุณอาจจะต้องรีสตาร์ท ComfyUI เพื่อให้การติดตั้งเสร็จสมบูรณ์
เมื่อเปิด ComfyUI ขึ้นมาใหม่ ให้เพิ่มโหนด Florence ลงใน canvas และเชื่อมต่อกับโหนดที่โหลดภาพ จากนั้นให้เชื่อมต่อกับโมเดล Florence ที่คุณได้ติดตั้ง
ขั้นตอนที่ 2: ใช้ LLMs ในการสร้าง Prompt
หลังจากที่เราสามารถสร้าง Prompt จากภาพได้แล้ว ขั้นตอนถัดไปคือการใช้โมเดลภาษาใหญ่ (LLMs) เพื่อสร้าง Prompt จากคำสั่งข้อความ โดยสามารถทำได้ง่ายๆ ผ่านการติดตั้งโหนด Surge ที่มี ID 97
ติดตั้งโหนด Surge โดยไปที่ Custom Nodes Manager และค้นหา “Surge” จากนั้นคลิกติดตั้ง เมื่อเสร็จแล้วให้รีสตาร์ท ComfyUI อีกครั้ง
เมื่อ ComfyUI กลับมาใช้งานได้ ให้เพิ่มโหนด Surge LLM ลงใน canvas และเชื่อมต่อกับโหนดที่จะแสดงผลลัพธ์
ในช่องข้อความ ให้ใส่คำสั่งที่คุณต้องการ เช่น “แมวการ์ตูนที่น่ารัก” เมื่อรันโฟลว์เวิร์กนี้ คุณจะได้รับ Prompt ที่สร้างขึ้นจากคำสั่งที่คุณใส่
หากพบข้อผิดพลาดในการรัน ให้ตรวจสอบว่าคุณได้ติดตั้งโมเดลที่จำเป็นเรียบร้อยแล้ว หากยังไม่พบโมเดล ให้คลิก Refresh เพื่ออัปเดต
เมื่อทุกอย่างถูกตั้งค่าเรียบร้อยแล้ว คุณสามารถทดลองสร้าง Prompt ที่หลากหลายจากคำสั่งที่แตกต่างกันได้
ขั้นตอนที่ 3: สูตร ChatGPT สำหรับ Flux Prompts
สูตร ChatGPT สามารถช่วยในการสร้าง Prompt ที่มีรายละเอียดสำหรับ Flux ได้อย่างมีประสิทธิภาพ โดยเฉพาะในช่องทาง Discord ในช่องทาง PixAroma Workflows คุณสามารถค้นหาสูตรที่ถูกจัดเตรียมไว้แล้วนี้
เริ่มต้นด้วยการคัดลอกส่วนที่ให้มาแล้วนำไปวางใน ChatGPT เวอร์ชัน Mini ซึ่งไม่มีข้อจำกัดในการสร้าง จากนั้นให้วางและรันสูตรนี้เพื่อสร้าง Prompt ของคุณ
เมื่อรอจนจุดสีเขียวหายไปแล้ว ให้คลิกที่ปุ่มคัดลอกโค้ด หลังจากนั้นกลับไปที่ Flux Workflow ของคุณและวาง Prompt ที่ได้ลงไป เมื่อรัน Workflow คุณจะเห็นผลลัพธ์ที่น่าพอใจ
ตัวอย่างเช่น หากคุณขอให้สร้าง “การ์ตูนกระต่ายนินจาในป่าไผ่” คุณจะได้รับผลลัพธ์ที่ตรงตามที่คาดหวัง
การใช้สูตรนี้ช่วยเร่งกระบวนการสร้าง Prompt และคุณสามารถปรับแก้ Prompt ที่ได้ตามต้องการได้อีกด้วย
คำถามที่พบบ่อย (FAQ)
- การสร้าง Prompt จากภาพต้องทำอย่างไร?
คุณสามารถใช้โมเดลภาษาเชิงภาพ เช่น Florence 2 เพื่อสร้าง Prompt จากภาพโดยการติดตั้งโหนดที่เกี่ยวข้องและเชื่อมต่อกับโหนดโหลดภาพ - ฉันจะใช้โมเดลภาษาใหญ่ (LLM) เพื่อสร้าง Prompt ได้อย่างไร?
คุณสามารถติดตั้งโหนด Surge LLM และเชื่อมต่อกับโหนดที่แสดงผลลัพธ์ โดยใส่คำสั่งที่ต้องการในช่องข้อความ - ถ้าฉันพบข้อผิดพลาดในการรัน Workflow จะทำอย่างไร?
ตรวจสอบว่าโมเดลที่จำเป็นได้ถูกติดตั้งเรียบร้อยแล้ว หากยังไม่พบโมเดล ให้คลิก Refresh เพื่ออัปเดต - มีวิธีใดในการปรับแต่ง Prompt ที่สร้างจาก ChatGPT หรือไม่?
ใช่ คุณสามารถปรับแก้ Prompt ที่สร้างขึ้นจาก ChatGPT ก่อนที่จะนำไปใช้ใน Workflow ของคุณได้ตามต้องการ - ฉันสามารถใช้โมเดลอื่นๆ นอกเหนือจาก Florence ได้หรือไม่?
แน่นอน คุณสามารถทดลองใช้โมเดลอื่นๆ เช่น Cog 2.2 หรือ sd3 captioner เพื่อดูว่าผลลัพธ์ที่ได้แตกต่างกันอย่างไร