详细介绍
MagicQuill是一个开源的智能交互式图像编辑系统，由香港科技大学、蚂蚁集团、浙江大学、香港大学等机构的研究人员共同开发。它结合了用户友好的界面和强大的 AI 功能，使用户可以通过简单的笔触和提示词轻松完成复杂的图像编辑任务。以下是其主要特点和功能：
主要特点
- 用户友好界面：界面简洁直观，操作便捷，即使是非专业用户也能轻松上手。
- AI 驱动的智能建议：借助多模态大型语言模型（MLLM），实时监测用户交互，预测用户意图，提供智能建议，无需手动输入复杂的命令。
- 精准局部编辑：通过精心设计的两分支插件模块增强的扩散先验技术，实现对图像的精准局部编辑。
- 多平台支持：支持多个平台，用户可以在不同的操作系统上使用该系统进行图像编辑。
如何使用
- 项目主页：https://magicquill.art/
- 体验地址：https://modelscope.cn/studios/ant-research/MagicQuill_demo
- 模型链接：https://modelscope.cn/models/ant-research/MagicQuill-models
- 代码地址：https://github.com/magic-quill/MagicQuill
核心组成
编辑处理器（Editing Processor）：系统的核心处理模块，主要负责确保高质量、可控的编辑生成，从而准确反映用户的编辑意图。它实现了两种基于笔刷的引导机制：用于结构性修改的涂鸦引导和用于修改颜色属性的颜色引导。该模块的技术设计受到ControlNet和BrushNet的启发，通过特殊的控制架构确保能够精确遵循用户引导的同时保持未修改区域不变，从而实现精确的图像编辑效果。
绘画助手（Painting Assistor）：其设计目标是预测和解释用户的编辑意图，有效减少用户在编辑过程中需要重复输入文本提示的繁琐步骤。该模块运用多模态大语言模型（MLLM）来解释用户的笔刷操作，并能够基于图像上下文自动预测相应的提示。通过引入创新的"你画我猜"任务，并利用模拟真实编辑场景的数据集进行微调，绘画助手实现了连续的编辑工作流，让用户无需手动输入提示即可进行持续的编辑操作。
创意收集器（Idea Collector）：专注于提供直观且易用的操作界面，它的设计兼容多个平台，包括Gradio和ComfyUI等。用户可以通过这个界面使用不同的笔刷进行绘制，操作各种笔画，并实现连续的编辑过程。创意收集器的设计理念是让用户能够轻松自如地实现各种编辑操作，为整个系统提供一个用户友好的交互入口，显著提升图像编辑的效率和用户体验。
主要功能
- 添加画笔：用于添加细节和元素，用户可以通过自己的笔触表达想法。
- 减去画笔：可以移除多余的细节或根据提示重绘区域。
- 颜色画笔：能够精确地为图像上色。
- 智能猜测：画笔非常智能，能够在用户完成绘制后迅速猜测其想要创建的内容，并自动填充提示。
- 画布工具：提供上传照片、橡皮擦除、拖动旋转调整笔触大小、撤销重做、删除笔触、隐藏笔触等功能。
- 参数设置：用户可以调整基础模型名称以选择不同编辑风格的模型，输入不想生成的内容作为负提示词，启用精细边缘控制，调整笔触影响范围、边缘强度和颜色强度等参数。
应用场景
- 图像修复：修复损坏或老化的照片。
- 艺术创作：艺术家和设计师可以利用该系统的智能建议和局部编辑功能，创作出更加个性化的艺术作品。
- 教育用途：教育工作者可以使用 MagicQuill 来展示图像编辑的概念和技术。
- 社交媒体：社交媒体用户可以快速编辑图片，使其在发布前更加吸引人。
