|
近期，ControlNet的作者推出了一个全新的项目——Omost。这个项目对现有图像模型的提示词理解有着巨大的帮忙。经过很短的提示词，就能够生成非常仔细并且空间表现很准确的照片。
划重点，这个项目需要8G显存显卡运行，据述老显卡，例如10系可能用不了，详细自动测试。
从此，天下无难写的生图提示词
当然Omost还是和AI绘画关联：处理大伙不会写提示词的痛点。
除了自动写词外，会话模式改图亦是一大亮点，第1次生成的效果不满意，能够以“聊天”方式再次发布会话内容，修改上次生成的内容。
此刻只需一句超简单的提示词说明意图，Agent就会自己起始“构图”
例如写一句简短的提示词
“ generate an image of the fierce battle of warriors and the dragon”（生成勇士与龙的激烈战斗的图像）
软件就会自动起始构图：
以下构图流程部分做了中文翻译，让大众能更直观看到全部流程：
---------------------------
# Initialize the canvas
canvas = Canvas()
# 为画布设置全局描述
canvas.set_global_description(
description=一个以勇士和龙为主角的激烈战斗场景.,
detailed_descriptions=[
这张照片拍摄了勇敢的战士和可怕的龙之间的史诗般的战斗.,
战士们身穿中世纪盔甲，挥舞着剑和盾牌，展示了她们凶猛的决心.,
巨龙张开巨大的翅膀，喷火照亮了阴暗的天空.,
背景是崎岖的山区景观，增多了场景的强度和戏剧性.,
战士们战略性地围绕着巨龙展开，有些人试图躲避巨龙的火焰，而另有些人则准备发动攻击.,
当龙在战场上威胁性地逼近时，气氛充满了紧张和即将到来的厄运感.,
灯光是戏剧性的，火焰在全部场景中投射出炽热的光芒和暗影.,
],
关键词=战斗，战士，龙，中世纪的盔甲，剑，盾牌，火，翅膀，阴暗的天空，崎岖的风景，山脉，紧张，戏剧，战场，火焰，暗影，史诗，激烈，激烈，决心，勇敢，迫在眉睫，威胁，充份，即将到来的厄运,
HTML_web_color_name=firebrick,
# 加上猛龙.
canvas.add_local_description(
location=in the center,
offset=no offset,
area=a large square area,
distance_to_viewer=5.0,
description=The fierce dragon.,
detailed_descriptions=[
The dragon is the centerpiece of the battle scene.,
Its massive wings are spread wide, revealing intricate scales and powerful muscles.,
The dragon’s eyes are fierce and glowing, reflecting its anger and determination.,
It breathes fire, which illuminates the darkening sky with bright, fiery hues.,
The dragon’s body is muscular and covered in protective scales, and its tail is poised to strike.,
The overall appearance of the dragon is one of pure power and menace, making it a formidable opponent in this epic battle.,
],
关键词=龙，翅膀，鳞片，肌肉，眼睛，火，发光，愤怒，强大，威胁，强大，对手，战斗，核心，明亮，色调，阴暗的天空，肌肉，守护，沉着，打击,
atmosphere=The atmosphere is charged with tension and the sense of impending doom.,
style=The style is dramatic and intense, with a focus on the dragon’s menacing presence.,
quality_meta=The dragon is depicted with intricate details and a powerful presence.,
HTML_web_color_name=darkred,
# 添加准备攻击的战士.
canvas.add_local_description(
location=on the left,
offset=slightly to the lower-right,
area=a medium-sized vertical area,
distance_to_viewer=4.5,
description=Warriors preparing to strike.,
detailed_descriptions=[
A group of warriors, clad in medieval armor, are positioned on the left side of the scene.,
They are armed with swords and shields, ready to face the dragon.,
Their expressions are determined and focused, showing their bravery and readiness for battle.,
The warriors are strategically placed to prepare for an attack, with some members slightly to the lower-right, positioned to dodge the dragon’s flames.,
The armor they wear is detailed, with engravings and protective elements, showcasing their skill and craftsmanship.,
The lighting casts dramatic shadows on their figures, emphasizing the tension and intensity of the battle.,
],
关键词=战士，中世纪盔甲，剑，盾牌，决心，专注，勇敢，准备，战斗，战略，躲闪，火焰，仔细，雕刻，守护，技能，工艺，戏剧性，暗影，紧张，强度,
atmosphere=The atmosphere is intense and charged with the energy of the impending battle.,
style=The style is focused and detailed, capturing the bravery of the warriors.,
quality_meta=The warriors are depicted with detailed armor and expressions of determination.,
HTML_web_color_name=saddlebrown,
# 添加试图躲避火焰的战士.
canvas.add_local_description(
location=on the right,
offset=slightly to the upper-left,
area=a medium-sized vertical area,
distance_to_viewer=4.5,
description=Warriors attempting to dodge flames.,
detailed_descriptions=[
On the right side of the scene, a group of warriors is seen attempting to dodge the dragon’s flames.,
They are positioned slightly to the upper-left, with their movements swift and precise.,
The warriors are clad in medieval armor, and their expressions are a mix of urgency and focus.,
The flames from the dragon’s mouth create a dramatic contrast, with bright hues of fire illuminating the darkening sky.,
The warriors’ armor is detailed, with protective elements and engravings, showcasing their readiness for battle.,
The lighting emphasizes the urgency and intensity of the moment, casting dynamic shadows and highlights.,
],
关键词=战士，中世纪盔甲，躲闪，火焰，快速，精确，紧迫，焦点，戏剧性，对比，明亮，色调，火焰，照明，变暗
---------------------------
放大翻译成中文来看，用户简短的提示词会被拆解扩展，从图像全局描述到局部每一个元素的都会仔细说明，直观地指定图像中各个元素的位置和体积。
之后，特定图像生成器按照LLM描绘的“蓝图”创建最后的图像。例如，咱们刚才生成的“人龙大战”
况且，已然完成的图像整体布局能够保存，想修改画面中的某个元素，亦只需一句提示词。
例如我想把当前生成的龙改成恐龙，只需要执行一句话 " change the dragon to a dinosaur "，效果如下：
咱们能够将Omost生成的关键词复制到其他AI绘画软件，例如SD里，一样能生成酷炫的效果。
日前，Omost用来生成代码的LLM有基于Llama3和Phi3变体的三种模型。
项目亮点:
自动扩展提示词:Omost能够将简单的提示词拆解成仔细的描述，从图像整体到局部元素的位置和体积均能仔细说明。例如输入“a funny cartoon batman fights joker”，系统会生成蝙蝠侠与小丑战斗的完整图像。
高灵活性:生成的图像布局能够保存，用户能够经过简单的提示词对图像中的某个元素进行修改。例如，将龙变成恐龙，系统会按照新提示生成修改后的图像。
图像位置编码:Omost经过将图像划分为729个区别的位置来简化图像元素的描述。每一个位置包含预定义的参数，如位置、偏移量和区域，保证图像生成的准确性和细致度。
子提示系统:所有Omost LLM都经过训练，能够供给严格定义的“子提示”，这些子提示能够独立描述事物，并任意组合形成完整的提示。这种设计加强了提示词的灵活性和准确性。
重视力操作:Omost运用重视力分数调节技术来掌控图像生成过程中的区域关注度，实现更精细的图像生成。经过调节重视力分数，Omost能够生成符合提示词描述的图像元素。
提示前缀树:Omost引入提示前缀树技术，经过合并子提示来改进提示理解和描述。例如，能够将路径“a cat and a dog. the cat on the sofa”做为提示，从而生成相应图像。
Omost的实现和运用：
Omost项目基于Llama3和Phi3变体模型，用户能够经过供给简单的提示词来生成繁杂的图像。以下是该项目的几个关键组件:
位置和偏移量:将图像划分为9个位置，每一个位置进一步划分为81个偏移量，共有729个边界框，用于描述图像元素的位置。
distance_to_viewer和HTML_web_color_name:用于调节图像元素的视觉表现，经过组合这些参数能够生成粗略的图像构图。
重视力操作:基于重视力分数操作的baseline渲染器，经过调节重视力分数来掌控区别区域的模型关注度。
应用和前景
Omost技术的推出，不仅简化了提示词的编写，还加强了图像生成的精确度和灵活性。其应用场景包含但不限于AI绘画、图像设计、宣传创意、教育等行业。用户能够经过简单的提示词生成繁杂的图像，为创意设计供给了强大的工具支持。返回外链论坛： http://www.fok120.com，查看更加多
责任编辑：网友投稿
| 
发表于 2024-9-28 16:59:36
