【AI绘画】较详细!正则化!从泛化性角度谈Lora模型训练心得-【AI绘画】较详细!正则化!从泛化性角度谈Lora模型训练心得

AID:
CID:
视频图片:
作者头像:
弹幕地址:
视频描述:

热门回复:

  • 秋葉aaaki:视频非常棒,写得非常详细,也给出了非常多的引用,看得出来花了很多心思,都可以来看看这个视频学习一下。之后我也会再讲讲lora训练的细节。顺便一提正则化图像的参数我已经加到脚本里了,reg_data_dir参数。 我简单补充一下视频的内容(随便点了点,没太仔细看视频): 1. 关于打tag,实际上就是很简单,打了对应tag的会被学进那个tag里面,没有tag的就固化在了模型里面。具体表现就是有些模型必须要“触发词”,而有的模型直接用就行 2. 正则化这个东西其实在dreambooth的时候就已经在用了,可以有效防止过拟合。 3. 学习率预热就对应参数lr_warmup_steps 4. batch size影响泛化性,图片数量少于100的情况下不推荐超过3。调节bs同时也要调节学习率,可以选择sqrt和线性变化。 具体可以看视频 https://www.bilibili.com/video/BV1A8411775m/
  • WSH032:训练平台:https://www.bilibili.com/read/cv21926598 参考引用: Up冬雪初月的专栏【LoRA训练全参数讲解】:https://www.bilibili.com/read/cv22022392 Up秋葉aaaki的【LoRA模型训练教程 一键包】:https://www.bilibili.com/video/BV1fs4y1x7p2 kohya-ss的github中的指南:sd-scripts/train_db_README-ja.md at main · kohya-ss/sd-scripts · GitHub rentry.org上的guide文章: https://rentry.org/2chAI_LoRA_Dreambooth_guide_english#for-kohyas-script https://rentry.org/lora_train https://rentry.org/LazyTrainingGuide https://rentry.org/lora-training-science 正则化示范:https://mega.nz/folder/lMQyDTTB#0XM9piheaxg-a9TI7vuDJQ/folder/8cw2nKbT
  • 大闪封走位:我觉得这里这个打标签的争议,主要取决于用这个lora想达到的效果。 比如说我用这个lora就是想做二次元转三次元,甚至连衣服也不想变,就想实现打一个比如说saber就有穿盔甲装的saber的完整形象,那么去掉特征标签的效果肯定是最好的。 保留标签的泛华性确实高,但是很多时候尤其二次元就是需要人物特征去锚定一个角色。最典型的就是发色。不论是什么版本的明日香,发色都是橙色的。如果连发色都不去掉,那么只有加上橙色头发才能出明日香,这显然也不符合一个明日香lora该有的效果。 反正就是综合看人想要什么效果。
  • 冬归初雪:虽然但是,窝的名字被你打错了哈哈哈哈
  • Mr_日天:然而这种方法制作出来的lora会导致需要超级多的tag来还原人物,十分难用,如果可以,我可以分享几个例子lora,包括删去和没删去tag的lora。