tag: PEFT.md

Tag: PEFT

2 posts
Create a PEFT Module Guideline
概览想在自己的仓库里“魔改”PEFT,最常见的套路是: Clone 官方 peft 源码 在 tuner/ 里新建一个模块目录 用可编辑安装(pip install -e)替换你项目中的 PEFT 按需写 config.py、layer.py、model.py 下面我用 LoRA(低秩适配器)举例,带你一步步梳理如何从零创建一个可复用的 PEFT Module。读不懂的地方我会...
Peft Finetune LoRA Example
Steps Get a pretrained model from Huggingface Load the model and tokenizer Prepare the dataset Prepare the training arguments Prepare the trainer Add the model Train the model Save the model Get a p...