|
|
本帖最后由 dishao 于 2026-7-26 09:57 编辑
最近收到了由MCOET提供的xin服务器使用xinbot和xinbls收集的大量日志(见这个帖子) 通过一些数据工程提取出了20.7 万条消息
使用这些数据我分重新别训练和微调了几个大语言模型
一个重新训练的版本 参数规模很小只有29M cpu可以直接跑推理
使用千问1.5b模型lora微调的版本需要大约4GB显存 一般消费级显卡可以跑推理
使用千问14b模型lora微调的版本需要大约32GB显存 4bit量化需要约10GB显存
目前第一个模型已经训练完成并且开源github 除了数据集和数据处理脚本的部分过滤器(因为有敏感词我不想被请喝茶)外的所有复现和推理所需代码已经全部公开在github
使用千问微调的模型暂时还在训练 训练完成后我会开源发布
目前正在进一步优化数据集 现在因为数据的原因有些前言不搭后语 正在使用其他llm进行数据配对标注
仓库地址: https://github.com/huangdihd/xinllm
|
|
发表于 2026-7-25 20:24:15
置顶卡
变色卡
楼主