[xinllm]由xin服聊天消息训练和微调的大语言模型

dishao

最近收到了由MCOET提供的xin服务器使用xinbot和xinbls收集的大量日志(见这个帖子) 通过一些数据工程提取出了20.7 万条消息

使用这些数据我分重新别训练和微调了几个大语言模型

一个重新训练的版本 参数规模很小只有29M cpu可以直接跑推理
使用千问1.5b模型lora微调的版本需要大约4GB显存 一般消费级显卡可以跑推理
使用千问14b模型lora微调的版本需要大约32GB显存 4bit量化需要约10GB显存

目前第一个模型已经训练完成并且开源github 除了数据集和数据处理脚本的部分过滤器(因为有敏感词我不想被请喝茶)外的所有复现和推理所需代码已经全部公开在github
使用千问微调的模型暂时还在训练 训练完成后我会开源发布

仓库地址: https://github.com/huangdihd/xinllm

RanSays_

300a核心的2080ti能跑吧