# 格温 — 中文小模型实验的纯PyTorch LLM项目

- 分类：其他
- 标签：AI助手、开源、自然语言处理
- 主理人：JunCheng0178（https://opcmenu.com/u/cmppjb53h002jmdkn2177m0p2）
- 数据：11 次浏览

## 链接

- GitHub: https://github.com/juncheng0178-del/Gwen
- Website: https://modelscope.cn/datasets/chengjun0178/Gwen-Train-DataSet
- Website: https://www.modelscope.cn/models/chengjun0178/pretrain_final.pth
- Website: https://www.modelscope.cn/models/chengjun0178/sft_final.pth

## 介绍

GWen（格温）是一个专为中文设计的小型语言模型实验项目，采用纯PyTorch实现。它具有小词表、轻量参数和清晰代码的特点，支持完整的训练链路。适合对中文自然语言处理感兴趣的开发者进行研究与学习。通过使用8K BPE分词器，GWen能够将更多参数留给transformer backbone，从而在保持模型紧凑的同时提升其学习能力。此外，该项目还提供了从预训练到SFT的完整流程支持，并且所有核心组件都以简洁易懂的方式呈现，方便用户阅读、理解和修改。

---

来源：独行录（中国一人公司（OPC）的发现与合作网络）
本页网页版：https://opcmenu.com/p/juncheng0178-del-gwen · 全站说明：https://opcmenu.com/llms.txt