金枪鱼之夜：开元-2B：全流程开源的端侧模型预训练实践

[Xiaoyi Liu]

Dear Tunars,

本周末的 Tunight 活动信息如下：

清华 PACMAN 实验室近期联合鹏城实验室发布了基于全国产算力训练的端侧模型——鹏城脑海-2.1-开元-2B（PCMind-2.1-Kaiyuan-2B，简称开元-2B），它的一大特点是保证了包括训练数据在内的全流程开源。TUNA 很荣幸邀请到了 PACMAN 实验室的罗开荣同学为我们介绍开元-2B 模型及其训练过程中使用的框架，欢迎大家一起学习！

—-

开元-2B依托鹏城实验室“脑海2”集群进行模型预训练，主要特点包括：

1. 全流程开源：不同于一般仅开源模型权重的“开源”模型，开元-2B 完全基于符合开源许可的数据进行训练，并开源了处理后的训练数据、数据处理框架及训练框架；
2. 全国产算力训练：数据处理基于鲲鹏 920 集群，模型训练基于昇腾 910A 集群，并通过模型结构调整适配国产硬件的数值精度；
3. 高效训练：综合改进数据处理和训练策略，使用 2.2T 数据、20 亿总参数、14 亿非嵌入参数进行训练，最终模型在全开源系列模型中实现了参数-性能的帕累托最优。

具体细节可参见技术报告： https://arxiv.org/pdf/2512.07612

- HuggingFace模型链接： https://huggingface.co/thu-pacman/PCMind-2.1-Kaiyuan-2B
- HuggingFace数据链接： https://huggingface.co/datasets/thu-pacman/PCMind-2.1-Kaiyuan-2B
- 数据处理框架： https://github.com/thu-pacman/Kaiyuan-Spark
- 训练框架： https://github.com/thu-pacman/kaiyuan-mindformers

活动信息：

- 活动网页： https://tuna.moe/event/2025/kaiyuan/

- 主讲人：罗开荣
- 时间：2025/12/20（校历第十四周周六） 19:00 UTC +08:00
- 活动形式：线下 + 线上会议 + 直播
  - 地点：待定，预计为三教 1103, 请关注后续邮件更新
  - 线上会议：腾讯会议 717-212-038 密码 251220

  - 直播链接：https://youtube.com/live/64rnj9Hzygk

欢迎一起来玩！

喵喵

[Xiaoyi Liu]

Dear Tunars,

本次 Tunight 的活动地点更新为三教 1102

明晚不见不散！

喵喵

[Yuankun Li]

你好，我在上周六通过在线会议看了本次金枪鱼之夜的技术分享，受益良多，感谢分享。

我想回顾一下会议的内容，我在腾讯会议内发起了对云录制内容的查看申请，不知能否审批一下，十分感谢。

Xiaoyi Liu <circui...@gmail.com> 于2025年12月19日周五 20:41写道：

--
您收到此邮件是因为您订阅了Google群组上的“TUNA 主邮件列表”群组。
要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到tuna-general...@googlegroups.com。
如需查看此讨论，请访问 https://groups.google.com/d/msgid/tuna-general/5579f848-0673-488b-b255-34e5841f859en%40googlegroups.com。

[rice aunt]

好的好的

为人民服务！

Xiaoyi Liu <circui...@gmail.com>于2025年12月19日 周五20:41写道：

Dear Tunars,

--

[Xiaoyi Liu]

您好！

申请已经通过，如有问题可再单独回复本封邮件。此外还有两个途经可以查看过往活动：

- YouTube 直播有录像

- 本周末我们会把直播录像上传到 tuna.moe 上，也可以选择届时直接下载录像和转录文本。

祝好

喵喵

Yuankun Li <liyuank...@gmail.com> 于2025年12月23日周二 19:07写道：

如需查看此讨论，请访问 https://groups.google.com/d/msgid/tuna-general/CAOmN6-jpM%3DOEY4Hz4EnrK0Y%2Btz2-teJTjD3CESq5FYaaBgNaSg%40mail.gmail.com。