Hugging Face公布手机实验的袖珍话语模子SmolLM2

Hugging Face上周公布可在手机上实验的最新一代话语模子SmolLM2家眷。

这是继7月初度问世后，SmolLM家眷最新版块，包括参数目135M、360M与1.7B三种范围，其中135M参数模子分红基础及Instruct版，而360M与1.7B参数模子则分红基础、Instruct及GGUF（GPT-Generated Unified Format）版，共11个模子，都以Apache 2.0授权开源。

135M、360M与1.7B都所以公开数据集和Hugging Face编排的数据集如FineWeb-Edu、DCLM和The Stack，以监督式微调（supervised fine-tuning）措施历练，1.7B版块还多了些数学与要领代码数据集。数据集的量区分为2兆、4兆与11兆字词。Hugging Face还诓骗平直偏好优化（Direct Preference Optimization，DPO）算法来强化。

三个范围的模子历练的软件架构都是Transformer decoder，硬件架构而言，其中135M与360M模子实验于64颗H100的办事器，而1.7B版块则为256颗H100的环境。

一如第一代，SmolLM2亦然可实验在诞生上的轻量级模子，但在教导顺从、学问与相识能力优于第一代。而拜Argilla的数据集如Synth-APIGen-v 0.1之赐，Instruct模子另外还解救改写、进击摘抄、与函数调用等任务。

字据Hugging Face的数据，在多项基准测试上，以SomlLM2-1.7B而言，不但优于第一代，也跳跃参数目更多的Llama-1B-Instruct及阿里巴巴的Qwen2.5-1.5B-Instruct。

天然能力更普及，但新一代SmolLM照旧有些不及。当今SmolLM2模子只可相识和生成英文骨子。此外也还存在事实准确性、逻辑一致性以及偏差等问题。Hugging Face提议用户只可用于接济器具，且应十分谨防评估其产出骨子。