字节开源全栈AI编程基准，不防御曝光豆包代码大模子

允中 发自 凹非寺量子位 | 公众号 QbitAI

豆包代码大模子，不防御给曝光了！

在字节开源的代码大模子评估基准FullStack Bench内部，出现了此前字节未败露过的Doubao-Coder。

不外面前还仅仅Preview版，还并莫得上线。

它在多种编程说话上的性能证明如下，可以看到在闭源模子中名按序五。

本年6月，字节还发布了AI编程助手豆包MarsCode。据传即由Doubao-Coder模子撑捏。

面前，豆包MarsCode每月为用户孝顺百万量级代码。

而回到这个评估基准，据先容FullStack Bench是面前最全面的代码评估数据集。

团队还同步开源了可随时测评代码大模子的沙盒履行环境SandBox Fusion，单处事器即可部署，也可径直在线体验。

全新代码大模子评估基准FullStack Bench

既然如斯，那就先来了解一下这个最新评估基准。

有一说一，当今代码大模子越来越卷，评估AI编程水平的“考卷”也被动升级~

代码评估基准可以匡助代码大模子按捺优化。不外，现时的主流基准越来越难以反馈代码大模子的竟然水平了。

主要体当今题目类型相对单调，掩饰的应用边界和编程说话少，模子即便在锤真金不怕火中拿了高分，践诺中可能仍是难以卤莽复杂的编程问题。

为了更竟然地评估AI编程水平，字节豆包大模子团队融合M-A-P社区，开源了全新代码大模子评估基准FullStack Bench。

这是一个专注于全栈编程和多说话编程的代码评估数据集，它初度囊括了编程全栈期间中越过11类竟然场景，掩饰16种编程说话，包含3374个问题。

FullStack Bench的应用边界抽取自寰球最大的要领员期间问答社区Stack Overflow，比较HumanEval等基准掩饰的编程边界扩大了一倍以上。

此前业界基准难以反馈竟然寰宇代码树立的种种性和复杂性。

举例，HumanEval和MBPP中近80%数据只聚焦于基础编程和高等编程问题；DS-1000中越过95%数据麇集于数据分析和机器学习，且仅对Python说话进行评测；xCodeEval虽掩饰多项任务，但基本局限于高等编程和数学边界；McEval和MDEval扩张了支捏的编程说话，但应用边界仍局限于基础编程和高等编程，未波及更平凡的场景。

为模拟全栈树立的实质应用场景，字节豆包大模子和M-A-P征询团队分析了寰球最大的要领员期间问答社区Stack Overflow上的问题永诀，从中索求出常见的竟然编程应用边界。

团队从Stack Overflow受骗场抽取了50万个问题，并使用大模子为每个问题标注应用边界类型。

征询团队筛选出占总问题数前88.1%的主要应用边界，其余边界归类为“其他”。再通过对边界永诀作念得当退换来保证鲁棒性，最终变成了FullStack Bench照拂的越过11种应用场景及永诀比例。

FullStack Bench包含3374个问题（华文及英文问题各占一半），每个问题均包括题目描摹、参考责罚决议、单位测试用例及标签，共计15168个单位测试。

为保证评估准确性，每个问题内容均由相干边界的编程各人打算，并经AI和东谈主工考证进行质料复核。举例，数据分析相干问题，由数据工程各人建议并把关配套内容。

在运行数据集构建后，团队凭据主流代码大模子测试成果，按问题难度、暧昧性和可解性对数据质料进行了交叉评估和进一步完善。

FullStack Bench数据组成情况如下图所示。

为便捷树立者对大模子代码材干进行系统性测试，豆包大模子团队还开源了一款高效的代码沙盒履行用具——SandboxFusion，用于评估来自不同说话的不同编程任务。

除了FullStack Bench，SandboxFusion还兼容越过10种平凡使用的代码评估数据集，支捏23种编程说话。树立者在单处事器上即可浪漫部署SandboxFusion，也可径直在GitHub上进行体验。

评测成果：责罚清贫，闭源模子仍优于开源模子

发布评测基准及沙盒的同期，征询团队也基于FullStack Bench测评了寰球20余款代码大模子及说话大模子的编程证明。

模子包括Qwen2.5-Coder、DeepSeek-Coder-v2、CodeLlama等开源模子，以及GPT-4o、OpenAI-o1、Doubao-Coder-Preview等闭源模子。关于开源模子，凭据模子大小，分为五个组别：1B+、6B+、13B+、20B+和70B+。

跨边界证明：数学编程边界各异最大

成绩于庞大的推理材干，OpenAI o1-preview居然如斯地率先。

不外，一些开源模子也有可以的证明。如DeepSeekCoderv2-Instruct，在AP(高等编程）、OS(操作系统）和其他类别中得到高分，拉开了与其他开源模子的差距。

OpenCoder-1.5B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen2.5-Coder-14B-Instruct在其各自开源组别中拔得头筹，并越过了一些更高参数级别的模子。

为了全面评估现有大说话模子在不同场景下的证明，征询团队可视化了模子在FullStack Bench各边界的证明。

在BP（基础编程）、AP（高等编程）、MA（数学编程）、ML（机器学习）和MM（多媒体）等边界中，模子证明各异权臣，其中以MA边界的差距最大。

MA最好证明者为OpenAI o1-preview（得分80.42），而最差的是CodeLlama-34B-Instruct（得分14.34）。数学编程条目模子同期具备数学和编程材干，那些在高度专科化代码语料库上教练的模子，在MA边界每每证明较差。

这一成果进一步领悟，FullStack Bench粗略更全面地评估模子的轮廓编程材干。

跨说话证明：C++、C和Ruby上存较大各异

征询团队对不同模子在多种编程说话上的性能证明进行了分析。

大大批模子在Bash编程任务中证明邃密。然而，在C++、C和Ruby的证明上存在较大各异，这标明模子打算者可能在教练语料库中对这些说话进行了聘用性采样。部分1B+的袖珍模子在D、R和Scala说话上的证明较差，其通过率低于10%，这标明它们的多说话处理材干齐较弱。

由于SandboxFusion提供了来自编译器的反馈，征询东谈主员评估了模子在部分编程说话上的编译通过率。实验成果标明，编译通过率与测试通过率之间存在正相干关系，但编译通过并不料味着测试一定通过。同期，征询还考虑了中英文抒发对模子性能的影响。

责罚清贫，闭源模子渊博优于开源模子

不同模子在不同难度问题上的证明有在流露各异。总体而言，1B+模子和CodeLlama系列在扫数难度级别上的证明均不尽如东谈观念。其余模子在责罚肤浅问题时证明相同，但在中等难度问题上存在一定差距。关于难度较大的问题，闭源模子渊博优于开源模子。

使用SandboxFusion，可升迁模子证明

征询东谈主员对比了“反念念战略（Reflection）”和“N次揣摸战略（BoN）”两种战略。在Reflection战略中，通过运用SandboxFusion的反馈险阻文对谜底进行N次雅致，复现了自我雅致战略 [Madaan et al., 2024]。而在BoN战略中，仅进行N次揣摸以赢得成果。

成果如图所示，“Reflection”战略流露优于“BoN”，这标明SandboxFusion提供的反馈险阻文具有较高的灵验性。

了解这篇征询的笃定，可见文内Arxiv麇集，或照拂「豆包大模子团队」公众号，查阅更介意解读。

参考麇集：[1]论文麇集：https://arxiv.org/pdf/2412.00535v2[2]数据集开源地址：https://huggingface.co/datasets/ByteDance/FullStackBench[3]沙盒开源地址：https://github.com/bytedance/SandboxFusion[4]沙盒体验进口：https://bytedance.github.io/SandboxFusion/playground/datasets