史上最难的大模子测试集来了！世博在线娱乐体育

包括 o1 在内，莫得任何一个模子得分升迁 10%。

题目来自 500 多家机构的 1000 多名学者，最终入围的题目有 3000 多谈，一都都是相关生及以上难度。

入选的问题涵盖了数理化、生物医药、工程和社会科学等多种学科，按细分学科来算则多达 100 余个。

官方更是将它称为"东谈主类临了的熟悉"，AI 安全中心主任 Dan Hendrycks 也用了这么的说法。

还有宇宙首位辅导词工程师 Riley Goodside 默示，这才是熟悉顶尖模子的数据集该有的难度。

o1 得分不到 10%

如若按照大学科来算，入选的题目不错分为八大类，其中占比最多的是数学（42%），然后是物理和生物医药（均为 11%）。

而且命题难度条目严格，必须要达到相关生难度，而且还要确保不成被检索到。

诚然题目还应当有明确的谜底和评判神色，评释注解等灵通式问题不会入选。

具体难度，不错看几谈例题来感受下（翻译由 GPT-4o 生成）。

其中有些题目，还会覆按模子的视觉才气，比如解读这种上古翰墨。

有些题目还需要联接视觉信息和文本共同默契，比如在化学，格外是有机化学当中，需要用图来默示关联物资的结构。

还少见学题策画机科学的题目，对推理的条目很高：

除了这些需要一定推理的任务以外，也有题目单纯覆按常识储备，诚然并不代表难度低。

就算是关于范畴内东谈主士，这些题目也达到了相关生难度，关于一般东谈主而言，可能连题都读不懂。

o1 这么的强推理模子准确率惟有 9.1%，DeepSeek-R1 也置身到了英雄榜之中，不外不复旧多模态，因此得益是在纯文簿子集上取得的。

但如若只比较纯文本任务，DeepSeek-R1 已经位列第一，何况比拟于 o1 的上风变得更昭彰了。

而在非推理模子当中，Gemini 1.5 Pro 发达最佳，然后是 Claude 3.5 Sonnet 和 Grok 2，GPT-4 哦名次垫底。

有模子答错，题目才气入选

这些题目不仅难度条目高，筛选的经过也相配严格。

这个名目由 AI 安全中心和 Scale AI 发起，命题者来自全宇宙 500 多家机构的，东谈主数多达上千东谈主。

触及的机构包括高校、相关所和企业，还有来自医疗机构的学者，以及一些落寞相关者等。

OpenAI、Anthropic、谷歌 DeepMind 以及微软相关院都包括在其中。

团队相聚到的题目需要资格大模子和东谈主工的双重审查。

第一轮筛选在大模子上进行，如若其中有大模子答错非采用题，大略采用题平均准确率低于立时推断，则题目不错通过初筛。

在进行过 7 万屡次尝试之后，有 1.3 万谈题目投入了东谈主工审核设施。

东谈主工审核一共分两轮，第一轮是各个范畴的专科东谈主士（相关生以上学历），第二轮审核则由组织方以收用一轮中发达出色的审核员共同进行。

最终有三千多谈题目入围，酿成了一个较大的群众数据集和一个较小的独到数据集，这些题目来自 500 多家机构中的 300 余家，东谈主数为 600 余东谈主。

另外据先容，每谈入选题目凭证评估情况，会赐与命题东谈主 500-5000 好意思元不等的奖励，也从侧面反映出了命题职责的复杂。（当今团队仍在采纳新题目投稿，但不再披发奖金）

这么的一套超难测试集，如若让前两天深陷舞弊别传的 o3 挑战一下，说不定就能看出真确水平了。

名目主页：

https://lastexam.ai/

数据集：

https://huggingface.co/datasets/cais/hle

论文：

https://lastexam.ai/paper世博在线娱乐体育