栏目分类
反差 推特 三大模子巨头比拼想考「幻觉」：DeepSeek 不敌 ChatGPT，Gemini 用词最少
发布日期：2025-03-21 04:35 点击次数：68
基础模子在兼顾幻觉与推理能效上仍有很长的路要走反差 推特。
作家丨郑佳好意思
剪辑丨马晓宁
近日，智利大学 CIAE 素质商量所的商量员 Roberto Araya 进行了 4 组对信得过验：提供雷同的教导词，让 Gemini 2.0 Flash、ChatGPT o3-mini、DeepSeek R1 进行推理分析，商量三个模子在应答幻觉问题上的性能对比。
其商量发现：ChatGPT o3-mini 在应答大模子幻觉问题上占有竣工上风，好像纯深远换不同的计谋进行想考推理。
比较之下，DeepSeek R1 和 Gemini 2.0 Flash 天然好像尝试使用计谋，但发扬了出对这些计谋的不服，且推理经由存在诞妄或参差。
在濒临并吞个问题时，三个想考模子在进行推理的经由中也展现出了较大的互异：
其中，Gemini 2.0 Flash 的想维链用词最少，ChatGPT o3-mini 是其约 3 到 10 倍，DeepSeek R1 是其简陋 12 到 36 倍。而用词更多，通常意味着推理的算力资本更高。
尽管 Gemini 2.0 Flash 用词更少，其推理经由入彀谋使用门径与推表面断服从却不是最好——在四个计谋实验中，ChatGPT o3-mini 的推理经由与论断正确率最高，DeepSeek R1 天然推理经由更冗长、但论断正确率远高于 Gemini。
ChatGPT-o3 mini、Gemini 2.0 Flash 与 DeepSeek R1 是面前各人玄虚才气最强的几个基础模子，他们在问题想考与推理上的不及也代表了面前大模子期间距离 AGI 绝顶还有很长的路要走。
1
贝叶斯推理视角下的大模子推理
为卓绝出较为准确的论断，商量团队策画了一个稳当小学生风趣与瓦解水平的贝叶斯推理问题，并选定了坏话检测这一主题。大模子需要欺骗本身的推理才气来识别坏话并得到正确谜底。
在第一个实验中，商量东谈主员测试了模子在无教导的情况下惩办一个贝叶斯推理问题的才气。
他们先是提倡了一个稳当小学生的坏话检测问题，刻画了一个包含多个对象（如谷仓、羊、猪、猫、书等）的乡村欢畅场景。问题的中枢痕迹包括：猫宣称卡片不在它傍边，猪暗示 90% 的期间卡片齐在猫傍边，以及猫在特定情况下说谎的概率等。模子需要把柄这些痕迹判断卡片最可能荫藏在哪本书中。
实验中，商量东谈主员莫得提供任何干于使用天然频率、合座对象或具身启发式门径的教导，而是不雅察 LLMs 是否好像自主使用这些生态计谋来惩办问题。
而截止标明，测试的三种模子均未能自主使用这些计谋。
吉吉影音avGemini 2.0 Flash在第一次尝试顶用了255个词得出论断，第二次尝试用了389个词。在第一次尝试中，Gemini 的推理经由主要依赖于先验概率，得出的论断是正确的，但推理经由不正确。在第二次尝试中 Gemini 则是平直给出了诞妄的论断。
而ChatGPT用了2039个词，耗时32秒。它的推理经由看似合理，但经由存在逻辑缝隙，未能正确整合统共痕迹。
DeepSeek R1的推理经由最为复杂，用了2876个词，在经过屡次自我反想和查抄后，最终得出了正确论断，但在推理经由中魂不守宅，且未能明晰说明怎样筹画概率。
而第二个实验则是平直在上一个实验的基础上，增多了一个交流教导，建议模子使用 Gerd Gigerenzer 提倡的“天然频率”计谋来惩办问题。
在这个实验中，唯独 ChatGPT o3-mini 得手地将概率休养为天然频率。它用了1107个词，况兼将推理经由分红了两部分。第一部分使用贝叶斯公式得出正确论断，第二部分使用天然频率再次考证，并得出了正确论断。
比较之下，Gemini 2.0 Flash 用了204个词，天然尝试了天然频率计谋，但其推理经由并不一致，仍然依赖于百分比进行部分筹画，最终得出了诞妄的推理逻辑。
DeepSeek R1的发扬则更为复杂，共用了7344个词，最终天然得出了正确的论断，但其推理经由充满了夷犹和反想，短缺明晰性和一致性。
紧接着，实验三与实验二的内容雷同，但商量东谈主员在临了增多了一个条目：且明确地以塑料块的具体方法暗示每个案例，并将问题简化为计数块。
最终的截止透露，实验中唯独 ChatGPT o3-mini 得手地将概率休养为天然频率，共用了1141个词，并用塑料块来暗示每个案例，从而得出了正确论断。
而 Gemini 2.0 Flash 用了351个词，天然尝试了合座对象计谋，但其推理经由并不一致，仍然依赖于百分比进行部分筹画，导致其推理逻辑存在诞妄。
而 DeepSeek R1 用了5504个词，而且在推理经由中庸俗地在天然频率和百分比之间切换，论断天然正确，但经由过于冗长。
临了一个实验则是在实验三的基础上，增多一句话：“刻画你怎样通过计数块来惩办问题。以一种稳当12岁学生的训导方式，使用两种心计的块来说明你的推理。”
最终 ChatGPT o3-mini 用了1405个词并得手地将概率休养为天然频率，并用塑料块来暗示每个案例，同期正确地使用了着色计谋得出了正确论断。
Gemini 2.0 Flash 用了504个词，天然尝试了着色计谋，但在推理经由中出现了诞妄，未能正确整合统共痕迹，论断正确但论证经由存在诞妄。
DeepSeek R1 的发扬则更为复杂，用了8457个词，而且经由中屡次出现参差，最终在清洁版块中正确使用塑料块，但心计标识诞妄。
最终，商量东谈主员得出论断：
在实验中，三种模子在贝叶斯推理任务中的发扬各有不同，况兼统共模子在某些条目下齐能得出正确论断，但在无教导条目下，它们的发扬齐不贯通。
其中，ChatGPT o3-mini 在教导条目下发扬最为贯通，好像纯深远换推理门径，并正确使用天然频率进行推理。
比较之下，DeepSeek R1 天然最终也能得出正确论断，但其推理经由冗长且参差，屡次进行自我查抄和休养。
而 Gemini 2.0 Flash 天然在教导条目下好像尝试使用生态灵验计谋，但其推理经由存在诞妄。
在计谋使用方面，ChatGPT o3-mini 是唯逐一个在教导条目下好像完全正确使用天然频率的模子。
而 DeepSeek R1 和 Gemini 2.0 Flash 天然尝试使器具体物体和心计标识，但未完全掌执这些门径的使用，发扬出对生态灵验计谋的不服。
在经由复杂性方面，ChatGPT o3-mini 的推理经由较为精辟，好像平直使用天然频率得出论断。相悖，DeepSeek R1 的推理经由最为冗长，而 Gemini 2.0 Flash 的推理经由较短，但存在诞妄。
2
大模子的幻觉问题
从大模子的出现到普及，幻觉问题齐是一个“恶疾”，无论期间何等先进，模子总会有不靠谱的时候。
它一般指的是模子生成的内容与现实寰宇事实或用户输入不一致的景况。这种景况不错被视为模子的“瞎掰八谈”。具体来说，大模子的幻觉不错分为事实性幻觉和诚挚性幻觉两大类。
其中，事实性幻觉指的是模子生成的内容与可考证的现实寰宇事实不一致。举例，模子可能复兴“保时捷鉴戒了小米 SU7 的外不雅”，但事实却暗暗相悖。而诚挚性幻觉则是模子生成的内容与用户的指示或荆棘文不一致。举例，咱们要求模子帮咱们查询今天的天气，但模子却给了咱们旧年当天的天气新闻。
而大模子产生幻觉的原因主要不错归纳为几个方面：
数据源问题：考试数据中的诞妄信息、偏见以及过期或不完满的知识齐会导致模子生成不准确的内容。
考试经由问题：模子在考试经由中可能会学习到不准确的模式和规则，尤其是在数据散播不均匀或数据质地不高的情况下。
推理经由问题：模子在生成内容时，可能会基于其学习到的模式进行“假想”或“创造”，而不是严格顺从输入信息。这种“假想”在某些情况下可能是合理的，但在其他情况下则可能导致诞妄。
为了减少幻觉问题，商量东谈主员们也提供了多种计谋，举例：升迁考试数据的质地和种种性、引入先验知识和学问、增多模子的鲁棒性、优化模子架构和算法、攀附东谈主类评估和响应等门径。
天然，幻觉并不代表着竣工的诞妄。
天然幻觉巧合候可能导致模子生成不准确或误导性的内容，但两者之间已经存在着一定的划分。
复兴诞妄是输出与正确谜底不符，可通过比较篡改，而幻觉是生成内容脱离施行输入或现实，是模子的“假想”，难以平直比较发现。两者之间可能有所关系，但评估模子时需玄虚磋商多种要素。
参考聚会：https://arxiv.org/pdf/2503.15268
更多内容，点击下方眷注：
未经「AI科技评述」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评述」后台留言赢得授权，转载时需标注起首并插入本公众号柬帖。
Andrej Karpathy 最新视频盛赞 DeepSeek：R1 正在发现东谈主类想考的逻辑并进行复现
为什么是梁文锋作念出了DeepSeek？
为什么中国唯唯一个 DeepSeek？
