婷婷色播 OpenAI树立者大会派礼包：大幅裁汰模子老本，AI语音加合手App，小模子“蹭”大模子性能

发布日期：2024-10-04 14:00    点击次数：53

本文作家：李丹婷婷色播

着手：硬AI

好意思东时刻10月1日周二，OpenAI举行了年度树立者大会DevDay，本年的大会并莫得任何要紧的居品发布，比拟前年大会显得更低调，但OpenAI也为树立者派发了几个大“礼包”，对现存的东谈主工智能（AI）用具和API套件作念了修订。

本次OpenAI DevDay推出一系列新用具，主要包括四大立异：领导词缓存（Prompt Caching）、视觉微调（Vision Fine-Tuning）、及时API（Realtime API）、模子蒸馏（Model Distillation），在裁汰模子老本、提高模子视觉意会水平、提高语音AI功能和小模子性能方面，给树立者带来福音。

有指摘称，本年DevDay的重心是提高树立者的本事和展示树立者圈子的故事，这标明跟着AI限度的竞争日益强烈，OpenAI的政策发生了回荡。上述新用具超过标明，OpenAI的政策重心是：增强其树立者的生态系统，而不是径直在结尾用户应用限度竞争。

有媒体提到，在DevDay活动前的记者会上，OpenAI的首席居品官Kevin Weil谈及最近OpenAI首席时代官Mira Murati和首席有计划官Bob McGrew去职，称他们离开不会影响公司发展，“咱们不会延缓脚步”。

领导词缓存（Prompt Caching）可减少输入token老本多达50%

领导词缓存被视为本次DevDay发布的最进军更新。该功能旨在裁汰树立者的老本、减少延长。

OpenAI引入的领导词缓存系统自动对模子最近经管的输入token提供50%的扣头，这可能会让经常叠加使用迤逦文的应用智商App取得大批省俭。如斯大幅裁汰老本给企业和初创公司提供了探索新应用的要紧机遇，小说淫妻交换因为这些应用畴前由于用度腾贵无法结束。

OpenAI 平台居品端庄东谈主 Olivier Godement称，两年前GPT-3大获告捷，当今OpenAI照旧将相干老本裁汰了快要1000倍。他举不出来其他任何一个两年内能将老本裁汰一样幅度的例子。

以下OpenAI的图表展示了，领导词缓存不错大幅裁汰应用AI模子的老本，比拟多样GDP模子的非缓存token，缓存输入token的老本不错减少多达50%。

视觉微调（Vision Fine-Tuning）：视觉AI新前沿

OpenAI DevDay公布，OpenAI最新的大谈话模子（LLM） GPT-4o 引入了视觉微调。此功能让树立者能用图像和文本自界说模子的视觉意会功能。

这是被称为视觉AI新前沿的要紧更新。它可能会对自动驾驶汽车、医学成像和视觉搜索功能等限度产生潜入影响。

OpenAI 称，东南亚版“好意思团+滴滴” Grab 照旧运用这项时代修订其舆图劳动。仅使用 100 个示例，Grab 就让车谈计数的准确率提高了20%，限速标识定位率提高13%。

这种实验全国的App展示了视觉微调的可能性，即使用小批量的视觉考试数据，显耀增强百行万企的AI劳动。

及时 API（Realtime API）弥补对话式 AI 的差距

OpenAI DevDay发布了及时 API，目下处于公开测试beta阶段。及时API 实质上简化了构建语音助手和其他对话式 AI 用具的过程，无需将多个模子拼接在一谈进行转录、推理和文本到语音的调遣。

这项新址品让树立东谈主员能创建低延长的多模态体验，尤其是在语音转语音App中。这意味着树立东谈主员不错启动将 ChatGPT 的语音控件添加到App中。

为了评释该 API 的后劲，OpenAI 展示了 Wanderlust 的更新版块，它是一款在前年大会上展示过的旅行缠绵App。

借助及时 API，用户不错径直与新版App对话，进行当然对话来缠绵行程。该系统致使允许用户在语句中间打断，师法东谈主类之间的对话。

旅行缠绵仅仅一个例子，及时 API 为各个行业的语音App设备了平日的可能性。无论是专攻客服、考验限度如故谬误东谈主士使用的无松懈用具，树立者当今齐不错运用新的资源创造更直不雅、反应更快的AI驱动体验。

包括养分和健身率领App Healthify 停战话学习平台 Speak在内，一些App照旧将先行一步，将及时API交融到自己居品中。

有指摘称，及时API 的订价并未低廉，每分钟音频输入收费0.06 好意思元，每分钟音频输出收费0.24 好意思元，但关于但愿创建基于语音App的树立东谈主员来说，它仍然不错代表一个进军的价值倡导。

模子蒸馏（Model Distillation）让小模子也可领有顶端模子功能

模子蒸馏被视为OpenAI这次最具变革性的新用具。这种集成的责任经过让树立东谈主员能通过使用诸如GPT o1-preview 和 GPT-4o这类顶端模子的输出，对相对较小且经济实用的高校模子进行微调，从而提高更高效模子、如 GPT-4o mini的性能。

这种法子让小公司也可能运用与顶端模子雷同的功能，而且无需承担使用这类模子的辩论老本。它有助于化解 AI 行业遥远以来在顶端、资源密集型系统与更易于探望但功能较弱的系统之间的界限。

比如一家从事医疗时代的微型初创公司要为农村的诊所树立一种AI 驱动的会诊用具。使用模子蒸馏，该公司不错考试一个紧凑的模子，该模子不错捕捉大模子的大部分会诊本事，同期只需要在尺度的条记本电脑或平板电脑上运行。

因此，模子蒸馏不错让资源受限的环境也能享有复杂的 AI 功能，有可能提高医疗劳动欠弘扬地区的医疗保健水平。

激情网站

本文来自微信公众号“硬AI”，眷注更多AI前沿资讯请移步这里

风险领导及免责条件 阛阓有风险，投资需严慎。本文不组成个东谈主投资冷漠，也未商量到个别用户疏淡的投资办法、财务情状或需要。用户应试虑本文中的任何意见、不雅点或论断是否相宜其特定情状。据此投资，累赘郁勃。