一文解读：OpenAI GPT-4o模型以及如何获取使用
5 月 14 日凌晨，OpenAI 在首次「春季新品发布会」上搬出了新一代旗舰生成模型 GPT-4o、桌面 App，并展示了一系列新能力。这一次，技术颠覆了产品形态，OpenAI 发布 GPT-4o全能模型 实时语音和视觉能力 再次刷新ai科技业界。
什么是 GPT-4o？
1.GPT-4o 是 OpenAI 的新旗舰模型，可以实时跨音频、视觉和文本进行推理。
2.GPT-4o 最初将在 ChatGPT 和 API 中作为文本和视觉模型提供（ChatGPT 将继续通过预先存在的语音模式功能支持语音）。具体来说，GPT-4o 将在 ChatGPT Free、Plus 和 Team（即将推出 Enterprise）以及 Chat Completions API、Assistants API 和 Batch API 中提供。
3.GPT-4o(“o”代表“omni”)是迈向更自然的人机交互的一步——它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出。它可以在短至 232 毫秒的时间内响应音频输入，平均为 320 毫秒，与人类的响应时间相似(在新窗口中打开)在一次谈话中。它在英语文本和代码上的性能与 GPT-4 Turbo 的性能相匹配，在非英语文本上的性能显着提高，同时 API 的速度也更快，成本降低了 50%。与现有模型相比，GPT-4o 在视觉和音频理解方面尤其出色。
在 OpenAI API 中访问 GPT-4、GPT-4 Turbo 和 GPT-4o
GPT-4 Turbo 与 GPT-4o
GPT-4o 具有相同的高智能性，但比 GPT-4 Turbo 更快、更便宜，并且具有更高的速率限制。具体来说：
1.定价：GPT-4o 比 GPT-4 Turbo 便宜 50%，输入代币为 5 美元/M，输出代币为 15 美元/M。
2.速率限制：GPT-4o 的速率限制比 GPT-4 Turbo 高 5 倍——每分钟最多 1000 万个代币。
3.速度：GPT-4o 的速度是 GPT-4 Turbo 的 2 倍。
4.视觉：在与视觉能力相关的评估中，GPT-4o 的视觉能力表现优于 GPT-4 Turbo。
5.多语言：GPT-4o 比 GPT-4 Turbo 改进了对非英语语言的支持。
6.GPT-4o 目前的上下文窗口为 128k，知识截止日期为 2023 年 10 月。
GPT-4o更灵活的语音交互功能提升，以下视频中文翻译来自 X.@宝玉博主
1.OpenAI 邀请了可汗学院的可汗和他儿子一起使用了 GPT-4o 辅导孩子在可汗学院上做数学题，一步步启发纠正，各种鼓励，比普通家长辅导效果可能真的要好不少!
2.跟着 GPT-4o 学西班牙语
3.GPT-4o 实时翻译
4.GPT-4o 充当语音客服
5.GPT-4o，充当你的“第三只眼睛”，帮助盲人描述当前环境，打车
6.GPT-4o 教你说中文，绝对会把老外带偏的
7.以后不用担心一个人过生日太孤单，让 GPT-4o 给你唱首生日歌！🎂
8.初为人父不会讲故事？GPT-4o 教你讲故事！
9.跟 GPT-4o 分享自家狗狗的喜悦！
10.以后睡不着了让 GPT-4o 给你唱首自编的轻柔摇篮曲
11.嫌 GPT-4o 语音速度太快？可以让它语速慢下来。太慢？可以说快一点！快慢随心。
12.让 GPT-4o 加入视频会议，充当会议小秘书，记录发言，总结既要。
13.朋友聚会三缺一？没人当裁判？让 GPT-4o 加入你们 BTW：能认出来谁是谁很厉害
14.需要有人夸你几句或者讥讽你几句？找 GPT-4o 就对了！
15.让 GPT-4o 根据你所处环境猜猜你在干嘛，或者朋友让你猜，你以后可以让它帮忙了
16.要准备去参加重要面试，或者要去相亲，不知道穿着怎么样，让 GPT-4o 帮你瞧瞧，礼貌而不刻薄的指出问题
17.让 GPT-4o 分饰两角，来一首男女二重唱
18.两只老虎两只老虎跑的快，一只没有眼睛一只没有尾巴真奇怪！ 哦，不对，是两只 GPT-4o，一只看不见，另一只帮它描述发生了什么，甚至于1分钟之前出现的意外小插曲也能完整记录，最后两只 AI 把整个过程编成了一首歌唱起来
在 GPT-4o 之前，您可以使用语音模式与 ChatGPT 对话，平均延迟为 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)。为了实现这一目标，语音模式是由三个独立模型组成的管道：一个简单模型将音频转录为文本，GPT-3.5 或 GPT-4 接收文本并输出文本，第三个简单模型将该文本转换回音频。这个过程意味着主要智能来源GPT-4丢失了大量信息——它无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。
借助 GPT-4o，我们跨文本、视觉和音频端到端地训练了一个新模型，这意味着所有输入和输出都由同一神经网络处理。由于 GPT-4o 是我们第一个结合了所有这些模式的模型，因此我们仍然只是浅尝辄止地探索该模型的功能及其局限性。
图像视觉能力
此外，GPT-4o 在理解和生成图像方面的能力比任何现有模型都要好得多，此前很多不可能的任务都变得「易如反掌」。
1.比如，你可以让它帮忙把 OpenAI 的 logo 印到杯垫上：
经过这段时间的技术攻关，OpenAI 应该已经完美解决了 ChatGPT 生成字体的问题。
2.同时，GPT-4o 还拥有 3D 视觉内容生成的能力，能够从 6 个生成的图像进行 3D 重建：
3.这是一首诗，GPT-4o 可以将其排版为手写样式：
4.更复杂的排版样式也能搞定：
5.与 GPT-4o 合作，你只需要输入几段文字，就能得到一组连续的漫画分镜：
6.而下面这些玩法，应该会让很多设计师有点惊讶：
7.这是一张由两张生活照演变而来的风格化海报：
8.多线渲染 - 机器人发短信视角：
模型评估
根据传统基准测试，GPT-4o 在文本、推理和编码智能方面实现了 GPT-4 Turbo 级别的性能，同时在多语言、音频和视觉功能上设置了新的高水位线
API 中的可用性
GPT-4o 可供拥有 OpenAI API 帐户的任何人使用，您可以在Chat Completions API、 Assistants API和Batch API中使用此模型。该模型还支持函数调用和JSON模式。您还可以通过Playground开始。
成功支付 5 美元或更多（使用级别 1）后，您将能够通过 OpenAI API访问GPT-4、GPT-4 Turbo 和 GPT-4o模型。
API 中当前的 GPT-4o 定价可在我们的API 定价页面上找到。
API 请求限制
请注意，ChatGPT 速率限制独立于 API 速率限制。您可以在此处了解有关 API 速率限制的更多信息。
您可以在API 平台的限制部分查看您的 API 速率限制。
但请耐心等待——我们预计会有大量需求，并将在未来几个月内扩大和优化我们的系统。
我们如何处理发送到 OpenAI API 的数据
与我们平台的其他部分一样，传递到 OpenAI API 的数据和文件绝不会用于训练我们的模型，除非您明确选择参加训练。您可以在此处详细了解我们的数据保留和合规性标准。
使用 ChatGPT 访问 GPT-4o
ChatGPT 免费套餐
免费套餐的用户将默认使用 GPT-4o，并且使用 GPT-4o 可以发送的消息数量受到限制，这将根据当前的使用情况和需求而有所不同。当不可用时，免费层用户将切换回 GPT-3.5。
免费用户还可以使用高级工具对消息进行有限的访问，例如：
数据分析
文件上传
- 浏览
发现和使用 GPT
想象
GPT-4o 具有先进的视觉功能，可提高理解您共享的图像的准确性。
GPT-4o这么强，全都免费开放了，这是劝大家不续订ChatGPT Plus了的意思吗?
那肯定不是啊～免费套餐的用户将默认使用 GPT-4o，并且使用 GPT-4o 可以发送的消息数量受到限制；
获取试用：实测把梯子切换到日本IP就可以用gpt-4o，切换回美国IP就消失了。根据IP给的GPT-4o，还有其他部分地区应该也会给
普号GPT-4o和付费有以下比较大的区别:
1.普号GPT-4o不可以画图，传文件(有的可以传)。付费可以
2.普号的GPT-4o限制10条/3小时
3.ChatGPT Plus限制GPT-4o消息80条/3小时，GPT-4仍然是40条，GPT-4用完后可以用GPT-4o，但是GPT-4o的80条用完后不能用GPT-4。
4.team限制100条/3小时，和4共享额度
5.普号的GPT-4o是8k，付费的是32k
6.能力测试不及gpt-4 turbo系列
总结：GPT-4o新模型免费体验有限制，Plus 用户将能够在 GPT-4o 上每 3 小时最多发送 80 条消息，在 GPT-4 上每 3 小时最多发送 40 条消息，team限制100条/3小时，和4共享额度。
号优优网温馨提醒;订阅ChatGPT Plus包月，如果你是在国内办理的卡都是无法支付的，自己没有条件可以借助 uiuihao.com 这类平台代付订阅Plus。
免费套餐用户可以随时点击 ChatGPT 升级到 Plus：
ChatGPT Plus 和团队
ChatGPT Plus 和 Team 订阅者可以在chatgpt.com上访问 GPT-4 和 GPT-4o ，并具有更大的使用上限。
ChatGPT Plus 和 Team 用户将能够从页面顶部的下拉菜单中选择 GPT-4o：
截至 2024 年 5 月 13 日，Plus 用户将能够在 GPT-4o 上每 3 小时最多发送 80 条消息，在 GPT-4 上每 3 小时最多发送 40 条消息。我们可能会减少高峰时段的限制，以使 GPT-4 和 GPT-4o 可供最广泛的人使用。
ChatGPT Team 工作区中用户的 GPT-4 和 GPT-4o 消息上限高于 ChatGPT Plus。
请注意，未使用的消息不会累积（即，如果您等待 6 小时，则在接下来的 3 小时内 GPT-4 上将没有 80 条消息可供使用）。
聊天GPT企业
ChatGPT Enterprise 客户很快就能访问 GPT-4o。
ChatGPT Enterprise 计划专为满足大型企业的需求而设计，可无限制、高速访问 GPT-4o 和 GPT-4。
ChatGPT Enterprise 帐户上的新对话将默认为 GPT-4o。 ChatGPT Enterprise 用户将能够从页面顶部的下拉菜单中选择其他型号：
ChatGPT Enterprise 还提供企业级安全和隐私、用于处理较长输入的较长上下文窗口、对数据分析、自定义选项等高级工具的无限制高速访问。
新的桌面 app 简化用户工作流程
对于免费和付费用户，OpenAI 还推出了适用于 macOS 的新 ChatGPT 桌面应用程序。通过简单的键盘快捷键(Option + Space)，用户可以立即向 ChatGPT 提问，此外，用户还可以直接在应用程序中截取屏幕截图并进行讨论。
现在，用户还可以直接从计算机与 ChatGPT 进行语音对话，GPT-4o 的音频和视频功能将在未来推出，通过点击桌面应用程序右下角的耳机图标来开始语音对话。
从今天开始，OpenAI 将向 Plus 用户推出 macOS 应用程序，并将在未来几周内更广泛地提供该应用程序。此外今年晚些时候 OpenAI 会推出 Windows 版本。
暂无评论，1084人围观