跳到正文

公司与模型

OpenAI / ChatGPT 最新动态

OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。

258 条精选近 30 天 18 条共收录 963 条

更新

精选归档 · 第 12 页

1月25日周二第 221–240 条
12月16日周四
  1. OpenAI News73

    OpenAI 推出 WebGPT:通过网页浏览提升大语言模型的事实准确性

    OpenAI 对 GPT-3 进行了微调并推出 WebGPT,允许模型使用基于文本的网页浏览器更准确地回答开放式问题。该研究旨在通过联网检索信息来提升语言模型回答的事实准确性。

    推荐理由:研究展示了通过网页检索增强生成事实性的方案,读者可以了解早期的检索增强思路。

12月14日周二
11月18日周四
10月29日周五
  1. OpenAI News61

    OpenAI 训练系统求解小学数学应用题

    OpenAI 训练了一个能够求解小学数学应用题的系统,其准确率接近微调 GPT-3 模型的两倍。在测试集评估中,9 至 12 岁儿童样本的得分率为 60%,而该系统在相同题目上的得分达到 55%,解决的问题数量约为真实儿童的 90%。

    推荐理由:原文给出了该系统与微调 GPT-3 以及学龄儿童在数学测试中的准确率对比,展现了模型在多步推理上的提升。

8月10日周二
7月28日周三
  1. OpenAI News66

    OpenAI 发布开源 GPU 编程语言 Triton 1.0

    OpenAI 正式发布开源编程语言 Triton 1.0,面向神经网络计算提供类 Python 的 GPU 编程环境。该语言允许没有 CUDA 经验的研究人员编写高效 GPU 代码,其运行效率在多数情况下可达到专业人员手写代码的水平。

    推荐理由:该项目降低了高性能GPU编程门槛,使无CUDA经验的研究人员也能编写接近专家级效率的硬件代码。

3月4日周四
  1. OpenAI News71

    OpenAI 发现人工神经网络中的多模态神经元

    OpenAI 在 CLIP 模型中发现了多模态神经元,无论概念以字面、符号还是抽象形式呈现,这些神经元都会对同一概念做出响应。该发现解释了 CLIP 对非常规视觉呈现分类的准确性,也是理解 CLIP 及类似模型所学关联与偏见的重要一步。

    推荐理由:该研究展示了模型内部概念表征的神经元机制,为理解跨模态关联与偏见形成提供了可解释性切入点。

1月5日周二
  1. OpenAI News88

    OpenAI 推出 CLIP:连接文本与图像

    OpenAI 推出神经网络 CLIP,可通过自然语言监督高效学习视觉概念。该模型只需提供待识别视觉类别的名称即可应用于任何视觉分类基准,具备类似于 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:原文介绍了利用自然语言监督学习视觉概念的机制,展示了将语言模型零样本能力拓展至视觉分类的方法。

9月22日周二
9月4日周五
6月17日周三
  1. OpenAI News65

    OpenAI 发布 Image GPT

    OpenAI 表明直接在像素序列上训练的大型 Transformer 模型能够生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率之间的相关性,该生成模型在无监督设定下展现出媲美顶尖卷积神经网络的特征提取能力。

    推荐理由:原文展示了将语言 Transformer 架构直接迁移至像素序列的可行性,读者可了解自回归生成在无监督视觉表征上的表现。

6月11日周四
5月5日周二
  1. OpenAI News67

    OpenAI 发布 AI 与效率分析:算法进步使训练所需算力每 16 个月减半

    OpenAI 发布分析显示,自 2012 年以来在 ImageNet 分类任务上达到相同性能所需的神经网络训练算力每 16 个月减少 2 倍。如今训练达到 AlexNet 水平所需算力较 2012 年减少了 44 倍,明显超过同期摩尔定律带来的 11 倍成本改善。研究表明在获得高投入的 AI 任务中,算法进步带来的收益已超越传统硬件效率的提升。

    推荐理由:该分析通过量化对比算法优化与硬件摩尔定律,展示了算法创新在降低模型训练算力需求上的显著收益。

4月30日周四
  1. OpenAI News74

    OpenAI 推出音乐生成模型 Jukebox 并开源代码与权重

    OpenAI 推出音乐生成神经网络 Jukebox,能够直接以原始音频形式生成包含多种流派、艺术家风格以及初步歌声的音乐。官方已同步开源该模型的权重与代码,并提供了用于试听和浏览生成音频样本的工具。

    推荐理由:OpenAI开源了可直接生成原始音频与歌声的音乐生成模型及代码,为音频多模态生成研究提供了可复现的参考实现。

1月30日周四
12月5日周四
  1. OpenAI News74

    OpenAI 研究揭示深度学习中的双重下降现象

    OpenAI 研究表明 CNN、ResNet 和 Transformer 架构中普遍存在双重下降现象,模型性能随着模型尺寸、数据量或训练时间的增加,会呈现先提升、后恶化、再重新提升的变化趋势。该效应通常可通过精细的正则化手段来避免。团队指出这一现象虽然普遍存在,但底层机制尚未完全明确,仍是重要的研究方向。

    推荐理由:原文展示了模型规模与泛化性能之间非单调变化的规律,为理解深度学习训练机制与正则化调优提供了理论参考。

11月5日周二
  1. OpenAI News86

    OpenAI 正式发布 GPT-2 1.5B 完整模型与代码权重

    OpenAI 正式发布 GPT-2 分阶段发布计划中的最大版本(1.5B 参数),并同步公开代码与模型权重以协助检测生成内容。尽管此前已有更大规模语言模型推出,官方仍按原计划完成分阶段发布流程,旨在为未来大模型开发者提供负责任发布的实践测试范例。

    推荐理由:OpenAI 完成了 GPT-2 的分阶段发布并公开完整权重与检测代码,为后续大模型的负责任发布流程提供了实践参考。

10月15日周二
  1. OpenAI News74

    OpenAI 用仿人机械手解开魔方

    OpenAI 训练神经网络控制仿人机械手成功解开魔方。该系统完全在仿真环境中训练,结合了 OpenAI Five 的强化学习代码与自动域随机化(ADR)新技术。系统能够应对训练中未见过的现实干扰,展示了强化学习解决物理世界高灵巧度操作任务的可行性。

    推荐理由:该研究展示了纯仿真强化学习结合自动域随机化向物理实体迁移的路径,为复杂机器人灵巧操作提供了可参考方法。