OpenAI 推出文本与代码 Embedding API 端点
OpenAI 在其 API 中推出 embeddings 新端点,用于处理自然语言和代码任务。该端点支持语义搜索、聚类、主题建模以及分类等常见场景。
公司与模型
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
258 条精选近 30 天 18 条共收录 963 条
OpenAI 在其 API 中推出 embeddings 新端点,用于处理自然语言和代码任务。该端点支持语义搜索、聚类、主题建模以及分类等常见场景。
OpenAI 对 GPT-3 进行了微调并推出 WebGPT,允许模型使用基于文本的网页浏览器更准确地回答开放式问题。该研究旨在通过联网检索信息来提升语言模型回答的事实准确性。
推荐理由:研究展示了通过网页检索增强生成事实性的方案,读者可以了解早期的检索增强思路。
OpenAI 宣布支持为特定应用定制 GPT-3 模型。开发者可以通过单条命令直接完成模型微调。
OpenAI 宣布其 API 已全面开放使用,不再需要排队等待候补名单。官方表示,安全合规方面的技术进展促成了此次更大范围的开放。
OpenAI 训练了一个能够求解小学数学应用题的系统,其准确率接近微调 GPT-3 模型的两倍。在测试集评估中,9 至 12 岁儿童样本的得分率为 60%,而该系统在相同题目上的得分达到 55%,解决的问题数量约为真实儿童的 90%。
推荐理由:原文给出了该系统与微调 GPT-3 以及学龄儿童在数学测试中的准确率对比,展现了模型在多步推理上的提升。
OpenAI 推出自然语言转代码 AI 系统 OpenAI Codex 的改进版本。该版本即日起通过 OpenAI API 开启内测(private beta)。
OpenAI 正式发布开源编程语言 Triton 1.0,面向神经网络计算提供类 Python 的 GPU 编程环境。该语言允许没有 CUDA 经验的研究人员编写高效 GPU 代码,其运行效率在多数情况下可达到专业人员手写代码的水平。
推荐理由:该项目降低了高性能GPU编程门槛,使无CUDA经验的研究人员也能编写接近专家级效率的硬件代码。
OpenAI 在 CLIP 模型中发现了多模态神经元,无论概念以字面、符号还是抽象形式呈现,这些神经元都会对同一概念做出响应。该发现解释了 CLIP 对非常规视觉呈现分类的准确性,也是理解 CLIP 及类似模型所学关联与偏见的重要一步。
推荐理由:该研究展示了模型内部概念表征的神经元机制,为理解跨模态关联与偏见形成提供了可解释性切入点。
OpenAI 推出神经网络 CLIP,可通过自然语言监督高效学习视觉概念。该模型只需提供待识别视觉类别的名称即可应用于任何视觉分类基准,具备类似于 GPT-2 和 GPT-3 的零样本能力。
推荐理由:原文介绍了利用自然语言监督学习视觉概念的机制,展示了将语言模型零样本能力拓展至视觉分类的方法。
OpenAI 训练了名为 DALL·E 的神经网络,可根据自然语言文本描述生成对应图像。该模型支持生成涵盖广泛自然语言概念的图像内容。
OpenAI 宣布已同意将 GPT-3 技术授权给微软,供其用于自身的产品和服务中。
OpenAI 应用基于人类反馈的强化学习(RLHF)训练语言模型,以提升模型在文本摘要任务上的表现。
OpenAI 表明直接在像素序列上训练的大型 Transformer 模型能够生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率之间的相关性,该生成模型在无监督设定下展现出媲美顶尖卷积神经网络的特征提取能力。
推荐理由:原文展示了将语言 Transformer 架构直接迁移至像素序列的可行性,读者可了解自回归生成在无监督视觉表征上的表现。
OpenAI 宣布推出一款官方 API,允许开发者访问其新开发的 AI 模型。
OpenAI 发布分析显示,自 2012 年以来在 ImageNet 分类任务上达到相同性能所需的神经网络训练算力每 16 个月减少 2 倍。如今训练达到 AlexNet 水平所需算力较 2012 年减少了 44 倍,明显超过同期摩尔定律带来的 11 倍成本改善。研究表明在获得高投入的 AI 任务中,算法进步带来的收益已超越传统硬件效率的提升。
推荐理由:该分析通过量化对比算法优化与硬件摩尔定律,展示了算法创新在降低模型训练算力需求上的显著收益。
OpenAI 推出音乐生成神经网络 Jukebox,能够直接以原始音频形式生成包含多种流派、艺术家风格以及初步歌声的音乐。官方已同步开源该模型的权重与代码,并提供了用于试听和浏览生成音频样本的工具。
推荐理由:OpenAI开源了可直接生成原始音频与歌声的音乐生成模型及代码,为音频多模态生成研究提供了可复现的参考实现。
OpenAI 宣布将其深度学习框架统一标准化为 PyTorch。
OpenAI 研究表明 CNN、ResNet 和 Transformer 架构中普遍存在双重下降现象,模型性能随着模型尺寸、数据量或训练时间的增加,会呈现先提升、后恶化、再重新提升的变化趋势。该效应通常可通过精细的正则化手段来避免。团队指出这一现象虽然普遍存在,但底层机制尚未完全明确,仍是重要的研究方向。
推荐理由:原文展示了模型规模与泛化性能之间非单调变化的规律,为理解深度学习训练机制与正则化调优提供了理论参考。
OpenAI 正式发布 GPT-2 分阶段发布计划中的最大版本(1.5B 参数),并同步公开代码与模型权重以协助检测生成内容。尽管此前已有更大规模语言模型推出,官方仍按原计划完成分阶段发布流程,旨在为未来大模型开发者提供负责任发布的实践测试范例。
推荐理由:OpenAI 完成了 GPT-2 的分阶段发布并公开完整权重与检测代码,为后续大模型的负责任发布流程提供了实践参考。
OpenAI 训练神经网络控制仿人机械手成功解开魔方。该系统完全在仿真环境中训练,结合了 OpenAI Five 的强化学习代码与自动域随机化(ADR)新技术。系统能够应对训练中未见过的现实干扰,展示了强化学习解决物理世界高灵巧度操作任务的可行性。
推荐理由:该研究展示了纯仿真强化学习结合自动域随机化向物理实体迁移的路径,为复杂机器人灵巧操作提供了可参考方法。