Hugging Face 发布 swift-transformers 1.0，全面优化苹果端侧大模型集成
Hugging Face 正式推出 swift-transformers 1.0，为苹果开发者在 Apple Silicon 设备上运行本地模型提供更稳定的基础支持。
推荐理由：官方拆分了关键模块并接入新版架构，帮助苹果生态开发者以更低成本在端侧运行大模型与智能体流程。
技术方向
端侧 AI 最新动态
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
34 条精选近 30 天 6 条共收录 55 条
更新
精选归档 · 第 2 页
Hugging Face Blog精选AI 评分6060
Hugging Face Blog精选AI 评分7070 Google 发布轻量多语言嵌入模型 EmbeddingGemma
Google 发布轻量多语言嵌入模型 EmbeddingGemma，参数量为 308M 并配备 2K 上下文窗口，量化后内存占用低于 200 MB。该模型基于 Gemma3 架构改造为双向注意力编码器，支持超过 100 种语言与 MRL 维度截断，已全面集成至 Sentence Transformers、LangChain、LlamaIndex 与 Transformers.js 等生态框架。
推荐理由：该模型以 308M 参数与双向注意力机制优化了端侧嵌入效率，适合作为移动端 RAG 与轻量检索系统的低成本落地参考。
Hugging Face Blog精选AI 评分6565 TII 发布 1.58bit 大语言模型系列 Falcon-Edge
TII 宣布推出基于 BitNet 架构的三值大语言模型系列 Falcon-Edge，涵盖 1B 与 3B 两种参数规格的 Base 及 Instruct 版本。
推荐理由：该系列通过单次训练同时交付原生三值权重与预量化微调版本，为端侧无矩阵乘法大语言模型的落地与微调提供了完整参考方案。
Hugging Face Blog精选AI 评分6666 Open R1：如何在本地部署并使用 OlympicCoder 进行编程
Hugging Face 介绍了在本地开发环境中部署与运行 OlympicCoder 7B 编程模型的方法。用户可以通过 LM Studio 运行 Q4_K_M 等 GGUF 量化版本并开启本地服务接口，再借助 VS Code 插件 Continue 完成接入，实现代码补全、生成、解释与重构。
推荐理由：原文提供了将开源竞赛编程模型本地化接入开发环境的完整步骤，适合开发者据此搭建离线可用的代码辅助工作流。
Hugging Face Blog精选AI 评分6767 Hugging Face 端侧大模型推理指南：使用 React Native 在手机本地运行 LLM
Hugging Face 发布了一篇端侧大模型部署教程，详细介绍如何通过 React Native 与 llama.rn 库在 iOS 和 Android 设备上本地运行开源 LLM。
推荐理由：提供了一套基于 React Native 和 llama.rn 在手机端离线运行轻量大模型的完整跨平台实现方案与配套代码。
Hugging Face Blog精选AI 评分7676 Hugging Face 发布轻量级视频理解模型 SmolVLM2
Hugging Face 发布轻量级视觉与视频理解模型 SmolVLM2，包含 2.2B、500M 和 256M 三种参数规格，旨在让视频理解能力运行在从手机到服务器的各类设备上。
推荐理由：官方提供了从256M到2.2B的多模态视频模型并原生支持MLX，展示了在手机端本地运行视频理解的可行方案。
Hugging Face Blog精选AI 评分7272 Hugging Face 发布 SmolVLM-256M 与 500M 多模态模型
Hugging Face 扩展 SmolVLM 系列，推出 SmolVLM-256M 和 SmolVLM-500M 两个轻量多模态模型，分别包含基础与指令微调共 4 个权重检查点。
推荐理由：官方提供了极小参数量多模态模型的架构权衡与训练优化细节，方便端侧与低成本检索场景参考。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布高速静态嵌入模型并开源训练方案
Hugging Face 推出了一种基于 Sentence Transformers 的静态嵌入模型训练方法，并发布了面向英文检索的 static-retrieval-mrl-en-v1 和面向多语言相似度的 static-similarity-mrl-multilingual-v1 两个模型。
推荐理由：针对端侧和低功耗检索场景，本文公开了低延迟静态嵌入模型的完整对比数据与训练配置。
Hugging Face Blog精选AI 评分8383 Llama 3.2 发布：支持视觉能力与端侧运行
Hugging Face 宣布迎来 Llama 3.2，该版本模型具备视觉能力并支持在个人设备端运行。目前材料仅提供标题信息，具体技术参数与细节需参考完整官方文档。
Hugging Face Blog精选AI 评分7272 Hugging Face 发布 Swift Transformers，支持在苹果设备端侧运行大语言模型
Hugging Face 推出 Swift Transformers 工具包，旨在让 Swift 开发者能够在 Mac 和 iOS 设备上通过 Core ML 在本地端侧运行大语言模型。
推荐理由：提供了将大语言模型转为 Core ML 并在苹果设备端侧运行的工具链与工程实践，适合 iOS 与 Mac 开发者参考。
Hugging Face Blog精选AI 评分7575 Stable Diffusion XL 适配 Core ML：利用混合位调色板量化在 Mac 端运行
Hugging Face 联合 Apple 将 Stable Diffusion XL 移植到 Core ML，并推出混合位调色板量化方案以实现 Mac 本地运行。
推荐理由：文章详细解析了按网络层敏感度分配精度的混合位量化方案，为在苹果芯片上轻量化部署大参数扩散模型提供了具体的落地路径。
Hugging Face Blog精选AI 评分6767 如何使用 Transformers.js 构建纯浏览器端机器学习网页游戏
Hugging Face 发布实践教程，演示如何使用 Transformers.js 构建完全在浏览器本地运行的实时画图猜词游戏 Doodle Dash。开发者基于 Google Quick, Draw!
推荐理由：文章完整展示了将轻量视觉模型微调转换并在浏览器端无延迟运行的全流程，为构建纯前端交互式 AI 应用提供了参考方案。
Hugging Face Blog精选AI 评分7171 基于 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 结合苹果发布的 Core ML 新特性与 coremltools 7.0，推出了基于 6-bit 调色板量化的 Stable Diffusion 端侧加速方案并上传了预转换模型。
推荐理由：文章梳理了针对苹果芯片的六比特调色板量化机制与注意力分块优化，开发者可直接参考该流程压缩自定义扩散模型并在移动端部署。
Hugging Face Blog精选AI 评分7878 在 Apple Silicon 上通过 Core ML 运行 Stable Diffusion
Hugging Face 发布了在 Apple Silicon 上通过 Core ML 运行 Stable Diffusion 的实践教程，并在 Hugging Face Hub 上直接提供转换后的模型权重。
推荐理由：原文给出了不同注意力实现与计算单元的选择策略，读者可据此在苹果设备上完成端侧图像生成部署。