Hugging Face Blog·· 2025-10-27精选AI 评分64
Hugging Face 优化 datasets 库流式读取性能
Streaming datasets: 100x More Efficient
AI 导读
Hugging Face 优化了 datasets 库的数据流式读取机制,使启动请求减少 100 倍,数据文件解析速度提升 10 倍,整体流式吞吐量翻倍。此次改进通过在各 DataLoader 工作进程间共享持久化文件列表缓存,消除了高并发时的请求风暴,并新增了 Parquet 数据后台预取与可配置缓冲区。
推荐理由
优化解决了多 TB 级别模型训练前耗时下载和请求过载的瓶颈,使开发者无需本地大容量存储即可直接流式加载数据开展训练。
来源:Hugging Face Blog · huggingface.co