Hugging Face Blog·· 2023-06-07精选AI 评分71
Hugging Face Hub 支持通过 DuckDB 直接对 5 万多个数据集执行 SQL 查询
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub
AI 导读
Hugging Face Hub 宣布集成 DuckDB，允许开发者直接针对 Hub 上存储的 50,000 多个公开数据集运行 SQL 分析查询。Dataset Viewer 会将数据集自动转换为 Parquet 列式存储文件并切分为 500MB 分片，用户可通过 /parquet 端点获取文件链接。
推荐理由
平台将公开数据集自动转为 Parquet 分片，开发者借助 DuckDB 的远程读取能力即可免下载执行复杂 SQL 查询。
来源：Hugging Face Blog · huggingface.co