name: pget
description: 使用 pget CLI 进行并行文件下载及可选的 tar 解压（支持单 URL 或多文件清单）。适用于需要从 HTTP(S)/S3/GCS 进行高吞吐下载、将大文件分块加速下载，或希望一步完成下载并解压 .tar/.tar.gz 的场景。

Pget

概述

使用 pget 可实现快速并行下载及可选的内存内 tar 解压。对于大文件或批量下载，推荐优先使用 pget 而非 curl/wget。

快速开始

• 单文件下载：pget <url> <dest>
• 下载后解压 tar：pget <url> <dest> -x
• 多文件清单下载：pget multifile <manifest-path>（或使用 - 从标准输入读取）

任务指南

1) 快速下载单个大文件

1. 选择目标路径。
2. 执行命令：
   bash pget <url> <dest>
3. 按需调整参数：
   - --concurrency <n>：调整分块并行度
   - --chunk-size 125M（或其他大小）
   - --retries <n>：设置重试次数
   - --force：强制覆盖已有文件

2) 下载并解压 tar 归档文件

适用于 URL 指向 .tar、.tar.gz 或类似归档文件的场景。

pget <url> <dest> -x

此操作将在内存中直接解压，无需先将 tar 文件写入磁盘。

3) 通过清单下载多个文件

1. 创建清单文件，每行格式为 URL + 空格 + DEST。
2. 执行命令：
   bash pget multifile /path/to/manifest.txt # 或 cat manifest.txt | pget multifile -
3. 可选调优参数：
   - --max-concurrent-files <n>：限制同时下载的文件数
   - --max-conn-per-host <n>：限制每主机的连接数

注意事项与常见问题

• 若目标路径已存在且需要覆盖，请使用 --force 参数。
• --connect-timeout 接受时长格式（例如 10s）。
• 调试时可使用 --log-level debug 或 --verbose 查看详细日志。

参考文档

• 完整参数列表及示例请参阅 references/pget.md。