告别手动复制粘贴用PowerShell脚本批量下载全球1米树冠高度数据附完整脚本在生态研究和地理信息系统GIS工作中处理大规模栅格数据是家常便饭。想象一下当你需要下载数百个甚至上千个1米分辨率的树冠高度瓦片文件时手动逐个输入命令不仅效率低下还容易出错。这正是自动化脚本大显身手的时候。PowerShell作为Windows平台上的强大脚本工具能够帮助我们轻松实现批量下载任务。本文将带你一步步构建一个健壮的PowerShell脚本不仅能自动下载指定区域的树冠高度数据还能处理网络中断等异常情况确保数据完整获取。无论你是GIS专业人士还是生态研究者掌握这项技能都能让你的工作效率提升数倍。1. 环境准备与数据源了解在开始编写脚本前我们需要确保环境配置正确并充分了解数据源的结构。全球1米分辨率树冠高度数据由Meta公司和世界资源研究所联合发布存储于AWS S3存储桶中。数据采用瓦片式存储每个瓦片对应一个TIFF格式的文件。要高效获取这些数据我们需要安装AWS CLI工具这是与AWS S3交互的命令行接口获取瓦片索引文件了解数据分布和编号规则确定目标区域缩小下载范围避免不必要的数据传输安装AWS CLI非常简单Windows用户可以直接下载安装包# 下载AWS CLI安装包 Invoke-WebRequest -Uri https://awscli.amazonaws.com/AWSCLIV2.msi -OutFile $env:TEMP\AWSCLIV2.msi # 静默安装 Start-Process -Wait -FilePath $env:TEMP\AWSCLIV2.msi -ArgumentList /quiet安装完成后建议运行aws --version验证安装是否成功。接下来我们需要下载瓦片索引文件aws s3 cp --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/tiles.geojson ./tiles.geojson这个GeoJSON文件包含了所有可用瓦片的空间位置和编号信息是我们筛选目标区域的基础。2. 目标区域筛选与文件列表生成有了瓦片索引文件后下一步是根据研究区域筛选出需要下载的瓦片编号。这里提供两种实用方法方法一使用QGIS筛选在QGIS中加载研究区域边界矢量文件添加下载的tiles.geojson文件使用按位置选择工具选择与研究区域相交的瓦片导出选中瓦片的属性表提取编号字段方法二纯命令行处理适合无GUI环境如果你习惯命令行操作可以使用jq工具处理GeoJSON# 安装jq (JSON处理器) choco install jq -y # 提取与研究区域相交的瓦片编号 jq -r .features[] | select(.geometry | intersects($region)) | .properties.TileID tiles.geojson file_list.txt注意上述命令中的$region需要替换为实际研究区域的GeoJSON几何体无论采用哪种方法最终我们都会得到一个包含目标瓦片编号的文本文件如file_list.txt格式如下132120203.tif 132120204.tif 132120205.tif ...3. 基础批量下载脚本编写有了文件列表我们可以编写第一个版本的批量下载脚本# 设置S3路径和本地保存路径 $s3Path s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm $localPath D:\TreeHeightData # 确保本地目录存在 if (-not (Test-Path $localPath)) { New-Item -ItemType Directory -Path $localPath | Out-Null } # 读取文件列表并下载 Get-Content file_list.txt | ForEach-Object { $file $_.Trim() if (-not [string]::IsNullOrEmpty($file)) { $source $s3Path/$file $destination $localPath\$file Write-Host 正在下载: $file aws s3 cp --no-sign-request $source $destination } } Write-Host 批量下载完成这个基础版本已经能实现基本功能但缺乏错误处理和断点续传能力。接下来我们将逐步增强它的健壮性。4. 增强脚本错误处理与断点续传在实际下载过程中网络波动或服务器问题可能导致部分文件下载失败。一个健壮的脚本应该能够自动重试失败的下载记录成功和失败的项目支持从断点继续避免重复下载下面是增强后的脚本# .SYNOPSIS 树冠高度数据批量下载脚本 .DESCRIPTION 自动下载指定列表中的树冠高度瓦片数据支持断点续传和错误重试 # param( [string]$FileList file_list.txt, [string]$OutputDir D:\TreeHeightData, [int]$RetryCount 3 ) # 初始化变量 $s3BasePath s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm $successLog $OutputDir\_success.log $failedLog $OutputDir\_failed.log # 创建输出目录 if (-not (Test-Path $OutputDir)) { New-Item -ItemType Directory -Path $OutputDir | Out-Null } # 初始化日志文件 if (-not (Test-Path $successLog)) { New-Item $successLog -Force | Out-Null } if (-not (Test-Path $failedLog)) { New-Item $failedLog -Force | Out-Null } # 获取已成功下载的文件列表 $completedFiles {} Get-Content $successLog | ForEach-Object { $completedFiles[$_] $true } # 处理文件列表 $filesToDownload Get-Content $FileList | Where-Object { $_.Trim() -ne -and -not $completedFiles.ContainsKey($_) } $totalFiles $filesToDownload.Count $current 0 foreach ($file in $filesToDownload) { $current $file $file.Trim() $source $s3BasePath/$file $destination $OutputDir\$file $retry 0 $success $false Write-Progress -Activity 下载进度 -Status $current/$totalFiles - $file -PercentComplete ($current/$totalFiles*100) while ($retry -lt $RetryCount -and -not $success) { try { Write-Host [尝试 $($retry1)/$RetryCount] 正在下载: $file aws s3 cp --no-sign-request $source $destination if ($LASTEXITCODE -eq 0) { $success $true Add-Content -Path $successLog -Value $file Write-Host 下载成功: $file -ForegroundColor Green } else { throw AWS CLI返回错误代码: $LASTEXITCODE } } catch { Write-Host 错误: $_ -ForegroundColor Red $retry if ($retry -lt $RetryCount) { Start-Sleep -Seconds (10 * $retry) # 指数退避 } else { Add-Content -Path $failedLog -Value $file Write-Host 下载失败: $file -ForegroundColor Yellow } } } } # 生成报告 $successCount (Get-Content $successLog).Count $failedCount (Get-Content $failedLog).Count Write-Host n下载报告: Write-Host 成功: $successCount 个文件 Write-Host 失败: $failedCount 个文件 if ($failedCount -gt 0) { Write-Host n失败文件列表已保存到: $failedLog -ForegroundColor Yellow }这个增强版脚本新增了以下功能参数化设计可以通过命令行参数指定文件列表路径、输出目录和重试次数断点续传记录已成功下载的文件避免重复下载错误重试对失败的下载自动重试最多尝试3次进度显示使用进度条直观展示下载进度详细日志记录成功和失败的文件列表指数退避重试间隔逐渐增加减轻服务器压力5. 高级优化并行下载与速度控制当需要下载大量文件时串行下载效率较低。我们可以通过PowerShell的并行处理能力来加速下载过程同时合理控制并发数以避免过度占用带宽。# 在脚本开头添加参数 param( [int]$MaxConcurrentDownloads 5 ) # 替换原来的foreach循环 $filesToDownload | ForEach-Object -Parallel { $file $_.Trim() $source $using:s3BasePath/$file $destination $using:OutputDir\$file $retry 0 $success $false while ($retry -lt $using:RetryCount -and -not $success) { try { Write-Host [尝试 $($retry1)/$using:RetryCount] 正在下载: $file aws s3 cp --no-sign-request $source $destination if ($LASTEXITCODE -eq 0) { $success $true Add-Content -Path $using:successLog -Value $file -NoNewline Write-Host 下载成功: $file -ForegroundColor Green } else { throw AWS CLI返回错误代码: $LASTEXITCODE } } catch { Write-Host 错误: $_ -ForegroundColor Red $retry if ($retry -lt $using:RetryCount) { Start-Sleep -Seconds (10 * $retry) } else { Add-Content -Path $using:failedLog -Value $file -NoNewline Write-Host 下载失败: $file -ForegroundColor Yellow } } } } -ThrottleLimit $MaxConcurrentDownloads提示并行下载虽然能提高速度但过度并发可能导致网络拥塞或触发AWS的速率限制。建议根据实际网络带宽调整$MaxConcurrentDownloads参数通常5-10是个合理的范围。6. 完整脚本与使用示例结合以上所有优化我们得到最终的完整脚本# .SYNOPSIS 全球树冠高度数据批量下载工具 .DESCRIPTION 自动批量下载1米分辨率全球树冠高度数据瓦片支持断点续传、错误重试和并行下载 .PARAMETER FileList 包含要下载的文件列表的文本文件路径 .PARAMETER OutputDir 下载文件保存的本地目录 .PARAMETER RetryCount 下载失败时的重试次数默认为3 .PARAMETER MaxConcurrentDownloads 最大并发下载数默认为5 .EXAMPLE .\DownloadTreeHeightData.ps1 -FileList my_tiles.txt -OutputDir D:\ForestData # param( [string]$FileList file_list.txt, [string]$OutputDir D:\TreeHeightData, [int]$RetryCount 3, [int]$MaxConcurrentDownloads 5 ) # 初始化变量 $s3BasePath s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm $successLog $OutputDir\_success.log $failedLog $OutputDir\_failed.log $startTime Get-Date # 创建输出目录 if (-not (Test-Path $OutputDir)) { New-Item -ItemType Directory -Path $OutputDir | Out-Null } # 初始化日志文件 if (-not (Test-Path $successLog)) { New-Item $successLog -Force | Out-Null } if (-not (Test-Path $failedLog)) { New-Item $failedLog -Force | Out-Null } # 获取已成功下载的文件列表 $completedFiles {} Get-Content $successLog | ForEach-Object { if ($_ -ne ) { $completedFiles[$_] $true } } # 处理文件列表 $filesToDownload Get-Content $FileList | Where-Object { $_.Trim() -ne -and -not $completedFiles.ContainsKey($_) } if ($filesToDownload.Count -eq 0) { Write-Host 没有需要下载的文件 - 所有文件已成功下载 -ForegroundColor Green exit } Write-Host 开始批量下载树冠高度数据... Write-Host 总文件数: $($filesToDownload.Count) Write-Host 并发下载数: $MaxConcurrentDownloads Write-Host 输出目录: $OutputDirn # 并行下载处理 $filesToDownload | ForEach-Object -Parallel { $file $_.Trim() $source $using:s3BasePath/$file $destination $using:OutputDir\$file $retry 0 $success $false while ($retry -lt $using:RetryCount -and -not $success) { try { Write-Host [尝试 $($retry1)/$using:RetryCount] 正在下载: $file aws s3 cp --no-sign-request $source $destination if ($LASTEXITCODE -eq 0) { $success $true Add-Content -Path $using:successLog -Value $file Write-Host 下载成功: $file -ForegroundColor Green } else { throw AWS CLI返回错误代码: $LASTEXITCODE } } catch { Write-Host 错误: $_ -ForegroundColor Red $retry if ($retry -lt $using:RetryCount) { $delay [math]::Pow(2, $retry) # 指数退避 Start-Sleep -Seconds $delay } else { Add-Content -Path $using:failedLog -Value $file Write-Host 下载失败: $file -ForegroundColor Yellow } } } } -ThrottleLimit $MaxConcurrentDownloads # 生成报告 $successCount (Get-Content $successLog).Count $failedCount (Get-Content $failedLog).Count $elapsedTime (Get-Date) - $startTime Write-Host n下载完成! Write-Host 总耗时: $($elapsedTime.ToString(hh\:mm\:ss)) Write-Host 成功: $successCount 个文件 Write-Host 失败: $failedCount 个文件 if ($failedCount -gt 0) { Write-Host n失败文件列表已保存到: $failedLog -ForegroundColor Yellow Write-Host 可以修改脚本增加重试次数后再次运行仅下载失败的文件 }使用示例将上述脚本保存为DownloadTreeHeightData.ps1准备包含瓦片编号的file_list.txt文件运行脚本# 基本用法 .\DownloadTreeHeightData.ps1 # 自定义参数 .\DownloadTreeHeightData.ps1 -FileList my_tiles.txt -OutputDir E:\ForestData -RetryCount 5 -MaxConcurrentDownloads 87. 常见问题与解决方案在实际使用过程中可能会遇到一些典型问题。以下是几个常见问题及其解决方法问题一脚本执行权限不足PowerShell默认限制脚本执行解决方法# 以管理员身份运行PowerShell然后执行 Set-ExecutionPolicy RemoteSigned问题二AWS CLI未找到确保AWS CLI已正确安装并添加到PATH环境变量中。验证方法aws --version如果未安装可以使用脚本中的安装命令或手动下载安装。问题三下载速度慢可以尝试以下优化措施调整并发下载数通常5-10之间最佳确保网络连接稳定在网络空闲时段运行脚本使用更接近AWS服务器地理位置的网络问题四部分文件始终下载失败可能是服务器端问题可以等待一段时间后重试检查文件是否确实存在于S3存储桶中尝试手动下载单个文件确认问题问题五日志文件过大长时间使用后日志文件可能变得很大。可以定期清理或使用旋转日志策略# 在脚本中添加日志旋转逻辑 if ((Get-Item $successLog).Length -gt 10MB) { $archiveName success_$(Get-Date -Format yyyyMMdd).log Move-Item $successLog $OutputDir\$archiveName -Force }通过这个完整的PowerShell解决方案你可以轻松应对大规模树冠高度数据的下载任务节省大量手动操作时间同时确保数据的完整性和下载过程的可靠性。