Melhores alternativas ao Wget: Ferramentas modernas de download CLI comparadas

O wget faz uma coisa bem: descarrega ficheiros via HTTP e FTP com o mínimo de complicações. O descarregamento recursivo, as tentativas automáticas e o controlo da largura de banda estão integrados. Mas esses pontos fortes vêm acompanhados de limitações reais.

O wget é, por definição, de thread único, pelo que não consegue saturar uma ligação rápida ao descarregar ficheiros de grande dimensão. Não tem suporte nativo para HTTP/2, o que significa que fica sem a multiplexação e a compressão de cabeçalhos que os servidores modernos oferecem. A sua saída é texto simples sem formatação estruturada, o que o torna pouco prático para a exploração de APIs. E embora o wget lide com FTP e HTTPS, não suporta protocolos como SFTP, SCP ou BitTorrent.

Se alguma destas lacunas for relevante para o seu fluxo de trabalho, vale a pena avaliar as alternativas ao wget listadas abaixo.

Antes de nos debruçarmos sobre cada ferramenta, eis um resumo de como as principais alternativas ao wget se comparam nas funcionalidades mais importantes.

Se pretende algo que se aproxime o mais possível de um substituto direto do wget, o wget2 é o ponto de partida óbvio. Licenciado sob a LGPL-3.0, foi concebido para ser um superconjunto do original, acrescentando capacidades de que o wget sempre careceu.

A sintaxe do comando permanece familiar. A maioria dos scripts wget existentes deve funcionar com alterações mínimas, o que mantém o atrito da migração baixo. Mas, nos bastidores, o wget2 é um motor fundamentalmente diferente.

De acordo com a página do projeto wget2 no repositório GNU Savannah, as principais atualizações incluem suporte nativo a HTTP/2 (com fluxos multiplexados), downloads multithread para transferências paralelas mais rápidas, gestão de compressão integrada e um sistema de plugins que permite estender o comportamento sem bifurcar o código-fonte. Estas funcionalidades resolvem os maiores pontos fracos do wget original num único pacote.

Traduzir uma tarefa comum do wget é simples:

# wget
wget -r -np https://example.com/docs/

# wget2 equivalent (same flags, faster execution)
wget2 -r -np https://example.com/docs/

Para equipas que dependem de espelhamento recursivo ou de downloads em grandes lotes, o wget2 é o caminho de menor resistência.

O curl é, sem dúvida, a ferramenta de transferência de linha de comando mais amplamente utilizada que existe. Vem incluído no macOS, na maioria das distribuições Linux e no Windows 10+. É gratuito, de código aberto e suporta mais de 25 protocolos (HTTP, HTTPS, FTP, SFTP, SCP, LDAP, MQTT e muitos mais).

Enquanto o wget se concentra no download de ficheiros, o curl concentra-se na transferência de dados. Essa distinção é importante: o curl destaca-se na criação de pedidos personalizados com cabeçalhos arbitrários, no envio de cargas POST e no encaminhamento de respostas para outras ferramentas. A biblioteca libcurl subjacente alimenta inúmeras aplicações, desde as funções curl_ até às ligações PycURL do Python.

O curl ganha quando precisa de variedade de protocolos, testes de API ou integração com outro software. Um exemplo rápido de download de um ficheiro (o equivalente do wget a wget https://example.com/file.zip):

curl -O https://example.com/file.zip

Onde o curl realmente se destaca é nos fluxos de trabalho de API. Enviar JSON, inspecionar cabeçalhos de resposta e lidar com autenticação são todas operações de primeira classe:

curl -X POST https://api.example.com/data \
  -H "Content-Type: application/json" \
  -d '{"key": "value"}'

Se já utiliza o curl com proxies para recolha de dados, sabe como ele se encaixa naturalmente em pipelines de scripts.

O aria2 é um utilitário de download leve e multiprotocolo que suporta HTTP(S), FTP, SFTP, BitTorrent e Metalink. A sua funcionalidade principal é o download segmentado: divide um único ficheiro em várias partes, descarrega-as em paralelo e volta a montá-las no disco. Consegue até descarregar segmentos de vários espelhos simultaneamente, o que pode acelerar drasticamente as transferências de ficheiros grandes.

O suporte à retomada está integrado (use a -c flag), e a pegada de memória do aria2 permanece pequena, normalmente em torno de 4 MB durante a operação. Uma interface JSON-RPC permite integrá-lo com interfaces de utilizador externas ou scripts de automação.

# Download with 8 parallel connections
aria2c -x 8 https://example.com/largefile.iso

Uma advertência importante: a versão mais recente do aria2 (versão 1.37.0) foi lançada aproximadamente em novembro de 2023, e a atividade da comunidade abrandou visivelmente desde então. A ferramenta continua a funcionar bem, mas se a manutenção a longo prazo for importante para a sua pilha, fique atento ao repositório do projeto para sinais de um desenvolvimento renovado.

O HTTPie adota uma abordagem diferente da maioria das alternativas ao wget. Em vez de otimizar para downloads de ficheiros, otimiza para interações HTTP legíveis por humanos. As respostas são destacadas por sintaxe e formatadas automaticamente, as cargas JSON são um tipo de dados de primeira classe e a sintaxe dos sinalizadores parece quase inglês.

# GET request with HTTPie
http GET https://api.example.com/users Accept:application/json

# POST with inline JSON
http POST https://api.example.com/users name=Alice email=alice@example.com

O HTTPie está disponível no macOS, Windows, Linux e em qualquer lugar onde o Python seja executado. Não é a ferramenta ideal para downloads em massa de ficheiros ou espelhamento recursivo, mas para exploração de APIs, depuração de endpoints e prototipagem rápida de pedidos, é significativamente mais ergonómico do que o wget ou o curl.

Se gosta da sintaxe do HTTPie, mas quer algo mais rápido ou mais compatível com o curl, o xh e o curlie preenchem esse nicho.

O xh é escrito em Rust e licenciado sob a licença MIT. Ele espelha a sintaxe intuitiva de pedidos do HTTPie, oferecendo tempos de inicialização visivelmente mais rápidos e suporte integrado a HTTP/2. Para programadores que executam dezenas de pedidos ad hoc por dia, a diferença de velocidade faz toda a diferença.

O curlie combina o motor do curl com a formatação do HTTPie. Nos bastidores, todas as solicitações passam pelo curl (para que mantenha o suporte completo ao protocolo), mas a saída recebe a coloração e a estrutura ao estilo do HTTPie. Pense nisso como uma camada de interface do utilizador sobre o curl, em vez de um cliente HTTP separado.

Ambas as ferramentas são mantidas ativamente e funcionam como alternativas leves ao wget quando o seu principal caso de uso é o teste de pedidos HTTP, em vez do download de ficheiros.

O hurl distingue-se das outras ferramentas desta lista. Em vez de criar pedidos a partir de opções de linha de comandos, escreve-os em ficheiros de texto simples .hurl que descrevem uma sequência de pedidos HTTP e asserções.

GET https://api.example.com/health
HTTP 200
[Asserts]
header "Content-Type" == "application/json"
jsonpath "$.status" == "ok"

Esta abordagem declarativa torna o hurl uma escolha natural para pipelines de CI/CD, onde pretende que testes de integração HTTP repetíveis sejam registados no controlo de versões. Suporta HTTP/2, pode encadear pedidos (usando valores de uma resposta na seguinte) e apresenta resultados em XML JUnit para integração com executores de testes.

O hurl não é um substituto do wget para descarregar ficheiros. É uma alternativa ao wget para validação HTTP automatizada e, nessa função, é difícil de superar.

Para além das ferramentas mais conhecidas, há alguns gestores de downloads baseados em TUI que merecem uma breve menção para os leitores que desejam uma experiência de terminal mais interativa.

O Axel é um acelerador de downloads CLI leve que utiliza múltiplas ligações por ficheiro, semelhante ao aria2, mas com um conjunto de funcionalidades mais simples. É mantido ativamente e funciona bem para downloads paralelos simples via HTTP e FTP.

O getparty é uma ferramenta CLI baseada em Go que se concentra em downloads paralelos retomáveis com uma barra de progresso. É útil para downloads pontuais de ficheiros grandes.

O Surge fornece uma interface de utilizador de terminal para gerir vários downloads simultâneos com acompanhamento visual do progresso.

Note que alguns gestores de downloads mais antigos, como o uGet, não recebem atualizações desde aproximadamente 2021 e devem ser considerados descontinuados neste momento. Opte por projetos mantidos ativamente para tudo aquilo em que planeia confiar em produção.

Com tantas alternativas viáveis ao wget disponíveis, a escolha da ferramenta certa depende inteiramente do que está realmente a fazer. Aqui está um quadro de decisão rápido:

• Transferências em massa de ficheiros ou ISOs de grande dimensão: aria2 (transferências paralelas segmentadas a partir de várias fontes)
• Testes de API e depuração de endpoints: HTTPie ou xh (saída legível por humanos, sintaxe intuitiva)
• Substituição direta do wget com funcionalidades modernas: wget2 (os mesmos sinalizadores, adiciona HTTP/2 e multithreading)
• A mais ampla cobertura de protocolos e scripting: curl (mais de 25 protocolos, ecossistema libcurl)
• Testes de integração HTTP de CI/CD: hurl (ficheiros de teste declarativos no controlo de versões)
• Aceleração simples de downloads paralelos: Axel (leve, sem funcionalidades extra)

Se lida com vários casos de utilização, é perfeitamente normal manter duas ou três destas ferramentas instaladas. O curl para scripts diários, o aria2 para downloads pesados e o HTTPie para trabalho com APIs é uma combinação popular entre os programadores com quem falamos.

Para fluxos de trabalho que envolvem a recolha de dados da Web em grande escala, onde as proteções anti-bot, a resolução de CAPTCHA e a gestão de proxies se tornam o verdadeiro gargalo, acabará por precisar de mais do que apenas uma ferramenta CLI. É aí que uma camada de extração gerida se torna valiosa.

• O wget2 é a opção de atualização mais suave se quiser HTTP/2, multithreading e suporte a plugins sem reescrever os seus scripts existentes.
• O curl é o mais versátil e completo, cobrindo mais de 25 protocolos e integrando-se profundamente com pipelines de scripts e bibliotecas HTTP ao nível da linguagem.
• O aria2 é o descarregador mais rápido para ficheiros grandes graças a transferências paralelas segmentadas e de múltiplas fontes, embora o seu estado de manutenção mereça acompanhamento.
• O HTTPie e o xh dão prioridade à ergonomia do programador, tornando-os as melhores escolhas para a exploração de APIs e prototipagem de pedidos, em detrimento do download de ficheiros.
• Verifique sempre o estado de manutenção antes de se comprometer com uma ferramenta. Projetos descontinuados, como o uGet, podem deixá-lo na mão quando algo falhar.

Não totalmente. O curl suporta um conjunto muito mais vasto de protocolos e é superior para trabalho com APIs, mas carece da funcionalidade de download recursivo integrada do wget. Para espelhar um site inteiro, teria de criar o script de recursão por si próprio ou combinar o curl com um rastreador. Para downloads de ficheiros únicos e scripts HTTP, o curl cobre tudo o que o wget faz e muito mais.

O wget2 adiciona HTTP/2 nativo com fluxos multiplexados, downloads paralelos multithread, compressão de conteúdo integrada e uma arquitetura de plugins para ampliar o comportamento. A sintaxe da linha de comando permanece amplamente compatível, pelo que os scripts existentes requerem alterações mínimas.

Sim. Passe o -c (continue) e o aria2 retoma de onde parou. Suporta até a retomada de downloads segmentados, o que significa que cada parte paralela é retomada de forma independente, em vez de reiniciar o ficheiro inteiro.

O wget2 é a opção mais próxima para espelhamento de sites completos, uma vez que suporta downloads recursivos com o mesmo -r e -np flags que o wget usa, mas adiciona a recuperação paralela. Se o wget2 não estiver disponível no seu sistema, o wget original continua a ser o melhor descarregador recursivo entre as ferramentas CLI.

Sim. O curl, o wget2, o HTTPie, o xh e o hurl suportam todos o HTTP/2 de forma nativa. O aria2 e o Axel não. Consulte a tabela comparativa acima para uma referência rápida.

O wget conquistou o seu lugar no kit de ferramentas do administrador de sistemas, mas o panorama das ferramentas de download via CLI e HTTP expandiu-se muito além do que ele oferece. O wget2 proporciona-lhe uma atualização quase perfeita com HTTP/2 e paralelismo. O curl continua a ser o canivete suíço universal para tudo o que está relacionado com protocolos. O aria2 domina quando a velocidade bruta de download é importante. E ferramentas como o HTTPie, o xh e o hurl conquistam nichos específicos para trabalho e testes de API.

A escolha certa depende do seu fluxo de trabalho, e não há razão para se limitar a apenas uma. Instale as ferramentas que correspondem às suas tarefas mais comuns e deixe que cada uma faça o que faz de melhor.

Quando as suas necessidades vão além do download de ficheiros e se estendem à recolha de dados web em grande escala, onde a rotação de proxies, o tratamento de CAPTCHA e a evasão de bots se tornam os verdadeiros desafios, a WebScrapingAPI pode gerir essa infraestrutura para que se possa concentrar nos dados em si.