Voltar ao blogue
Guias
Mihai Maxim20 de fevereiro de 20235 minutos de leitura

Comece a usar o Web Stealth Proxy como um profissional: Guia de início rápido

Comece a usar o Web Stealth Proxy como um profissional: Guia de início rápido

O que é que o Web Stealth Proxy tem para oferecer?

Scraping sem bloqueios - o nosso algoritmo inteligente de rotação de IP garante que o seu endereço IP não seja bloqueado nem sujeito a limites de taxa

Faça scraping como um utilizador real - dê às suas solicitações de scraping um toque orgânico com a ajuda de proxies, impressão digital dinâmica e cookies personalizados

Extraia dados localizados em qualquer parte do mundo - recolha dados localizados sem bloqueios utilizando os 195 países e mais de 100 milhões de IPs únicos do Web Stealth Proxy

Suporte ao vivo 24 horas por dia, 7 dias por semana - obtenha assistência profissional da nossa Equipa de Apoio ao Cliente a qualquer momento

Integração perfeita - integre facilmente o Web Stealth Proxy no seu código existente com um sistema de entrada única semelhante a um proxy

Características técnicas

Gestão de proxies orientada por ML - seleciona o melhor conjunto de proxies possível para o seu site de destino.

Identificação dinâmica - escolhe automaticamente os cabeçalhos, cookies, atributos do navegador e proxies certos para imitar o comportamento de um utilizador genuíno e mascarar a identidade do seu bot.

Funcionalidade de repetição automática - seleciona novos parâmetros e reenvia o pedido em caso de falha.

Renderização JavaScript - os nossos navegadores headless carregam todo o conteúdo da página web e permitem-lhe extrair dados de sites dinâmicos com facilidade.

Controlo de sessão - alterne entre diferentes IPs para cada pedido ou mantenha o mesmo IP por até 5 minutos.

Informações sobre compra e subscrição

O Web Stealth Proxy facilita o planeamento dos seus projetos de scraping. Oferecemos cinco planos diferentes com base no número de pedidos bem-sucedidos efetuados através do proxy.

Teste gratuito - 10 000 pedidos

Starter - 250 000 pedidos

Grow - 500 000 pedidos

Business - 1 000 000 de pedidos

Pro - 2 000 000 de pedidos

Mais informações sobre cada plano estão disponíveis aqui.

Utilizar o Web Stealth Proxy

Fazer pedidos com o Web Stealth Proxy é fácil, especialmente se já tiver utilizado proxies normais para web scraping. Tenha em atenção que terá de desativar a verificação de certificados SSL (opção -k no cURL, verify=false em Python, etc.)

O Web Stealth Proxy está disponível através de:

HTTPS at stealthproxy.webscrapingapi.com:8000
HTTP at stealthproxy.webscrapingapi.com:80

As suas credenciais do Web Stealth Proxy estão armazenadas na secção «Começar aqui» da página do serviço Web Stealth Proxy.

Dashboard quickstart page showing web stealth proxy credentials and an integration step with a documentation button

Eis um exemplo de uma solicitação simples usando o cURL:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR_PROXY_USERNAME>:<YOUR_PROXY_PASSWORD>" \

-X GET "https://httpbin.org/get" 

Não precisa de especificar quaisquer parâmetros. O nosso sistema irá adicionar todos os cabeçalhos padrão, selecionar o proxy mais rápido e entregar-lhe a resposta. Para utilizar funcionalidades mais avançadas, tais como escolher uma localização específica do proxy ou utilizar o mesmo IP para múltiplas solicitações, pode incluir cabeçalhos adicionais na sua solicitação.

Pode encontrar mais exemplos de código na nossa documentação.

Definições de localização geográfica

O Web Stealth Proxy permite-lhe enviar a solicitação a partir de diferentes países, passando o cabeçalho X-WSA-Geo-Location na sua solicitação.

Veja como pode enviar uma solicitação a partir de um endereço IP localizado na Alemanha:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Geo-Location: de"

Aqui pode encontrar a lista completa de todas as localizações geográficas suportadas.

Controlo de sessão

Pode criar e utilizar uma nova sessão para extrair várias páginas do mesmo site e reutilizar o mesmo proxy (endereço IP) para cada pedido. Para utilizar o mesmo IP, basta adicionar o cabeçalho X-WSA-Session-ID com qualquer valor inteiro à sua escolha. O valor será utilizado para identificar a nova sessão criada por si:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "X-WSA-Session: 1234" 

As suas sessões expiram 5 minutos após a última utilização.

Pode encontrar mais exemplos de código noutras linguagens aqui.

Cabeçalhos personalizados

Os cabeçalhos HTTP personalizados são úteis quando pretende fornecer informações adicionais à sua solicitação. Se a sua solicitação exigir a passagem de cabeçalhos HTTP personalizados, basta acrescentar WSA- ao nome do seu cabeçalho e adicioná-los à sua solicitação:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "WSA-random-header: random" \

--header "WSA-User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

Siga este link para encontrar exemplos de código noutras linguagens.

Cookies personalizados

Também pode definir cookies personalizados para o site de destino. Os cookies personalizados são tratados da mesma forma que os cabeçalhos personalizados. Para adicionar o seu próprio cookie à solicitação, basta passar o nome e o valor para o cabeçalho personalizado WSA-Cookie ao enviar a sua solicitação:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "WSA-Cookie: SID=abcd"

Mais exemplos de código em diferentes linguagens podem ser encontrados aqui.

Renderização JavaScript e capturas de ecrã

O Web Stealth Proxy utiliza navegadores sem interface gráfica para renderizar o conteúdo completo de qualquer página web e devolver-lhe o HTML resultante. Adicione o cabeçalho X-WSA-Render: screenshot para receber uma captura de ecrã da página. A solicitação irá devolver um objeto JSON contendo a imagem encriptada em base64:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Render: screenshot"

Clique aqui para encontrar exemplos de código noutras linguagens de programação.

Pedidos POST

Precisa de enviar alguns dados para o site de destino? O Web Stealth Proxy suporta tanto pedidos POST como PUT.

curl -k -x "http://stealthproxy.webscrapingapi.com:80"\

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X POST "https://httpbin.org/get" \

--data '{"foo":"bar"}'

Pode encontrar mais exemplos de código para diferentes linguagens de programação aqui.

Utilização e estatísticas

Pode ver a sua utilização de créditos a qualquer momento, visitando a secção Estatísticas da página do serviço Web Stealth Proxy:

Dashboard usage screen showing proxy call volume chart and a circular usage indicator

Será cobrado apenas 1 crédito por cada pedido bem-sucedido. Um pedido é considerado bem-sucedido se devolver um código de estado 200.

Conclusão

O Web Stealth Proxy é ideal para tarefas de web scraping. Em vez de lidar manualmente com CAPTCHAs, bloqueios e outras restrições, o Web Stealth Proxy trata do processo de desbloqueio por si com uma elevada taxa de sucesso (normalmente 100%).

Se tiver quaisquer perguntas adicionais sobre o Web Stealth Proxy ou precisar de ajuda para o utilizar, a nossa equipa de apoio está aqui para o ajudar. Contacte-nos a qualquer momento através do chat ao vivo ou por e-mail, e teremos todo o prazer em fornecer a orientação de que necessita.

Sobre o autor
Mihai Maxim, Desenvolvedor Full Stack @ WebScrapingAPI
Mihai MaximDesenvolvedor Full Stack

Mihai Maxim é um programador Full Stack na WebScrapingAPI, contribuindo em todas as áreas do produto e ajudando a criar ferramentas e funcionalidades fiáveis para a plataforma.

Comece a construir

Pronto para expandir a sua recolha de dados?

Junte-se a mais de 2.000 empresas que utilizam a WebScrapingAPI para extrair dados da Web à escala empresarial, sem quaisquer custos de infraestrutura.