Voltar ao blogue
Guias
Mihai MaximLast updated on Mar 31, 20266 min read

Comece a usar o Web Stealth Proxy como um profissional: Guia de início rápido

Comece a usar o Web Stealth Proxy como um profissional: Guia de início rápido

O Web Stealth Proxy é uma solução de proxy baseada em inteligência artificial que contorna sofisticados sistemas anti-bot e permite extrair dados de qualquer site. Com o Web Stealth Proxy, basta enviar uma única solicitação. O nosso sistema trata do resto. Graças às suas tecnologias e técnicas avançadas, o Web Stealth Proxy consegue estar um passo à frente dos bloqueios e adaptar-se às restrições dos sites em constante mudança. Isto significa que pode confiar que o seu processo de scraping permanecerá fluido e ininterrupto, permitindo-lhe extrair os dados de que necessita para ter sucesso.

Está pronto para levar a sua experiência de web scraping para o próximo nível? Este guia de início rápido tem tudo o que precisa para começar a utilizar o Web Stealth Proxy.

O que é que o Web Stealth Proxy tem para oferecer?

Scraping sem bloqueios - o nosso algoritmo inteligente de rotação de IP garante que o seu endereço IP não seja bloqueado nem sujeito a limites de taxa

Faça scraping como um utilizador real - dê às suas solicitações de scraping um toque orgânico com a ajuda de proxies, impressão digital dinâmica e cookies personalizados

Extraia dados localizados em qualquer parte do mundo - recolha dados localizados sem bloqueios utilizando os 195 países e mais de 100 milhões de IPs únicos do Web Stealth Proxy

Suporte ao vivo 24 horas por dia, 7 dias por semana - obtenha assistência profissional da nossa Equipa de Apoio ao Cliente a qualquer momento

Integração perfeita - integre facilmente o Web Stealth Proxy no seu código existente com um sistema de entrada única semelhante a um proxy

Características técnicas

Gestão de proxies orientada por ML - seleciona o melhor conjunto de proxies possível para o seu site de destino.

Identificação dinâmica - escolhe automaticamente os cabeçalhos, cookies, atributos do navegador e proxies certos para imitar o comportamento de um utilizador genuíno e mascarar a identidade do seu bot.

Funcionalidade de repetição automática - seleciona novos parâmetros e reenvia o pedido em caso de falha.

Renderização JavaScript - os nossos navegadores headless carregam todo o conteúdo da página web e permitem-lhe extrair dados de sites dinâmicos com facilidade.

Controlo de sessão - alterne entre diferentes IPs para cada pedido ou mantenha o mesmo IP por até 5 minutos.

Informações sobre compra e subscrição

O Web Stealth Proxy facilita o planeamento dos seus projetos de scraping. Oferecemos cinco planos diferentes com base no número de pedidos bem-sucedidos efetuados através do proxy.

Teste gratuito - 10 000 pedidos

Starter - 250 000 pedidos

Grow - 500 000 pedidos

Business - 1 000 000 de pedidos

Pro - 2 000 000 de pedidos

Mais informações sobre cada plano estão disponíveis aqui.

Utilizar o Web Stealth Proxy

Fazer pedidos com o Web Stealth Proxy é fácil, especialmente se já tiver utilizado proxies normais para web scraping. Tenha em atenção que terá de desativar a verificação de certificados SSL (opção -k no cURL, verify=false em Python, etc.)

O Web Stealth Proxy está disponível através de:

HTTPS at stealthproxy.webscrapingapi.com:8000
HTTP at stealthproxy.webscrapingapi.com:80

As suas credenciais do Web Stealth Proxy estão armazenadas na secção «Começar aqui» da página do serviço Web Stealth Proxy.

Eis um exemplo de uma solicitação simples usando o cURL:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR_PROXY_USERNAME>:<YOUR_PROXY_PASSWORD>" \

-X GET "https://httpbin.org/get"

Não precisa de especificar quaisquer parâmetros. O nosso sistema irá adicionar todos os cabeçalhos padrão, selecionar o proxy mais rápido e entregar-lhe a resposta. Para utilizar funcionalidades mais avançadas, tais como escolher uma localização específica do proxy ou utilizar o mesmo IP para múltiplas solicitações, pode incluir cabeçalhos adicionais na sua solicitação.

Pode encontrar mais exemplos de código na nossa documentação.

Definições de localização geográfica

O Web Stealth Proxy permite-lhe enviar a solicitação a partir de diferentes países, passando o cabeçalho X-WSA-Geo-Location na sua solicitação.

Veja como pode enviar uma solicitação a partir de um endereço IP localizado na Alemanha:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Geo-Location: de"

Aqui pode encontrar a lista completa de todas as localizações geográficas suportadas.

Controlo de sessão

Pode criar e utilizar uma nova sessão para extrair várias páginas do mesmo site e reutilizar o mesmo proxy (endereço IP) para cada pedido. Para utilizar o mesmo IP, basta adicionar o cabeçalho X-WSA-Session-ID com qualquer valor inteiro à sua escolha. O valor será utilizado para identificar a nova sessão criada por si:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Session: 1234"

As suas sessões expiram 5 minutos após a última utilização.

Pode encontrar mais exemplos de código noutras linguagens aqui.

Cabeçalhos personalizados

Os cabeçalhos HTTP personalizados são úteis quando pretende fornecer informações adicionais à sua solicitação. Se a sua solicitação exigir a passagem de cabeçalhos HTTP personalizados, basta acrescentar WSA- ao nome do seu cabeçalho e adicioná-los à sua solicitação:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "WSA-random-header: random" \

--header "WSA-User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

Siga este link para encontrar exemplos de código noutras linguagens.

Cookies personalizados

Também pode definir cookies personalizados para o site de destino. Os cookies personalizados são tratados da mesma forma que os cabeçalhos personalizados. Para adicionar o seu próprio cookie à solicitação, basta passar o nome e o valor para o cabeçalho personalizado WSA-Cookie ao enviar a sua solicitação:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "WSA-Cookie: SID=abcd"

Mais exemplos de código em diferentes linguagens podem ser encontrados aqui.

Renderização JavaScript e capturas de ecrã

O Web Stealth Proxy utiliza navegadores sem interface gráfica para renderizar o conteúdo completo de qualquer página web e devolver-lhe o HTML resultante. Adicione o cabeçalho X-WSA-Render: screenshot para receber uma captura de ecrã da página. A solicitação irá devolver um objeto JSON contendo a imagem encriptada em base64:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Render: screenshot"

Clique aqui para encontrar exemplos de código noutras linguagens de programação.

Pedidos POST

Precisa de enviar alguns dados para o site de destino? O Web Stealth Proxy suporta tanto pedidos POST como PUT.

curl -k -x "http://stealthproxy.webscrapingapi.com:80"\

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X POST "https://httpbin.org/get" \

--data '{"foo":"bar"}'

Pode encontrar mais exemplos de código para diferentes linguagens de programação aqui.

Utilização e estatísticas

Pode ver a sua utilização de créditos a qualquer momento, visitando a secção Estatísticas da página do serviço Web Stealth Proxy:

Será cobrado apenas 1 crédito por cada pedido bem-sucedido. Um pedido é considerado bem-sucedido se devolver um código de estado 200.

Conclusão

O Web Stealth Proxy é ideal para tarefas de web scraping. Em vez de lidar manualmente com CAPTCHAs, bloqueios e outras restrições, o Web Stealth Proxy trata do processo de desbloqueio por si com uma elevada taxa de sucesso (normalmente 100%).

Se tiver quaisquer perguntas adicionais sobre o Web Stealth Proxy ou precisar de ajuda para o utilizar, a nossa equipa de apoio está aqui para o ajudar. Contacte-nos a qualquer momento através do chat ao vivo ou por e-mail, e teremos todo o prazer em fornecer a orientação de que necessita.

Sobre o autor
Mihai Maxim, Desenvolvedor Full Stack @ WebScrapingAPI
Mihai MaximDesenvolvedor Full Stack

Mihai Maxim é um programador Full Stack na WebScrapingAPI, contribuindo em todas as áreas do produto e ajudando a criar ferramentas e funcionalidades fiáveis para a plataforma.

Comece a construir

Pronto para expandir a sua recolha de dados?

Junte-se a mais de 2.000 empresas que utilizam a WebScrapingAPI para extrair dados da Web à escala empresarial, sem quaisquer custos de infraestrutura.