Voltar ao blogue
Guias
Mihai Maxim20 de fevereiro de 20235 min de leitura

Comece a utilizar o Web Stealth Proxy como um profissional: Guia de Início Rápido

Comece a utilizar o Web Stealth Proxy como um profissional: Guia de Início Rápido

O que é que o Web Stealth Proxy tem para oferecer?

Recolha de dados sem bloqueios - o nosso algoritmo inteligente de rotação de IP garante que o seu endereço IP não é bloqueado ou limitado

Faça scraping como um utilizador real - dê aos seus pedidos de scraping uma sensação orgânica com a ajuda de proxies, impressões digitais dinâmicas e cookies personalizados

Extraia dados localizados em qualquer parte do mundo - recolha dados localizados sem bloqueios utilizando os 195 países e mais de 100 milhões de IPs únicos do Web Stealth Proxy

Apoio em direto 24 horas por dia, 7 dias por semana - obtenha assistência profissional da nossa equipa de apoio ao cliente em qualquer altura

Integração perfeita - integre facilmente o Web Stealth Proxy no seu código existente com um sistema semelhante a um proxy de entrada única

Caraterísticas técnicas

Gestão de proxy orientada por ML - seleciona o melhor conjunto de proxy possível para o seu site alvo.

Impressão digital dinâmica - escolhe automaticamente os cabeçalhos, cookies, atributos do navegador e proxies corretos para imitar o comportamento genuíno do utilizador e mascarar a identidade do seu bot.

Funcionalidade de repetição automática - seleciona novos parâmetros e reenvia o pedido em caso de falha.

Renderização de JavaScript - os nossos navegadores sem cabeça carregam o conteúdo completo da página Web e permitem-lhe extrair facilmente sítios Web dinâmicos.

Controlo de sessão - alternar entre IPs diferentes para cada pedido ou manter o mesmo IP até 5 minutos.

Informações de compra e subscrição

O Web Stealth Proxy facilita o planeamento dos seus projectos de scraping. Fornecemos cinco planos diferentes com base no número de pedidos bem sucedidos efectuados através do proxy.

Teste gratuito - 10.000 pedidos

Arranque - 250 000 pedidos

Crescer - 500 000 pedidos

Empresas - 1 000 000 de pedidos

Pro - 2 000 000 pedidos

Mais informações sobre cada plano estão disponíveis aqui.

Utilizar o Web Stealth Proxy

Efetuar pedidos com o Web Stealth Proxy é fácil, especialmente se já tiver utilizado proxies normais para a recolha de dados da Web. Tenha em atenção que terá de desativar a verificação dos certificados SSL (opção -k em cURL, verify=false em Python, etc.)

O Web Stealth Proxy está disponível através de:

HTTPS em stealthproxy.webscrapingapi.com:8000
HTTP em stealthproxy.webscrapingapi.com:80

As credenciais do Web Stealth Proxy são armazenadas na secção Começar aqui da página do serviço Web Stealth Proxy.

Página de início rápido do painel de controlo que apresenta as credenciais do proxy web discreto e um passo de integração com um botão de documentação

Aqui está um exemplo de um pedido simples utilizando cURL:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR_PROXY_USERNAME>:<YOUR_PROXY_PASSWORD>" \

-X GET "https://httpbin.org/get" 

Não precisa de especificar quaisquer parâmetros. O nosso sistema adicionará todos os cabeçalhos padrão, selecionará o proxy mais rápido e entregar-lhe-á a resposta. Para utilizar funcionalidades mais avançadas, como escolher uma localização de proxy específica ou utilizar o mesmo IP para vários pedidos, pode incluir cabeçalhos adicionais no seu pedido.

Pode encontrar mais exemplos de código na nossa documentação.

Definições de geo-localização

O Web Stealth Proxy permite-lhe enviar o pedido a partir de diferentes países, passando o cabeçalho X-WSA-Geo-Location para o seu pedido.

Eis como pode enviar um pedido a partir de um endereço IP localizado na Alemanha:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Geo-Location: de"

Aqui pode encontrar a lista completa de todas as geo-localizações suportadas.

Controlo da sessão

Pode criar e utilizar uma nova sessão para recolher várias páginas do mesmo sítio Web e reutilizar o mesmo proxy (endereço IP) para cada pedido. Para utilizar o mesmo IP, basta adicionar o cabeçalho X-WSA-Session-ID com qualquer valor inteiro à sua escolha. O valor será utilizado para identificar a nova sessão criada por si:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "X-WSA-Session: 1234" 

As suas sessões expiram 5 minutos após a última utilização.

Mais exemplos de código noutras línguas podem ser encontrados aqui.

Cabeçalhos personalizados

Os cabeçalhos HTTP personalizados são úteis quando pretende fornecer informações adicionais ao seu pedido. Se o seu pedido requer a passagem de cabeçalhos HTTP personalizados, tudo o que tem de fazer é acrescentar WSA- ao nome do cabeçalho e adicioná-lo ao seu pedido:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "WSA-random-header: random" \

--header "WSA-User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

Siga esta ligação para encontrar exemplos de código noutras línguas.

Biscoitos personalizados

Também é possível definir cookies personalizados para o sítio Web de destino. Os cookies personalizados são tratados da mesma forma que os cabeçalhos personalizados. Para adicionar o seu próprio cookie ao pedido, basta passar o nome e o valor para o cabeçalho personalizado WSA-Cookie quando enviar o pedido:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "WSA-Cookie: SID=abcd"

Mais exemplos de código em diferentes línguas podem ser encontrados aqui.

Renderização JavaScript e capturas de ecrã

O Web Stealth Proxy utiliza browsers sem cabeça para renderizar o conteúdo completo de qualquer página Web e devolver-lhe o HTML resultante. Adicione o X-WSA-Render: screenshot para receber uma captura de ecrã da página. O pedido devolverá um objeto JSON que contém a imagem encriptada em base64:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Render: screenshot"

Clique aqui para encontrar exemplos de código noutras linguagens de programação.

Pedidos POST

Precisa de enviar alguns dados para o sítio Web visado? O Web Stealth Proxy suporta pedidos POST e PUT.

curl -k -x "http://stealthproxy.webscrapingapi.com:80"\

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X POST "https://httpbin.org/get" \

--data '{"foo":"bar"}'

Pode encontrar mais exemplos de código para diferentes linguagens de programação aqui.

Utilização e estatísticas

Pode ver a utilização do seu crédito a qualquer momento, visitando a secção Estatísticas da página do serviço Web Stealth Proxy:

Ecrã de utilização do painel de controlo que apresenta um gráfico do volume de chamadas de proxy e um indicador circular de utilização

Ser-lhe-á cobrado apenas 1 crédito por cada pedido bem sucedido. Um pedido é considerado bem sucedido se devolver um código de estado 200.

Conclusão

O Web Stealth Proxy é ideal para tarefas de raspagem da Web. Em vez de lidar manualmente com CAPTCHAs, bloqueios e outras restrições, o Web Stealth Proxy trata do processo de desbloqueio por si com uma elevada taxa de sucesso (normalmente 100%).

Se tiver mais perguntas sobre o Web Stealth Proxy ou precisar de ajuda para o utilizar, a nossa equipa de assistência está aqui para o ajudar. Entre em contacto connosco a qualquer momento através do chat ao vivo ou por e-mail e teremos todo o gosto em fornecer a orientação de que necessita.

Sobre o autor
Mihai Maxim, Desenvolvedor Full Stack na WebScrapingAPI
Mihai MaximDesenvolvedor Full Stack

Mihai Maxim é um programador Full Stack na WebScrapingAPI, contribuindo em todas as áreas do produto e ajudando a criar ferramentas e funcionalidades fiáveis para a plataforma.

Comece a construir

Pronto para expandir a sua recolha de dados?

Junte-se a mais de 2.000 empresas que utilizam a WebScrapingAPI para extrair dados da Web à escala empresarial, sem quaisquer custos de infraestrutura.