Comece a utilizar o Web Stealth Proxy como um profissional: Guia de Início Rápido
Mihai Maxim em 20 de fevereiro de 2023
O Web Stealth Proxy é uma solução de proxy com tecnologia ML que contorna os sofisticados sistemas anti-bot e permite-lhe fazer scraping de qualquer sítio Web. Com o Web Stealth Proxy, tudo o que tem de fazer é enviar um pedido. O nosso sistema encarrega-se do resto. Graças às suas tecnologias e técnicas avançadas, o Web Stealth Proxy é capaz de se manter um passo à frente dos bloqueios e de se adaptar às restrições dos sítios em constante mudança. Isto significa que pode ter a certeza de que o seu processo de recolha de dados se manterá fluido e sem interrupções, permitindo-lhe extrair os dados de que necessita para ter sucesso.
Está pronto para levar o seu jogo de raspagem da Web para o próximo nível? Este guia de início rápido tem tudo o que precisa para começar a utilizar o Web Stealth Proxy.
O que é que o Web Stealth Proxy tem para oferecer?
Recolha de dados sem bloqueios - o nosso algoritmo inteligente de rotação de IP garante que o seu endereço IP não é bloqueado ou limitado
Faça scraping como um utilizador real - dê aos seus pedidos de scraping uma sensação orgânica com a ajuda de proxies, impressões digitais dinâmicas e cookies personalizados
Extraia dados localizados em qualquer parte do mundo - recolha dados localizados sem bloqueios utilizando os 195 países e mais de 100 milhões de IPs únicos do Web Stealth Proxy
Apoio em direto 24 horas por dia, 7 dias por semana - obtenha assistência profissional da nossa equipa de apoio ao cliente em qualquer altura
Integração perfeita - integre facilmente o Web Stealth Proxy no seu código existente com um sistema semelhante a um proxy de entrada única
Caraterísticas técnicas
Gestão de proxy orientada por ML - seleciona o melhor conjunto de proxy possível para o seu site alvo.
Impressão digital dinâmica - escolhe automaticamente os cabeçalhos, cookies, atributos do navegador e proxies corretos para imitar o comportamento genuíno do utilizador e mascarar a identidade do seu bot.
Funcionalidade de repetição automática - seleciona novos parâmetros e reenvia o pedido em caso de falha.
Renderização de JavaScript - os nossos navegadores sem cabeça carregam o conteúdo completo da página Web e permitem-lhe extrair facilmente sítios Web dinâmicos.
Controlo de sessão - alternar entre IPs diferentes para cada pedido ou manter o mesmo IP até 5 minutos.
Informações de compra e subscrição
O Web Stealth Proxy facilita o planeamento dos seus projectos de scraping. Fornecemos cinco planos diferentes com base no número de pedidos bem sucedidos efectuados através do proxy.
Teste gratuito - 10.000 pedidos
Arranque - 250 000 pedidos
Crescer - 500 000 pedidos
Empresas - 1 000 000 de pedidos
Pro - 2 000 000 pedidos
Mais informações sobre cada plano estão disponíveis aqui.
Utilizar o Web Stealth Proxy
Efetuar pedidos com o Web Stealth Proxy é fácil, especialmente se já tiver utilizado proxies normais para a recolha de dados da Web. Tenha em atenção que terá de desativar a verificação dos certificados SSL (opção -k em cURL, verify=false em Python, etc.)
O Web Stealth Proxy está disponível através de:
HTTPS em stealthproxy.webscrapingapi.com:8000
HTTP em stealthproxy.webscrapingapi.com:80
As credenciais do Web Stealth Proxy são armazenadas na secção Começar aqui da página do serviço Web Stealth Proxy.
Aqui está um exemplo de um pedido simples utilizando cURL:
curl -k -x "http://stealthproxy.webscrapingapi.com:80" \
-U "<YOUR_PROXY_USERNAME>:<YOUR_PROXY_PASSWORD>" \
-X GET "https://httpbin.org/get"
Não precisa de especificar quaisquer parâmetros. O nosso sistema adicionará todos os cabeçalhos padrão, selecionará o proxy mais rápido e entregar-lhe-á a resposta. Para utilizar funcionalidades mais avançadas, como escolher uma localização de proxy específica ou utilizar o mesmo IP para vários pedidos, pode incluir cabeçalhos adicionais no seu pedido.
Pode encontrar mais exemplos de código na nossa documentação.
Definições de geo-localização
O Web Stealth Proxy permite-lhe enviar o pedido a partir de diferentes países, passando o cabeçalho X-WSA-Geo-Location para o seu pedido.
Eis como pode enviar um pedido a partir de um endereço IP localizado na Alemanha:
curl -k -x "http://stealthproxy.webscrapingapi.com:80" \
-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \
-X GET "https://httpbin.org/get" \
--header "X-WSA-Geo-Location: de"
Aqui pode encontrar a lista completa de todas as geo-localizações suportadas.
Controlo da sessão
Pode criar e utilizar uma nova sessão para recolher várias páginas do mesmo sítio Web e reutilizar o mesmo proxy (endereço IP) para cada pedido. Para utilizar o mesmo IP, basta adicionar o cabeçalho X-WSA-Session-ID com qualquer valor inteiro à sua escolha. O valor será utilizado para identificar a nova sessão criada por si:
curl -k -x "http://stealthproxy.webscrapingapi.com:80" \
-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \
-X GET "https://httpbin.org/get" \
--header "X-WSA-Session: 1234"
As suas sessões expiram 5 minutos após a última utilização.
Mais exemplos de código noutras línguas podem ser encontrados aqui.
Cabeçalhos personalizados
Os cabeçalhos HTTP personalizados são úteis quando pretende fornecer informações adicionais ao seu pedido. Se o seu pedido requer a passagem de cabeçalhos HTTP personalizados, tudo o que tem de fazer é acrescentar WSA- ao nome do cabeçalho e adicioná-lo ao seu pedido:
curl -k -x "http://stealthproxy.webscrapingapi.com:80" \
-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \
-X GET "https://httpbin.org/get" \
--header "WSA-random-header: random" \
--header "WSA-User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
Siga esta ligação para encontrar exemplos de código noutras línguas.
Biscoitos personalizados
Também é possível definir cookies personalizados para o sítio Web de destino. Os cookies personalizados são tratados da mesma forma que os cabeçalhos personalizados. Para adicionar o seu próprio cookie ao pedido, basta passar o nome e o valor para o cabeçalho personalizado WSA-Cookie quando enviar o pedido:
curl -k -x "http://stealthproxy.webscrapingapi.com:80" \
-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \
-X GET "https://httpbin.org/get" \
--header "WSA-Cookie: SID=abcd"
Mais exemplos de código em diferentes línguas podem ser encontrados aqui.
Renderização JavaScript e capturas de ecrã
O Web Stealth Proxy utiliza browsers sem cabeça para renderizar o conteúdo completo de qualquer página Web e devolver-lhe o HTML resultante. Adicione o X-WSA-Render: screenshot para receber uma captura de ecrã da página. O pedido devolverá um objeto JSON que contém a imagem encriptada em base64:
curl -k -x "http://stealthproxy.webscrapingapi.com:80" \
-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \
-X GET "https://httpbin.org/get" \
--header "X-WSA-Render: screenshot"
Clique aqui para encontrar exemplos de código noutras linguagens de programação.
Pedidos POST
Precisa de enviar alguns dados para o sítio Web visado? O Web Stealth Proxy suporta pedidos POST e PUT.
curl -k -x "http://stealthproxy.webscrapingapi.com:80"\
-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \
-X POST "https://httpbin.org/get" \
--data '{"foo":"bar"}'
Pode encontrar mais exemplos de código para diferentes linguagens de programação aqui.
Utilização e estatísticas
Pode ver a utilização do seu crédito a qualquer momento, visitando a secção Estatísticas da página do serviço Web Stealth Proxy:
Ser-lhe-á cobrado apenas 1 crédito por cada pedido bem sucedido. Um pedido é considerado bem sucedido se devolver um código de estado 200.
Conclusão
O Web Stealth Proxy é ideal para tarefas de raspagem da Web. Em vez de lidar manualmente com CAPTCHAs, bloqueios e outras restrições, o Web Stealth Proxy trata do processo de desbloqueio por si com uma elevada taxa de sucesso (normalmente 100%).
Se tiver mais perguntas sobre o Web Stealth Proxy ou precisar de ajuda para o utilizar, a nossa equipa de assistência está aqui para o ajudar. Entre em contacto connosco a qualquer momento através do chat ao vivo ou por e-mail e teremos todo o gosto em fornecer a orientação de que necessita.
Notícias e actualizações
Mantenha-se atualizado com os mais recentes guias e notícias sobre raspagem da Web, subscrevendo a nossa newsletter.
We care about the protection of your data. Read our <l>Privacy Policy</l>.Privacy Policy.
Artigos relacionados
Recolha sem esforço dados em tempo real dos motores de busca utilizando a API SERP Scraping. Melhore a análise de mercado, SEO e pesquisa de tópicos com facilidade. Comece hoje mesmo!
Saiba qual é o melhor browser para contornar os sistemas de deteção Cloudflare enquanto faz web scraping com o Selenium.
Aprenda a raspar tabelas HTML com Golang para uma poderosa extração de dados. Explore a estrutura das tabelas HTML e crie um raspador da Web usando a simplicidade, a simultaneidade e a robusta biblioteca padrão do Golang.
