Proxies residenciais
Mantenha o seu cliente HTTP, navegador ou rastreador. Envie solicitações públicas elegíveis na web através de um endpoint de proxy residencial, com solicitações rotativas por padrão e sessões curtas quando a continuidade é importante.
Aquecimento do comprador
Proxies residenciais fornecem o caminho da rede. Eles não substituem o cliente de solicitação, automação do navegador, lógica do rastreador, retries, parser ou armazenamento.
Escolha Proxies residenciais
Mantenha o controle do cliente HTTP, navegador ou rastreador enquanto o WSA aplica o comportamento documentado de rota residencial e sessão.
O seu cliente aceita um proxy HTTP, HTTPS ou SOCKS5.
Queres IPs rotativas ou sessões curtas.
Precisas de uma selecção documentada do país no ponto final do proxy.
Confirmação durante a avaliação
Confirme que cada fonte e uso pretendido é elegível, e define regras conservadoras de solicitação, retentação, retenção e acesso para o seu fluxo de trabalho.
Revisão do país em curso e disponibilidade da conta.
Representante de ensaio target - a gestão de resposta.
Leia oAcordo de serviço.
Considere outro caminho
Uma API de solicitação/resposta é a melhor forma de se encaixar quando a sua equipe não quer possuir o cliente HTTP ou a conexão do navegador.
Controle de ligação
Comece com um host de backconnect, selecione a autenticação, país, comportamento de sessão e um formato de saída aceito pelo seu cliente.
Utilizaçãopaís=randompara qualquer país documentado disponível, ou selecione um dos Estados Unidos, GB, DE, FR, CA, AU e NL.
Conecte-se com credenciais de nome de usuário e senha, ou use uma IP em lista branca e seu país hospedeiro documentado.
Gerenar saída Host:port, HTTP, HTTPS ou SOCKS5 de acordo com o que seu cliente HTTP, navegador ou rastreador aceita.
Mantenha as credenciais do lado do servidor. Não coloque nomes de usuário, senhas ou pontos finais gerados por proxy no código do navegador, em repositórios públicos, em registros ou em capturas de tela.
Rotatividade e continuidade
O acesso residencial está rotando por padrão. Esqueça as opções de sessão e rotação quando as solicitações não precisam manter o mesmo IP residencial.
Para pedidos independentes, omita os controles de sessão e deixe o ponto final selecionar outra IP residencial.
Transferências curtas e fluxos compactos em vários passos.
Uma janela equilibrada para uma identificação de sessão reutilizada.
A janela de adesivos documentada máxima é de 10 minutos.
Integração dos desenvolvedores
Gerar um endpoint proxy, armazená-lo como um segredo do lado do servidor e usá-lo em um cliente HTTP, navegador ou rastreador proxy-consciente.
01 Construir o ponto final primeiro
Selecione as opções específicas da conta que o cliente precisa, e depois copie o endpoint gerado em uma variável de ambiente protegido.
import os
import requests
proxy_url = os.environ["WSA_RESIDENTIAL_PROXY_URL"]
response = requests.get(
"https://example.com/public-page",
proxies={"http": proxy_url, "https": proxy_url},
timeout=30,
)
response.raise_for_status()
print(response.text)export WSA_RESIDENTIAL_PROXY_URL="<GENERATED_PROXY_URL>"
curl --proxy "$WSA_RESIDENTIAL_PROXY_URL" \
--request GET "https://example.com/public-page"import { ProxyAgent, fetch } from "undici";
const proxyUrl = process.env.WSA_RESIDENTIAL_PROXY_URL;
if (!proxyUrl) throw new Error("Missing WSA_RESIDENTIAL_PROXY_URL");
const response = await fetch("https://example.com/public-page", {
dispatcher: new ProxyAgent(proxyUrl),
});
if (!response.ok) throw new Error("Target returned " + response.status);
console.log(await response.text());<?php
$proxyUrl = getenv("WSA_RESIDENTIAL_PROXY_URL");
$client = curl_init("https://example.com/public-page");
curl_setopt_array($client, [
CURLOPT_PROXY => $proxyUrl,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 30,
]);
$body = curl_exec($client);
if ($body === false) throw new RuntimeException(curl_error($client));
curl_close($client);
echo $body;package main
import (
"io"
"log"
"net/http"
"net/url"
"os"
"time"
)
func main() {
proxyURL, err := url.Parse(os.Getenv("WSA_RESIDENTIAL_PROXY_URL"))
if err != nil { log.Fatal(err) }
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
response, err := client.Get("https://example.com/public-page")
if err != nil { log.Fatal(err) }
defer response.Body.Close()
body, err := io.ReadAll(response.Body)
if err != nil { log.Fatal(err) }
log.Print(string(body))
}import java.net.*;
import java.net.http.*;
import java.time.Duration;
public class ResidentialProxyExample {
public static void main(String[] args) throws Exception {
var address = new InetSocketAddress(
System.getenv("WSA_PROXY_HOST"),
Integer.parseInt(System.getenv("WSA_PROXY_PORT"))
);
var client = HttpClient.newBuilder()
.proxy(ProxySelector.of(address))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication(
System.getenv("WSA_PROXY_USERNAME"),
System.getenv("WSA_PROXY_PASSWORD").toCharArray()
);
}
})
.connectTimeout(Duration.ofSeconds(30))
.build();
var request = HttpRequest.newBuilder()
.uri(URI.create("https://example.com/public-page"))
.GET()
.build();
var response = client.send(request, HttpResponse.BodyHandlers.ofString());
System.out.println(response.body());
}
}using System.Net;
var proxyUri = new Uri(
$"http://{Environment.GetEnvironmentVariable("WSA_PROXY_HOST")}:" +
$"{Environment.GetEnvironmentVariable("WSA_PROXY_PORT")}"
);
var proxy = new WebProxy(proxyUri) {
Credentials = new NetworkCredential(
Environment.GetEnvironmentVariable("WSA_PROXY_USERNAME"),
Environment.GetEnvironmentVariable("WSA_PROXY_PASSWORD")
)
};
using var client = new HttpClient(new HttpClientHandler { Proxy = proxy }) {
Timeout = TimeSpan.FromSeconds(30)
};
var body = await client.GetStringAsync(
"https://example.com/public-page"
);import { chromium } from "playwright";
const browser = await chromium.launch({
proxy: {
server: process.env.WSA_PROXY_SERVER,
username: process.env.WSA_PROXY_USERNAME,
password: process.env.WSA_PROXY_PASSWORD,
},
});
const page = await browser.newPage();
await page.goto("https://example.com/public-page");
console.log(await page.title());
await browser.close();Use o endpoint gerado onde o cliente do lado do servidor aceite uma configuração proxy.
Propriedade operacional
O ponto final de proxy altera a rota de saída; não assume a lógica de recolha nem a qualidade dos dados a jusante.
WebScrapingAPI
WebScrapingAPI opera o endpoint de proxy residencial, a seleção de rede e o comportamento de rotação ou sessão configurado.
A sua equipa
A sua equipe opera o cliente HTTP, o navegador, o rastreador, a política de solicitação, retestes, análise, armazenamento e regras de qualidade a jusante.
Escolha
Selecione um número público elegível target e defina a sua política de solicitação.
Configuração
Gerenar o endpoint com autenticação, país e comportamento de sessão.
Pedido
O seu cliente envia o pedido através do endpoint de proxy residencial.
Operar
A sua equipa lida com as respostas target, retestes, análise, armazenamento e verificações de qualidade.
Usar o serviço apenas para páginas web públicas elegíveis e revisar os termos da fonte, os requisitos aplicáveis e osAcordo de serviçoantes da utilização em produção.
Casos de utilização
A rota pode suportar a coleta de páginas públicas elegíveis através destes padrões de solução. target seleção, política de recolha, extracção e utilização de dados.
Seleção de proxy
Os controles residenciais são documentados aqui. Confirme a disponibilidade, locais, autenticação e comportamento de sessão para qualquer datacenter ou opção ISP com WSA antes de escolher.
Decisão | Residencial | Datacenter | ISP |
|---|---|---|---|
Identidade da rede | IPs residenciais reais | IPs de origem de datacenter | IPs associadas a ISP |
Documentado aqui | Seleção de país, autenticação, saída, rotação e janelas pegajosas | Confirmar os controles disponíveis | Confirmar os controles disponíveis |
Continuidade | Rotando por padrão; pegajoso por 3, 5 ou 10 minutos | Confirmação da oferta selecionada | Confirmação da oferta selecionada |
Aquecimento do comprador | A sua equipa é proprietária do colector e precisa de controles de encaminhamento residenciais. | Avaliação de quando o target aceita o tráfego de origem do centro de dados | Avaliação de quando um fluxo de trabalho precisa de uma rota associada ao ISP |
Desligue horizontalmente para comparar os três tipos de proxy.
Selecionar Proxies residenciais quando
O seu cliente proxy já está a trabalhar, a sua equipa quer ter o seu próprio comportamento de solicitação, e uma rota IP residencial real com rotação documentada ou curta continuidade corresponde à carga de trabalho.
Orientação dos preços
O preço de proxy residencial é organizado em torno do volume de tráfego e das licenças de plano.
Caminho de auto-serviço
Criar uma conta, gerar o endpoint e testar os targets reais, países, comportamento de sessão, manejo de resposta e perfil de tráfego que você espera na produção.
Evaluation checklist
FAQ
Utilize estas respostas para abranger uma integração, verificando, em seguida, o ponto final gerado e os detalhes do plano atual antes da produção.
Proxies residenciais pedidos de rota de seu cliente HTTP, navegador ou rastreador consciente de proxy através de IPs residenciais reais. Seu aplicativo ainda escolhe a página web pública elegível e processa a resposta.
Use Proxies residenciais quando a sua equipe já opera o cliente HTTP, navegador, rastreador, retries e análise, e quer controle de nível proxy sobre a seleção de país e a continuidade de sessão curta.
Para autenticação de nome de usuário e senha, conecte-se através do pr.webscrapingapi.com:7777. O URL proxy gerado combina esse host com suas credenciais e opções selecionadas.
A rotação é o padrão. Quando sessão e rotação são omitidas, cada solicitação pode receber uma IP residencial diferente do país selecionado ou do país = aleatório.
As sessões pegajosas usam um ID de sessão estável com um valor de rotação de 180, 300 ou 600 segundos, correspondente a 3, 5 ou 10 minutos.
Use country=random para qualquer localização documentada disponível. Os códigos de país explicitamente documentados são US, GB, DE, FR, CA, AU e NL.
Você pode autenticar com um nome de usuário e senha no endpoint gerado ou usar uma IP em lista branca com seu país host e porto documentado. Mantenha as credenciais e endpoints gerados do lado do servidor.
O gerador de endpoint fornece saída de Host:port, HTTP, HTTPS e SOCKS5. Escolha o formato aceito pelo seu cliente HTTP, navegador ou rastreador.
WebScrapingAPI opera o endpoint de proxy residencial, a seleção de rede e o comportamento de rotação ou sessão configurado. Sua equipe opera o cliente e todas as decisões de coleta, análise, armazenamento e qualidade ao seu redor.
Confirme a elegibilidade da fonte, a sua política de solicitação, a autenticação, a escolha do país, o comportamento da sessão, as regras de retest, os termos atuais do plano e o tratamento de respostas target. Reviste o Acordo de Serviço e teste as páginas públicas representativas antes de escalar.
Traz o teu coletor .
Comece com o cliente que já usa, uma escolha de país e um fluxo de trabalho representativo rotativo ou pegajoso.