Proxies de datacenter
Colete grandes volumes com proxies de datacenter quando os sites de destino aceitarem esse tráfego. Mantenha o controle do cliente, da extração e do armazenamento.
Aquecimento do comprador
Candidato forte para avaliação
Mantenha o cliente HTTP, navegador ou rastreador ao avaliar uma rota de origem do datacenter para uma carga de trabalho estável e repetível.
O representante targets aceita o tráfego do datacenter.
A demanda é suficientemente compreendida para abranger a capacidade.
A sua equipa possui retestes, análise, armazenamento e qualidade.
Validação antes da escala
Teste as páginas públicas elegíveis representativas, os critérios de sucesso, o tratamento das respostas e o comportamento conservador das solicitações antes de se comprometer com uma atribuição.
Revisar os termos da fonte e a utilização prevista.
Messa as respostas target que o seu colecionador recebe.
Acompanhe a oferta atual com a carga de trabalho.
Escolha outro caminho quando necessário
Avalie Residential ou Proxies ISP quando a categoria de identidade importa, ou uma API de acesso à web quando a sua equipe não quer possuir o cliente de buscas de saída.
Controle previsto
Defina país, sessão e autenticação para seu coletor. Confirme os locais e os dados de conexão disponíveis no seu plano.
Compartilhe a linha de base, as janelas de pico e os requisitos de continuidade para que o modelo de capacidade e de alocação proposto correspondam à sua carga de trabalho.
Use apenas o endpoint e o método de autenticação específicos da conta fornecidos durante o provisionamento.
Use o protocolo suportado para sua conta, e verifique se a configuração provisionada mapeia limpo para o seu cliente proxy-consciente.
Trate a identidade de origem do centro de dados como a categoria conhecida. Use as opções geográficas e o comportamento de seleção disponíveis para a rota fornecida.
Capacidade e continuidade
O seu coletor define o comportamento de simultaneidade, tempo de espera e retest. Alinear a alocação provisória e qualquer rotação, persistência ou comportamento de sessão com esses requisitos.
Collector brief
Provisioned route
Teste de base
Execução de um pedido representativo definido contra targets públicos elegíveis.
Teste de pico-janela
Exercite a forma de demanda sem contornar os limites do colector.
Teste de rota de falha
Verifique o tempo de espera, tente novamente, recue e pare com o comportamento.
Integração dos desenvolvedores
Os dados de conexão específicos da conta são armazenados em variáveis de ambiente protegidos do lado do servidor. WebScrapingAPI ponto final.
01 Disposição antes da ligação
Avalie os targets representativos e o ponto de extremo de fornecimento, autenticação, protocolo, geografia, alocação e preços antes de implantar a configuração do cliente.
test -n "$WSA_DATACENTER_PROXY_URL" || exit 1
curl --fail --show-error \
--proxy "$WSA_DATACENTER_PROXY_URL" \
"https://example.com/public-page"import { ProxyAgent, fetch } from "undici";
const proxyUrl = process.env.WSA_DATACENTER_PROXY_URL;
if (!proxyUrl) throw new Error("Missing proxy configuration");
const response = await fetch("https://example.com/public-page", {
dispatcher: new ProxyAgent(proxyUrl),
});
if (!response.ok) throw new Error("Target response was not successful");
console.log(await response.text());import os
import requests
proxy_url = os.environ["WSA_DATACENTER_PROXY_URL"]
response = requests.get(
"https://example.com/public-page",
proxies={"http": proxy_url, "https": proxy_url},
timeout=30,
)
response.raise_for_status()
print(response.text)<?php
$proxyUrl = getenv("WSA_DATACENTER_PROXY_URL");
if (!$proxyUrl) throw new RuntimeException("Missing proxy configuration");
$client = curl_init("https://example.com/public-page");
curl_setopt_array($client, [
CURLOPT_PROXY => $proxyUrl,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 30,
]);
$body = curl_exec($client);
if ($body === false) throw new RuntimeException(curl_error($client));
curl_close($client);
echo $body;package main
import (
"io"
"log"
"net/http"
"net/url"
"os"
"time"
)
func main() {
proxyURL, err := url.Parse(os.Getenv("WSA_DATACENTER_PROXY_URL"))
if err != nil { log.Fatal(err) }
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
response, err := client.Get("https://example.com/public-page")
if err != nil { log.Fatal(err) }
defer response.Body.Close()
body, err := io.ReadAll(response.Body)
if err != nil { log.Fatal(err) }
log.Print(string(body))
}import java.net.*;
import java.net.http.*;
public class DatacenterProxyExample {
public static void main(String[] args) throws Exception {
var host = System.getenv("WSA_DATACENTER_PROXY_HOST");
var port = System.getenv("WSA_DATACENTER_PROXY_PORT");
var username = System.getenv("WSA_DATACENTER_PROXY_USERNAME");
var password = System.getenv("WSA_DATACENTER_PROXY_PASSWORD");
if (host == null || port == null || username == null || password == null) {
throw new IllegalStateException("Missing provisioned Datacenter Proxy values");
}
var address = new InetSocketAddress(host, Integer.parseInt(port));
var client = HttpClient.newBuilder()
.proxy(ProxySelector.of(address))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication(
username,
password.toCharArray()
);
}
})
.build();
var request = HttpRequest.newBuilder()
.uri(URI.create("https://example.com/public-page"))
.GET()
.build();
System.out.println(client.send(
request, HttpResponse.BodyHandlers.ofString()
).body());
}
}using System.Net;
var proxyHost = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_HOST")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_HOST");
var proxyPort = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PORT")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PORT");
var proxyUser = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_USERNAME")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_USERNAME");
var proxyPassword = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PASSWORD")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PASSWORD");
var proxyUri = new Uri("http://" + proxyHost + ":" + proxyPort);
var proxy = new WebProxy(proxyUri) {
Credentials = new NetworkCredential(proxyUser, proxyPassword)
};
using var client = new HttpClient(new HttpClientHandler { Proxy = proxy }) {
Timeout = TimeSpan.FromSeconds(30)
};
Console.WriteLine(await client.GetStringAsync(
"https://example.com/public-page"
));import { chromium } from "playwright";
const server = process.env.WSA_DATACENTER_PROXY_SERVER;
const username = process.env.WSA_DATACENTER_PROXY_USERNAME;
const password = process.env.WSA_DATACENTER_PROXY_PASSWORD;
if (!server || !username || !password) {
throw new Error("Missing provisioned Datacenter Proxy values");
}
const browser = await chromium.launch({
proxy: {
server,
username,
password,
},
});
const page = await browser.newPage();
await page.goto("https://example.com/public-page");
console.log(await page.title());
await browser.close();Não expor pontos finais ou credenciais em código entregue pelo navegador, repositórios públicos, capturas de tela, análises ou registos do lado do cliente.
Propriedade operacional
Seu cliente gerencia solicitações, novas tentativas, extração e armazenamento. Fornecemos a conexão proxy e a configuração combinada para sua conta.
WebScrapingAPI
WebScrapingAPI opera a rota de origem do centro de dados fornecida e os controles de conexão específicos da conta.
Sua equipe
A sua equipa é proprietária target seleção, política de solicitação, lógica do cliente, concurência, temporadas, retestes, análise, armazenamento e qualidade a jusante.
Qualificar-se
Escolha os target públicos elegíveis e valida a aceitação do datacenter.
Provisão
Defina a conexão, a alocação, a geografia e o alcance dos preços.
Coleção
O seu cliente envia pedidos através da rota prevista.
Operar
A sua equipa lida com retestes, análise, armazenamento e controles de qualidade.
Usar o serviço apenas para páginas públicas elegíveis. Acordo de serviço, aplicam-se políticas conservadoras de solicitação e retenção.
Casos de utilização
Seleção de proxy
Decisão | Datacenter | Residencial | ISP |
|---|---|---|---|
Identidade da rede | IPs de origem de datacenter | IPs residenciais reais | IPs associadas a ISP |
Lentes de comprador | Econômico, previsível, adequado para a alta produção de targets elegíveis que aceitam o tráfego de datacenter | Avaliação de quando o fluxo de trabalho necessita de identidade residencial | Avaliação de quando o fluxo de trabalho precisa de identidade associada ao ISP |
Target aceitação | Representação válida targets antes da escala | Representação válida targets antes da escala | Representação válida targets antes da escala |
Controle | Provistos para a oferta | Revisar os detalhes do produto específico | Provistos para a oferta |
Propriedade do cliente | Colecionador, retestes, análise e armazenamento | Colecionador, retestes, análise e armazenamento | Colecionador, retestes, análise e armazenamento |
Desligue horizontalmente para comparar as três categorias de proxy.
Selecionar Proxies de datacenter quando
A sua equipa opera a pilha de coleta completa, as questões de capacidade previsíveis e os públicos representativos elegíveis target aceitam uma rota de origem do centro de dados.
Preços e provisões
Cheque de aptidão
Ações representativas de mercado elegíveis targets, demanda de linha de base, janelas de pico, necessidades de continuidade e gestão de resposta esperada.
Ámbito de aplicação
A oferta proposta deve tornar explícita a limitação técnica e de preços.
FAQ
Proxies de datacenter pedidos de rota de seu cliente proxy-consciente através de endereços IP de origem do datacenter. Eles podem se adequar a coleta econômica, previsível de alta produção de targets públicos elegíveis que aceitam tráfego do datacenter, enquanto a sua equipe mantém o controle do coletor e fluxo de trabalho de resposta.
Não. O tráfego de origem do datacenter não é aceito por todos os target. Avalie os target públicos elegíveis, respeite os termos da fonte e as políticas de solicitação e escolha outro caminho de acesso quando a categoria não for adequada.
Use o endpoint específico da conta, o método de autenticação e o protocolo suportado WebScrapingAPI durante o provisionamento, e mantenha todos os valores de conexão do lado do servidor.
A geografia disponível e os controlos de seleção dependem do contingente provisionado. Não desenhe o encaminhamento de produção em torno de uma localização enquanto esta não fizer parte da configuração da sua conta.
O modelo de alocação e qualquer rotatividade, persistência ou comportamento de sessão dependem da rota provisionada.
O preço depende do tipo de trabalho, dos sites de destino, da capacidade, da localização e das necessidades de alocação. Compartilhe um exemplo representativo para que a WebScrapingAPI possa definir a opção adequada.
Trazer uma carga de trabalho representativa
Compartilhe sites de destino, países, tráfego e sessões. Ajudaremos a escolher o tipo de proxy e a capacidade para seu coletor.