Integração simples do lado do servidor
Begin with api_key and a URL-encoded url. Add method, location, rendering, response, or asynchronous options only when the workload requires them.
API de scraping
Scraper API para páginas web públicas
Envie uma URL e receba HTML, JSON ou campos selecionados. Gerenciamos proxies, novas tentativas e renderização JavaScript opcional para você focar na aplicação.
- api_key + urlPequeno pedido válido
- Roteamento gerenciadoRotação por procuração e manipulação de acesso
- Opcional render_jsRenderamento do navegador quando necessário
- Corpo · JSON · selectoresOpções de resposta documentadas
Um pedido gerenciado
Obtenha páginas sem operar a infraestrutura de acesso
Gestão de acesso gerenciado
WebScrapingAPI operates proxy routing, rotation, access-handling strategies, and internal target retries behind the API request.
Review managed featuresOpções de resposta documentadas
Return the page body, a JSON envelope, a JSON DOM, customer-defined selected fields, or an explicit documented error state.
Review response formatsO seu pedido forneceTarget URL + request context
WebScrapingAPI operaRouting + access handling + rendering
Recebe o seu pedido .Body + JSON + selected fields
Características de acesso automatizado
Mover o trabalho de recuperação repetível para trás de uma única solicitação API de scraping.
Configure o contexto do seu fluxo de trabalho. WebScrapingAPI opera a infraestrutura de acesso de suporte mantendo os estados de sucesso visíveis ao seu cliente.
01
Rotação e rotação por proxy
O serviço seleciona e opera a rota de proxy por trás de cada contexto de solicitação suportado.
02
Manutenção e retestes de acesso
As estratégias de acesso automatizadas e as tentativas internas target reduzem a infraestrutura que o seu aplicativo tem de executar.
03
Resultados observáveis de acesso
Os erros de validação, acesso, taxa e serviço permanecem explícitos para que o seu aplicativo possa lidar deliberadamente com pedidos que não tenham sucesso.
04
Rendering JavaScript opcional
Set render_js=1 Quando a target precisa de execução do lado do cliente antes da resposta da página ser devolvida.
05
Contexto da solicitação geográfica
Solicitar um país documentado e contexto de cidade, estado ou ASN suportado quando a localização afeta a resposta.
06
Controle de solicitação e saída
Use métodos suportados, um corpo opcional, tempo de espera, recuperação assíncrona, modos JSON ou regras de extração.
Design de resposta
Retorna o nível de resposta que o seu fluxo de trabalho pode usar.
Mantenha o corpo da página, envelope-o com metadados de solicitação, execute selectores na fronteira da API ou retira um resultado na fila mais tarde.
Resposta de página crua
Use o corpo de página padrão com um parser existente.
Envelope JSON
Órgão de inspecção, cabeçalhos target, estado inicial, tipo, custo e metadados.
Campos selecionados
Execute selectores de CSS ou XPath de propriedade do cliente para texto, HTML, atributos, tabelas ou registros aninhados.
Recuperação em fila
Enviar o trabalho de forma assíncrona e recuperar a resposta concluída usando o seu identificador.
Limite de extracção:WebScrapingAPI executa as regras fornecidas. Sua equipe possui o esquema, selectores, validação do campo de negócios e manutenção da mudança de fonte. Escolha API de dados ou Dados geridos quando essas obrigações devem passar para WebScrapingAPI.
Como funciona
Da solicitação ao resultado
- 01Enviar a solicitação
Fornecer a chave API, target URL, e apenas o contexto documentado ou as opções de saída que a carga de trabalho precisa.
- 02WebScrapingAPI recupera a página
O serviço valida a solicitação, opera roteamento por proxy, aplica o tratamento de acesso e retestes internos e faz o JavaScript quando solicitado.
- 03Receba a resposta
Use o corpo da página devolvida, envelope JSON, campos selecionados ou erro documentado dentro da sua aplicação existente.
- Metadados da solicitação
- As cabeçalhas de resposta resolvidas e raspadas estão disponíveis através de cabeçalhas de resposta documentadas.
- Contexto de utilização
- A utilização do crédito por chamada e atual pode ser verificada através dos cabeçalhos documentados pré-fixados pela WSA.
- Contrato de erro
- Os erros de validação, acesso, taxa e serviço continuam a ser insumos explícitos para o tratamento do lado do cliente.
Integração dos desenvolvedores
Conecte pelo seu servidor
Mantenha a chave API do lado do servidor, codifique o URL target, comece com uma solicitação básica e adicione renderização, geografia ou extração apenas quando a carga de trabalho o requer.
01 · brief de integração
Comece com o menor pedido válido.
Enviar . api_key e um URL codificado url - Adicionar . render_js=1, contexto geográfico, modo de resposta ou regras de extracção apenas quando exigidas pelo target e pelo fluxo de trabalho a jusante.
- Segredos
- - Não .
WSA_API_KEYserver-side - Target
- A codificação de URL para cada URL target
- Resposta
- Inscrever o estado e o tipo antes de analisar
- Falhas
- Use backkoff limitado para estados retrievables
curl --get --fail-with-body --max-time 120 \
"https://api.webscrapingapi.com/v2" \
--data-urlencode "api_key=$WSA_API_KEY" \
--data-urlencode "url=https://example.com/public-page" \
--data-urlencode "json_response=1"import os
import requests
response = requests.get(
"https://api.webscrapingapi.com/v2",
params={
"api_key": os.environ["WSA_API_KEY"],
"url": "https://example.com/public-page",
"json_response": 1,
},
timeout=120,
)
response.raise_for_status()
print(response.json())const params = new URLSearchParams({
api_key: process.env.WSA_API_KEY,
url: "https://example.com/public-page",
json_response: "1",
});
const response = await fetch(
"https://api.webscrapingapi.com/v2?" + params,
{ signal: AbortSignal.timeout(120_000) }
);
if (!response.ok) throw new Error("API status " + response.status);
console.log(await response.json());<?php
$query = http_build_query([
"api_key" => getenv("WSA_API_KEY"),
"url" => "https://example.com/public-page",
"json_response" => 1,
]);
$client = curl_init("https://api.webscrapingapi.com/v2?" . $query);
curl_setopt_array($client, [
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 120,
]);
$body = curl_exec($client);
$status = curl_getinfo($client, CURLINFO_RESPONSE_CODE);
$error = curl_error($client);
curl_close($client);
if ($body === false) throw new RuntimeException($error);
if ($status >= 400) throw new RuntimeException("API status " . $status);
echo $body;package main
import (
"fmt"
"io"
"net/http"
"net/url"
"os"
"time"
)
func main() {
params := url.Values{}
params.Add("api_key", os.Getenv("WSA_API_KEY"))
params.Add("url", "https://example.com/public-page")
params.Add("json_response", "1")
client := &http.Client{Timeout: 120 * time.Second}
response, err := client.Get(
"https://api.webscrapingapi.com/v2?" + params.Encode(),
)
if err != nil { panic(err) }
defer response.Body.Close()
if response.StatusCode >= 400 {
panic(fmt.Sprintf("API status %d", response.StatusCode))
}
body, err := io.ReadAll(response.Body)
if err != nil { panic(err) }
fmt.Println(string(body))
}import java.net.URI;
import java.net.URLEncoder;
import java.net.http.*;
import java.nio.charset.StandardCharsets;
import java.time.Duration;
String query = "api_key=" + URLEncoder.encode(
System.getenv("WSA_API_KEY"), StandardCharsets.UTF_8
) + "&url=" + URLEncoder.encode(
"https://example.com/public-page", StandardCharsets.UTF_8
) + "&json_response=1";
var request = HttpRequest.newBuilder()
.uri(URI.create("https://api.webscrapingapi.com/v2?" + query))
.timeout(Duration.ofSeconds(120))
.GET().build();
var response = HttpClient.newHttpClient()
.send(request, HttpResponse.BodyHandlers.ofString());
if (response.statusCode() >= 400) {
throw new RuntimeException("API status " + response.statusCode());
}
System.out.println(response.body());using System.Net;
var apiKey = WebUtility.UrlEncode(
Environment.GetEnvironmentVariable("WSA_API_KEY")
);
var target = WebUtility.UrlEncode(
"https://example.com/public-page"
);
var requestUrl =
"https://api.webscrapingapi.com/v2?api_key=" + apiKey +
"&url=" + target + "&json_response=1";
using var client = new HttpClient();
client.Timeout = TimeSpan.FromSeconds(120);
var response = await client.GetAsync(requestUrl);
response.EnsureSuccessStatusCode();
Console.WriteLine(await response.Content.ReadAsStringAsync());require "net/http"
require "uri"
uri = URI("https://api.webscrapingapi.com/v2")
uri.query = URI.encode_www_form(
api_key: ENV.fetch("WSA_API_KEY"),
url: "https://example.com/public-page",
json_response: 1
)
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
http.open_timeout = 10
http.read_timeout = 120
response = http.get(uri.request_uri)
raise "API status #{response.code}" unless response.is_a?(Net::HTTPSuccess)
puts response.bodyPropriedade operacional
O que gerenciamos e o que você controla
WebScrapingAPI
Infraestrutura de solicitações gerenciadas
- Validação e execução de solicitações de API
- Rotação e rotação por proxy
- Manutenção automática de acesso e retestes internos target
- Rendering opcional com suporte de navegador
- Resposta documentada e entrega de erros
Sua equipe
Decisão sobre a fonte e os produtos de dados
- Target Política de elegibilidade, utilização prevista e solicitação
- URL, método, contexto, tempo de espera e opções de saída
- Manutenção de falhas e validação de negócios a nível da API
- Extração a jusante, manutenção e armazenamento do selector
- Programação, linhagem, retenção e utilização posterior
Fonte e finalidadeO cliente define as fontes elegíveis e a utilização prevista.
Especificação da solicitaçãoO cliente configura o pedido documentado; WebScrapingAPI valida e executa-o.
Capa de acessoWebScrapingAPI opera roteamento por proxy, gestão de acesso, retries internas e renderização opcional.
RespostaWebScrapingAPI retorna a saída ou o erro documentado solicitado; o cliente valida o conteúdo para a sua aplicação.
ExtraçãoWebScrapingAPI executa as regras fornecidas; o cliente possui selectores, esquemas e manutenção de mudanças.
Operação a jusanteO cliente é dono da programação, armazenamento, monitoramento, retenção e decisões.
Use the service only for eligible public webpages. Review source terms, applicable requirements, and the Acordo de serviço, then apply appropriate request, retention, and data-use policies.
Casos de utilização
Use a página devolvida dentro de fluxos de trabalho que ainda precisam de lógica personalizada.
Selecção do produto
Compare suas opções
Infraestrutura de proxies
Proxies
Maximum request-level controlAPI de acesso à webVocê opera o cliente HTTP, solicita política, retestes, análise e armazenamento. WebScrapingAPI fornece a rota da rede.
API de scraping
One managed page requestAPI de acesso à webFornecer um URL e opções de solicitação. WebScrapingAPI opera a recuperação e retorna o corpo da página ou a saída documentada.
API de navegador
Guided browser requestAPI de acesso à webEnviar uma solicitação REST com suporte do navegador com espera documentada, interações, etapas de navegação e controles de saída.
API SERP
Search-result recordsAvaliação guiadaEnviar parâmetros de pesquisa e receber resultados estruturados de motores de pesquisa suportados.
API de rastreamento
Scoped page collectionAPI estruturadaAvalie uma coleção de várias páginas limitada quando a unidade de trabalho abrange páginas relacionadas em vez de um pedido.
API de dados
Maintained structured recordsEntrega gerenciadaPergunte uma fonte suportada enquanto WebScrapingAPI opera acesso, extração específica de target e manutenção do parser.
Dados geridos
Recurring data deliveryDefina fontes, esquema, cadência, qualidade e destino enquanto WebScrapingAPI opera o programa contratado.
Orientação dos preços
Escolha um plano para sua carga de trabalho
Avaliação ao serviço próprio
Mover uma solicitação representativa para a API.
Comece com o caminho HTTP básico, depois teste apenas os controles que a sua produção target mistura requer.
- URLs representativas e métodos target
- Mix de solicitações estáticas versus rendered por navegador
- Requisitos de geografia, prazo de ausência e resposta
- Os estados de erro observados e a política de retestamento do cliente
FAQ
Perguntas sobre o produto
O que é API de scraping?
API de scraping é um endpoint de solicitação do lado do servidor que recupera uma página web pública elegível enquanto WebScrapingAPI opera a infraestrutura de acesso por trás da solicitação.
O que é que o API de scraping retorna?
A resposta padrão é o corpo da página recuperada. As opções documentadas podem retornar um envelope JSON, uma representação JSON DOM, campos selecionados com regras de extração ou um resultado assíncrono que o seu aplicativo retira mais tarde.
API de scraping faz o JavaScript?
Sim. Configure render_js=1 quando uma página requer execução do JavaScript do lado do cliente antes da resposta ser devolvida. Use API de navegador quando o fluxo de trabalho precisa de uma sequência documentada de interações do navegador, espera de estado da página, cliques ou passos de navegação.
Quais métodos HTTP são suportados?
API de scraping suporta solicitações GET, POST, PUT e PATCH. Incluir um corpo de solicitação quando o método selecionado e o fluxo de trabalho target exigem um.
Posso solicitar conteúdo específico de localização?
Os controles documentados incluem o país e o contexto de cidade, estado ou ASN suportados. A disponibilidade exata pode depender do plano, da geografia e da rota atuais, por isso confirme os locais necessários para a sua carga de trabalho.
Pode API de scraping devolver os campos selecionados?
Sim. As regras de extração de CSS ou XPath fornecidas pelo cliente podem retornar texto selecionado, HTML, atributos, tabelas, listas ou registros aninhados. Sua equipe possui os selectores, esquema, validação e manutenção de mudanças de fonte para essas regras.
Os pedidos podem ser executados de forma assíncrona?
Sim. Faça uma fila de solicitação com a opção documentada assíncrona, retenha o identificador devolvido e retira o resultado concluído mais tarde passando esse identificador como snapshot_id.
Como deve o meu pedido lidar com os pedidos não bem-sucedidos?
Inscreva o status e o corpo de erro HTTP documentados, use retry e backoff limitados quando apropriado e distingua uma falha da API do conteúdo que está presente, mas incompleto para o seu esquema de negócios.
O seu primeiro pedido
Teste sua primeira solicitação de página
Use o teste gratuito com suas URLs e escolha um plano pelo volume de solicitações e opções necessárias.