Saltar para o conteúdo
Comece grátis

Blog

Perspetivas e Engenharia

Análises aprofundadas sobre a infraestrutura de dados da Web, técnicas de extração e o futuro dos dados estruturados em grande escala.

Artigos mais recentes

156 artigos

Selectores XPath vs CSS: Escolher o correto
Casos de utilização

Selectores XPath vs CSS: Escolher o correto

TL;DR: Os selectores XPath e CSS localizam ambos elementos DOM, mas resolvem problemas diferentes. Os selectores CSS são mais rápidos e mais legíveis para selecções simples. O XPath ganha quando é necessário percorrer o DOM em qualquer direção, fazer corresponder conteúdo de texto ou lidar com lógica condicional complexa. A maioria dos projectos de produção beneficia da utilização de ambos estrategicamente.

Mihai Maxim14 min read
Ler artigo
Como configurar o proxy Axios no Node.js: Autenticação, rotação, SOCKS5
Guias

Como configurar o proxy Axios no Node.js: Autenticação, rotação, SOCKS5

TL;DR: O Axios encaminha pedidos através de um proxy, aceitando um objeto proxy com anfitrião, porta e campos de autenticação opcionais. Este guia aborda como definir a configuração de proxy do Axios a partir do zero: cabeamento básico, proxies autenticados, tunelamento HTTPS, um sistema de rotação usando interceptores, SOCKS5 via socks-proxy-agent e diagnóstico de erros comuns. Cada snippet é um código Node.js que pode ser copiado e colado.

Suciu Dan11 min read
Ler artigo
Arquivo para download do Puppeteer: 4 métodos para Node.js
Guias

Arquivo para download do Puppeteer: 4 métodos para Node.js

TL;DR: Um fluxo de trabalho de arquivo de download do Puppeteer tem quatro boas formas: clique em um botão e deixe o Chrome escrever em uma pasta que você controla, execute fetch() dentro da página e canalize base64 de volta para o Node, conduza o Chrome DevTools Protocol com eventos de progresso de download, ou pule o navegador e puxe a URL com Axios usando cookies colhidos da sessão do Puppeteer. Escolha pelo tamanho do arquivo, autenticação e como o site expõe o link.

Mihnea-Octavian Manolache39 min read
Ler artigo
Como usar um proxy no Node-Fetch: Um Guia Prático
Guias

Como usar um proxy no Node-Fetch: Um Guia Prático

TL;DR: O Node-Fetch não tem um switch de proxy embutido, então você conecta um agente HTTP, HTTPS ou SOCKS5 na requisição através de sua opção de agente. Este guia mostra como usar um proxy no Node-Fetch de ponta a ponta: proxies HTTP e HTTPS autenticados, SOCKS5, rotação, novas tentativas, casos extremos de TLS, solução de problemas e a rota moderna undici para o fetch nativo do Node 18+.

Mihnea-Octavian Manolache13 min read
Ler artigo
Web Scraping de Tabelas JavaScript em Python: De APIs ocultas a Playwright
Guias

Web Scraping de Tabelas JavaScript em Python: De APIs ocultas a Playwright

TL;DR: Web scraping de tabelas JavaScript em Python raramente precisa de um navegador sem cabeça. Abra o DevTools, encontre o endpoint JSON que hidrata a grade, reproduza-o com solicitações, pagine-o e volte para o Playwright apenas quando a chamada de rede for assinada, criptografada ou fechada de outra forma.

Andrei Ogiolan13 min read
Ler artigo
Extrair tabelas HTML em Golang com Colly
Guias

Extrair tabelas HTML em Golang com Colly

TL;DR: Este guia mostra como extrair tabelas HTML em Golang de ponta a ponta: escolha entre Colly, goquery e golang.org/x/net/html, direcione o <tbody> correto, modele as linhas como uma estrutura tipada e exporte JSON e CSV limpos. Você também obtém paginação, anti-bloqueio e padrões de tabela renderizados em JavaScript.

Andrei Ogiolan11 min read
Ler artigo

Comece a construir

Pronto para expandir a sua recolha de dados?

Junte-se a mais de 2.000 empresas que utilizam a WebScrapingAPI para extrair dados da Web à escala empresarial, sem quaisquer custos de infraestrutura.

Iniciar período de avaliação gratuitaLeia a documentação