As 5 melhores ferramentas de raspagem para a Amazon

Se já tentou vender alguma coisa online, sabe que alguns dos passos mais importantes neste processo são:

• análise da concorrência;
• melhorar os seus produtos e a sua proposta de valor;
• identificar as tendências do mercado e o que as influencia.

Ao extrair dados da Amazon, podemos facilmente obter, comparar e monitorizar informações sobre produtos concorrentes, como preço, avaliações ou disponibilidade. Podemos analisar a gestão de custos das suas operações, mas também encontrar ótimas ofertas para revenda.

Uma coisa é certa. Se utiliza a Amazon para vender os seus produtos, irá beneficiar da análise de todos os fatores anteriormente apresentados. Pode fazê-lo por si próprio, monitorizando manualmente centenas ou mesmo milhares de produtos, ou pode utilizar uma ferramenta para automatizar o processo.

Nos parágrafos seguintes, vamos tentar oferecer algumas soluções para quem está a ter dificuldades em extrair informações da Amazon.

A Amazon representa uma das maiores (se não a maior) lojas que a Internet já viu. Como tal, a Amazon é também uma das maiores coleções de dados relativos a clientes, produtos, avaliações, retalhistas, tendências de mercado e até mesmo o comportamento dos clientes.

Antes de começarmos a discutir a extração de dados, deve saber que a Amazon não incentiva a extração de dados do seu site. É por isso que a estrutura das páginas difere consoante os produtos se enquadrem em categorias diferentes. O site inclui algumas medidas básicas anti-scraping que podem impedir que obtenha as informações de que tanto necessita. Além disso, a Amazon pode descobrir se está a utilizar um bot para extrair dados e irá, sem dúvida, bloquear o seu IP.

Para realizar o trabalho o mais rápido possível e sem criar um novo projeto para cada ferramenta que vamos testar, vamos fazer o scraping utilizando um terminal e algumas solicitações curl. Escolhemos cinco APIs de web scraping promissoras para experimentar.

Vamos testar cada uma delas e descobrir qual é a melhor ferramenta para extrair dados da Amazon:

A WebScrapingAPI é uma ferramenta que nos permite extrair dados de qualquer recurso online. Recolhe o HTML de qualquer página web utilizando uma API simples e fornece dados prontos a processar. É excelente para extrair informações sobre produtos, processar dados imobiliários, de RH ou financeiros e até mesmo acompanhar informações de um mercado específico. Utilizando a WebScrapingAPI, podemos obter todas as informações necessárias de uma página específica de um produto da Amazon.

Primeiro, vamos encontrar um produto interessante no marketplace da Amazon.

Vamos extrair a página do produto apresentada na imagem acima.

Em segundo lugar, vamos obter o URL da página do produto: https://www.amazon.co.uk/dp/B088CZW8XC/ref=gw_uk_desk_h1_vicc_sh_cto_kif0321?pf_rd_r=RYXBGN8C757Y9BD6W38B

Depois de criarmos uma nova conta WebScrapingAPI, seremos redirecionados para o painel de controlo da aplicação. A WebScrapingAPI oferece um plano gratuito com 1000 pedidos para testar a aplicação. Isso é mais do que suficiente para o que vamos fazer.

Na página do painel de controlo, vamos clicar no botão «Use API Playground». Aqui podemos ver o comando curl completo que nos ajudará a extrair a página do produto da Amazon.

Vamos colar o link do produto no campo de entrada da URL. Isto irá alterar a pré-visualização do comando da URL à direita.

Depois de concluir esta etapa, copie o comando curl, abra uma nova janela de terminal e cole-o ali mesmo. Se seguiu os passos anteriores, deverá obter algo semelhante a isto:

Depois de premirmos Enter, o WebScrapingAPI irá devolver a página do produto em formato HTML.

De acordo com a nossa pesquisa, o WebScrapingAPI conseguiu obter com sucesso as informações necessárias em 99,7% dos casos, com uma taxa de sucesso de 997 em cada 1000 pedidos e apenas 1 segundo de latência.

O ScrapingBee oferece a oportunidade de fazer web scraping sem ser bloqueado, utilizando proxies clássicos e premium. Centra-se na extração de quaisquer dados de que necessite, renderizando páginas web dentro de um navegador real (Chrome). Graças ao seu vasto conjunto de proxies, os programadores e as empresas podem fazer scraping sem se preocuparem com proxies e navegadores headless.

Vamos tentar fazer o scraping da mesma página da Amazon que fizemos anteriormente. Crie uma nova conta no ScrapingBee, aceda ao painel de controlo da aplicação e cole o URL apresentado anteriormente no campo de entrada de URL.

Clique no botão “Copiar para a área de transferência” que se encontra na secção “Construtor de Pedidos”.

Agora, vamos abrir uma janela de terminal, colar o código que acabámos de copiar e premir ENTER.

Ao executar este comando, vamos extrair dados da mesma página no marketplace da Amazon, para que possamos comparar os resultados obtidos por cada API.

A partir da nossa pesquisa, descobrimos que o ScrapingBee conseguiu obter as informações com sucesso em 92,5% dos casos e apresentou uma latência bastante elevada de 6 segundos.

O ScraperAPI é uma ferramenta para programadores que criam scrapers web — como dizem — a ferramenta que extrai qualquer página com uma simples chamada de API. O serviço web lida com proxies, navegadores e CAPTCHAs para que os programadores possam obter o HTML bruto de qualquer site. Além disso, o produto consegue encontrar um equilíbrio único entre as suas funcionalidades, fiabilidade e facilidade de utilização.

Tal como fizemos anteriormente, vamos criar uma nova conta no ScraperAPI e utilizar as suas 1000 solicitações gratuitas para testar a sua ferramenta de scraping. Depois de concluirmos o processo de registo, seremos redirecionados para a seguinte página:

À primeira vista, o ScraperAPI não parece oferecer a opção de personalizar a solicitação curl escrevendo um novo URL. Isso não é problema. Vamos abrir uma nova janela de terminal e copiar o código da entrada “Sample API Code”.

Como podemos ver, a URL padrão que está a ser extraída é “http:/httpbin.org/ip”. Vamos alterá-la para a versão escapada da URL da página do produto apresentada no topo da secção. Substitua o link apresentado anteriormente pelo seguinte:

https%3A%2F%2Fwww.amazon.co.uk%2Fdp%2FB088CZW8XC%2Fref%3Dgw_uk_desk_h1_vicc_sh_cto_kif0321%3Fpf_rd_r%3DRYXBGN8C757Y9BD6W38B

O comando final deve ficar mais ou menos assim:

Depois de premirmos Enter, ser-nos-á apresentado o código HTML da página do produto. É claro que pode utilizar o Cheerio ou qualquer outro analisador de marcação para manipular a estrutura de dados resultante.

O ScraperAPI parece ser uma das melhores opções, uma vez que a sua taxa de sucesso é de 100% e a latência não excede 1 segundo.

Tal como referimos no capítulo anterior, tenha em mente que a Amazon desencoraja quaisquer tentativas de extrair dados do seu site.

O Zenscrape é uma API de web scraping que devolve o HTML de qualquer site e garante que os programadores recolham informações de forma rápida e eficiente. A ferramenta permite-lhe recolher conteúdo online de forma suave e fiável, resolvendo a renderização de Javascript ou CAPTCHAs.

Tal como fizemos anteriormente, após concluirmos o processo de registo, seremos redirecionados para a página do painel de controlo.

Vamos copiar e colar o URL da página do produto no campo de entrada de URL.

Para revelar o comando curl de que precisamos para extrair os dados da Amazon, vamos descer até ao meio da página. Clique no botão «Copiar para a área de transferência», abra uma nova janela de terminal e cole-o. Deverá ficar semelhante a isto:

Tal como acontece com as outras ferramentas de web scraping, o resultado que iremos obter será a página estruturada em formato HTML.

A partir da nossa pesquisa, descobrimos que o Zenscrape tem uma taxa de sucesso de 98%, com 98 pedidos bem-sucedidos em cada 100, e uma latência de 1,4 segundos. Isto coloca-o num nível inferior em relação às ferramentas apresentadas anteriormente, mas, na nossa opinião, possui uma das interfaces de utilizador mais intuitivas e elegantes e cumpre definitivamente a sua função.

O ScrapingAnt é a ferramenta de scraping que proporciona aos seus clientes uma experiência completa de recolha e scraping na web. É um serviço que gere a renderização de Javascript, atualizações e manutenção de navegadores headless, diversidade de proxies e rotação. A API de scraping oferece alta disponibilidade, fiabilidade e personalização de funcionalidades para se adequar a quaisquer necessidades empresariais.

Para o nosso teste final, vamos repetir o mesmo processo. Vamos criar uma nova conta no ScrapingAnt e usar as suas 1000 solicitações gratuitas para extrair a página do produto da Amazon.

Acho que já nos familiarizámos bastante com as interfaces dos web scrapers.

Tal como fizemos anteriormente, substitua o valor de entrada da URL pela nossa URL, copie o comando curl para uma nova janela de terminal e prima ENTER.

Isto irá devolver uma estrutura HTML semelhante, que podemos então analisar utilizando o Cheerio ou qualquer outro analisador de marcação. As principais funcionalidades do ScrapingAnt são a renderização de páginas do Chrome, o pré-processamento de resultados e a recolha de dados com uma baixa probabilidade de acionamento da verificação CAPTCHA.

A partir da nossa pesquisa, descobrimos que o ScrapingAnt tem uma taxa de sucesso de pedidos de 100% com uma latência de 3 segundos completos. Embora a sua taxa de sucesso seja uma das mais elevadas desta lista, a latência de 3 segundos representa um grande problema quando estamos a extrair muitos dados de produtos da Amazon.

Como vimos, o processo é praticamente o mesmo para todas as APIs de web scraping. Encontra-se uma página para extrair, escreve-se a solicitação curl incluindo o link do produto, faz-se a solicitação e, com base nas necessidades pessoais, analisam-se os dados recebidos.

Neste processo, tentámos determinar qual é a melhor ferramenta para o trabalho. Conseguimos testar e analisar 5 scrapers e descobrimos que os resultados não são assim tão diferentes. No final, todos eles cumprem a tarefa. A diferença reside na latência, taxa de sucesso, número de pedidos gratuitos e preços de cada scraper.

O WebScrapingAPI é uma excelente solução quando se trata de extrair dados da Amazon, uma vez que tem uma das menores latências (1 segundo) e uma taxa de sucesso próxima dos 100%. Inclui um plano gratuito para aqueles que não precisam de fazer um grande número de pedidos e também oferece 1000 pedidos gratuitos, caso queira apenas experimentá-lo.

O ScrapingBee é o segundo scraper web que testámos, mas os resultados não foram tão satisfatórios. Com uma taxa de sucesso de apenas 92,5% e uma latência bastante elevada (6 segundos), teríamos dificuldades em obter as informações necessárias sobre o nosso produto da Amazon.

O ScraperAPI é também um dos scrapers mais rápidos que testámos. Com apenas 1 segundo de latência e uma taxa de sucesso de 100%, apresenta os melhores resultados no que diz respeito aos requisitos técnicos. A sua desvantagem é a interface de utilizador, que parece ser a mais rudimentar. O modelo de preços é outro ponto fraco, uma vez que não oferece qualquer plano gratuito.

O Zenscrape tem, sem dúvida, uma das interfaces de utilizador mais intuitivas de todos os scrapers que testámos. O único que se aproxima é o WebScrapingAPI. O Zenscrape tem uma latência de apenas 1,4 segundos e uma taxa de sucesso de 98%.

O ScrapingAnt é o último scraper que testámos. Com uma latência de aproximadamente 3 segundos e uma taxa de sucesso de 100%, é uma boa escolha para extrair as informações da Amazon de que precisamos, mas é um pouco lento.

No final, todos os scrapers web que testámos fazem um excelente trabalho quando se trata de extrair dados de produtos da Amazon. Embora a classificação seja bastante renhida, devemos sempre escolher a ferramenta mais eficiente para os nossos requisitos específicos.

Recomendamos que os experimente você mesmo. Veja qual o produto que melhor se adapta às suas necessidades. Além disso, consulte este artigo sobre como utilizar uma API de web scraping em toda a sua extensão. Afinal, escolher uma ferramenta e saber como utilizá-la não é a mesma coisa.