Como fazer Web Scrape de vendedores próximos do Google Shopping com Node.js

Andrei Ogiolan em 28 de fevereiro de 2023

Este artigo irá guiá-lo através do processo de utilização da nossa API com Node.js para extrair vendedores próximos do Google Shopping. As etapas envolvidas incluirão a configuração do ambiente de desenvolvimento, a extração de dados relevantes e a discussão de problemas que você pode enfrentar. No final deste tutorial, terá o conhecimento e as ferramentas necessárias para extrair os vendedores próximos do Google Shopping por conta própria. Antes de se aprofundar nos detalhes técnicos, é importante entender o que é o Google Shopping.

O Google Shopping é uma plataforma que permite aos consumidores pesquisar e comparar produtos de vários retalhistas online. A plataforma apresenta uma vasta gama de produtos juntamente com os respectivos preços, o que a torna uma ferramenta de fácil utilização para encontrar as melhores ofertas. Com técnicas de web scraping, podemos extrair dados valiosos, como vendedores próximos, do Google Shopping para obter informações e tomar decisões informadas.

Por que razão deve utilizar um raspador Web profissional?

Construir o seu próprio raspador da Web pode ser uma tarefa demorada e complexa. Não só precisa de ter um forte conhecimento de programação, como também precisa de ter um conhecimento profundo das técnicas e tecnologias de Web scraping. Esta pode ser uma tarefa assustadora para alguém sem experiência em Web scraping, e o tempo e os recursos necessários para construir um scraper funcional podem não valer o investimento.

Por outro lado, a utilização de um raspador profissional como o nosso oferece várias vantagens. Por um lado, os scrapers profissionais são construídos e mantidos por especialistas na área, garantindo que estão actualizados com as mais recentes tecnologias e técnicas. Isto significa que é mais provável que sejam capazes de lidar com as complexidades da Web moderna, como CAPTCHAs e páginas Web dinâmicas. Além disso, os scrapers profissionais vêm muitas vezes com funcionalidades incorporadas, como a rotação automática de IP, que pode ajudar a evitar que o seu IP seja bloqueado pelo sítio Web que está a extrair.

Outra vantagem de utilizar um raspador profissional é o facto de poder poupar uma quantidade significativa de tempo e recursos. Em vez de passar semanas ou mesmo meses a construir o seu próprio raspador, pode subscrever o nosso raspador criando uma conta aqui e começar a raspar imediatamente. Isto é especialmente benéfico para as empresas que precisam de extrair dados rapidamente para tomar decisões informadas, ou para os indivíduos que querem extrair dados para projectos pessoais, mas não têm tempo ou recursos para construir o seu próprio raspador.

O que são os Vendedores próximos do Google Shopping?

Os Vendedores próximos de produtos do Google Shopping são uma funcionalidade que permite aos utilizadores encontrar lojas de retalho próximas que vendem um produto específico. Esta funcionalidade está disponível no Web site e na aplicação móvel do Google Shopping e permite aos utilizadores pesquisar produtos e ver uma lista de vendedores próximos que vendem esse produto. Esta informação inclui o nome da loja, a distância e o endereço da loja, bem como se a loja está atualmente aberta ou fechada.

A recolha na Web de dados de vendedores próximos de produtos do Google Shopping pode ser benéfica para empresas e indivíduos que procuram obter informações sobre os mercados retalhistas locais. Ao recolher estes dados, as empresas podem compreender melhor a concorrência na sua área e ajustar os seus preços e inventário em conformidade. Além disso, as empresas podem utilizar estes dados para identificar novas oportunidades de vendas, tais como abordar lojas que atualmente não vendem os seus produtos. Para os particulares, a recolha de dados na Web dos vendedores mais próximos de produtos do Google Shopping pode ser uma ferramenta útil para encontrar as melhores ofertas de produtos e também para identificar a loja mais próxima.

Como é que é o nosso objetivo?

Configuração

Para extrair vendedores próximos do Google Shopping utilizando a nossa API, é necessário ter as ferramentas adequadas. Em primeiro lugar, é necessário ter o Node.js instalado. Este é um tempo de execução de JavaScript que permite executar JavaScript no lado do servidor e pode ser descarregado do site oficial do Node.js.

Além disso, precisará de uma CHAVE API para utilizar o nosso serviço, que pode obter criando uma conta aqui e activando o serviço SERP.

Depois de ter o Node.js e uma API KEY, o próximo passo é criar um ficheiro de script Node.js executando o seguinte comando:

$ touch scraper.js 

E agora cole a seguinte linha no seu ficheiro:

consola.log("Hello World!")

E, em seguida, execute o seguinte comando:

$ node scraper.js

Se vir a mensagem "Hello World!" apresentada no terminal, significa que o Node.js foi instalado com êxito e que está pronto para avançar para a secção de raspagem propriamente dita.

Vamos começar a recolher dados dos vendedores próximos do Google Shopping

Com o ambiente configurado, pode agora começar a extrair os vendedores próximos do Google Shopping utilizando a nossa API. Este é um processo simples e, para além do que foi discutido acima, tudo o que precisa de fazer é obter o ID do produto em que está interessado.

Sugestão: É assim que pode obter o ID do produto de um produto do Google Shopping:

Agora você está preparado para começar a fazer scraping depois de configurar o Node.js, obter uma chave de API e adquirir um ID de produto. Para continuar, crie um novo arquivo JavaScript ou utilize o que foi criado anteriormente e importe o módulo `https` interno do Node.js, que permite enviar solicitações para a API, usando o seguinte código:

const https = require("https");

Em segundo lugar, tem de especificar a sua chave API e a propriedade product_id do produto em que está interessado:

const API_KEY = "YOUR-API-KEY-HERE" // Pode obter uma registando-se aqui

const PRODUCT_ID = "4887235756540435899"

Em seguida, é necessário transmitir esta informação num objeto de opções para que a nossa API saiba qual é o produto que pretende extrair:

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

E, por último, é necessário configurar uma chamada para a nossa API com todas estas informações:

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const results = JSON.parse(body.toString());

    const nearbySellers = results.sellers_results.online_sellers;

    console.log(nearbySellers)

  });

});

req.end();

Agora só tem de executar o script que criou e aguardar os resultados:

$ node scraper.js

E deve agora receber os seus resultados:

[

  {

    position: 1,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIZg&usg=AOvVaw3ZevYyiKByTyo_THSF1qUJ',

    additional_details: '460.5 mi · In stock at EulessToday: 10:00 AM - 9:00 PM',

    base_price: '$399.99',

    additional_price: { shipping: 'See website' },

    total_price: '$399.99',

    trusted: true

  },

  {

    position: 2,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIcw&usg=AOvVaw1QiXFtHB6-CApj-HDvbNxl',

    additional_details: '462.6 mi · In stock at ArlingtonToday: 11:00 AM - 8:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 3,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIdg&usg=AOvVaw0CxoqlJzdEZ93B-6U-Jmuf',

    additional_details: '557.6 mi · In stock at HoustonToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 4,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIeQ&usg=AOvVaw2BAlgtL85g1mvOonMQK14U',

    additional_details: '568.6 mi · In stock at PasadenaToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 5,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIfA&usg=AOvVaw3mi7jMt3aMSJde0sQb9yjR',

    additional_details: '591.2 mi · In stock at San AntonioToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

... 

]

Conseguiu extrair com êxito os produtos do Google Product Nearby Sellers utilizando a nossa API. Pode utilizar os dados obtidos para vários fins, como comparação de preços, pesquisa de mercado, otimização de SEO e muito mais. Para mais informações e exemplos de código noutras seis linguagens de programação, consulte a nossa documentação da API de produtos do Google.

Limitações dos vendedores próximos do Google Shopping

A recolha de dados dos vendedores mais próximos do Google Shopping pode ser uma forma útil de reunir informações sobre os retalhistas locais que vendem um produto específico. No entanto, também tem algumas limitações. Uma limitação é que a funcionalidade pode nem sempre devolver resultados exactos ou actualizados. Por exemplo, uma loja listada como vendendo um produto pode ter esgotado ou deixado de o vender. Além disso, a funcionalidade pode não incluir todos os retalhistas locais que vendem o produto, o que leva a uma seleção limitada de opções para o utilizador. Por último, a secção Vendedores próximos do Google Shopping só está disponível para produtos e categorias selecionados, pelo que os utilizadores poderão não conseguir encontrar vendedores locais para todos os produtos em que estão interessados.

Conclusão

Espero que tenha achado este artigo um recurso útil para começar a extrair os vendedores próximos do Google Shopping com a nossa API utilizando Node.js. Com apenas a configuração do Node.js, uma chave de API para o nosso serviço e um ID de produto, pode reunir informações sobre preços e disponibilidade num instante. Isto pode ser particularmente útil para as empresas que procuram manter-se competitivas em termos de preços, bem como para os consumidores que procuram encontrar as melhores ofertas.