Como extrair dados da Web dos vendedores nas proximidades do Google Shopping com Node.js

Criar o seu próprio web scraper pode ser uma tarefa demorada e complexa. Não só precisa de ter um bom conhecimento de programação, como também precisa de ter um profundo conhecimento das técnicas e tecnologias de web scraping. Isto pode ser uma tarefa intimidante para alguém sem experiência em web scraping, e o tempo e os recursos necessários para criar um scraper funcional podem não valer o investimento.

Por outro lado, utilizar um scraper profissional como o nosso oferece várias vantagens. Por um lado, os scrapers profissionais são criados e mantidos por especialistas na área, garantindo que estão atualizados com as mais recentes tecnologias e técnicas. Isto significa que é mais provável que consigam lidar com as complexidades da web moderna, tais como CAPTCHAs e páginas web dinâmicas. Além disso, os scrapers profissionais vêm frequentemente com funcionalidades integradas, como a rotação automática de IP, o que pode ajudar a evitar que o seu IP seja bloqueado pelo site que está a scraper.

Outra vantagem de utilizar um scraper profissional é que pode poupar-lhe uma quantidade significativa de tempo e recursos. Em vez de passar semanas ou até meses a construir o seu próprio scraper, sinta-se à vontade para subscrever o nosso scraper criando uma conta aqui e comece a fazer scraping imediatamente. Isto é especialmente benéfico para empresas que precisam de extrair dados rapidamente para tomar decisões informadas, ou para indivíduos que querem fazer scraping de dados para projetos pessoais, mas não têm tempo ou recursos para construir o seu próprio scraper.

O Google Shopping «Vendedores nas proximidades» é uma funcionalidade que permite aos utilizadores encontrar lojas de retalho nas proximidades que vendem um produto específico. Esta funcionalidade está disponível no site e na aplicação móvel do Google Shopping e permite aos utilizadores pesquisar produtos e ver uma lista de vendedores nas proximidades que vendem esse produto. Esta informação inclui o nome da loja, a distância e a morada da loja, bem como se a loja está atualmente aberta ou fechada.

O web scraping dos Vendedores de Produtos Próximos do Google Shopping pode ser benéfico para empresas e particulares que procuram obter informações sobre os mercados de retalho locais. Ao extrair estes dados, as empresas podem compreender melhor a concorrência na sua área e ajustar os seus preços e inventário em conformidade. Além disso, as empresas podem utilizar estes dados para identificar novas oportunidades de vendas, como contactar lojas que atualmente não vendem os seus produtos. Para os particulares, o web scraping do Google Shopping Product Nearby Sellers pode ser uma ferramenta útil para encontrar as melhores ofertas de produtos e também identificar a loja mais próxima.

Para extrair vendedores próximos do Google Shopping utilizando a nossa API, terá de dispor das ferramentas adequadas. Em primeiro lugar, deve ter o Node.js instalado. Trata-se de um ambiente de execução de JavaScript que permite executar JavaScript no lado do servidor e pode ser descarregado a partir do site oficial do Node.js.

Além disso, irá precisar de uma chave API para utilizar o nosso serviço, que pode obter criando uma conta aqui e ativando o serviço SERP.

Depois de ter o Node.js e uma CHAVE API, o próximo passo é criar um ficheiro de script Node.js executando o seguinte comando:

$ touch scraper.js

E agora cole a seguinte linha no seu ficheiro:

console.log("Hello World!")

E, em seguida, execute o seguinte comando:

$ node scraper.js

Se vir a mensagem «Hello World!» exibida no terminal, significa que o Node.js foi instalado com sucesso e que está pronto para avançar para a secção de scraping propriamente dita.

Com o ambiente configurado, pode agora começar a extrair dados dos Vendedores Próximos do Google Shopping utilizando a nossa API. Este é um processo simples e, além do que foi discutido acima, tudo o que precisa de fazer é obter o ID do produto em que está interessado.

Dica: Eis como pode obter o ID de um produto do Google Shopping:

Está agora preparado para começar a extrair dados após configurar o Node.js, obter uma chave API e adquirir um ID de produto. Para prosseguir, crie um novo ficheiro JavaScript ou utilize o criado anteriormente e importe o módulo `https` integrado do Node.js, que lhe permite enviar pedidos para a API, utilizando o seguinte código:

​​const https = require("https");

Em segundo lugar, tem de especificar a sua chave API e a propriedade product_id do produto em que está interessado:

const API_KEY = "YOUR-API-KEY-HERE" // You can obtain one by registering here

const PRODUCT_ID = "4887235756540435899"

Em seguida, tem de passar esta informação num objeto de opções para que a nossa API saiba qual é o produto que pretende extrair:

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

E, por último, tem de configurar uma chamada à nossa API com todas estas informações:

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const results = JSON.parse(body.toString());

    const nearbySellers = results.sellers_results.online_sellers;

    console.log(nearbySellers)

  });

});

req.end();

Agora, basta executar o script que criou e aguardar os resultados:

​​$ node scraper.js

E deverá agora receber os seus resultados:

[

  {

    position: 1,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIZg&usg=AOvVaw3ZevYyiKByTyo_THSF1qUJ',

    additional_details: '460.5 mi · In stock at EulessToday: 10:00 AM - 9:00 PM',

    base_price: '$399.99',

    additional_price: { shipping: 'See website' },

    total_price: '$399.99',

    trusted: true

  },

  {

    position: 2,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIcw&usg=AOvVaw1QiXFtHB6-CApj-HDvbNxl',

    additional_details: '462.6 mi · In stock at ArlingtonToday: 11:00 AM - 8:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 3,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIdg&usg=AOvVaw0CxoqlJzdEZ93B-6U-Jmuf',

    additional_details: '557.6 mi · In stock at HoustonToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 4,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIeQ&usg=AOvVaw2BAlgtL85g1mvOonMQK14U',

    additional_details: '568.6 mi · In stock at PasadenaToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 5,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIfA&usg=AOvVaw3mi7jMt3aMSJde0sQb9yjR',

    additional_details: '591.2 mi · In stock at San AntonioToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

... 

]

Conseguiu agora extrair com sucesso os vendedores próximos do Google Product utilizando a nossa API. Pode utilizar os dados obtidos para vários fins, tais como comparação de preços, pesquisa de mercado, otimização de SEO e muito mais. Para mais informações e exemplos de código em outras seis linguagens de programação, consulte a nossa documentação da API do Google Product.

Extrair dados do Google Shopping - Vendedores nas proximidades pode ser uma forma útil de recolher informações sobre retalhistas locais que vendem um produto específico. No entanto, também tem algumas limitações. Uma limitação é que a funcionalidade pode nem sempre apresentar resultados precisos ou atualizados. Por exemplo, uma loja listada como vendendo um produto pode ter esgotado o stock ou deixado de o comercializar. Além disso, a funcionalidade pode não incluir todos os retalhistas locais que comercializam o produto, levando a uma seleção limitada de opções para o utilizador. Por fim, a secção «Vendedores próximos» do Google Shopping está disponível apenas para determinados produtos e categorias, pelo que os utilizadores podem não conseguir encontrar vendedores locais para todos os produtos em que estão interessados.

Espero que tenha achado este artigo um recurso útil para começar a extrair dados do Google Shopping Nearby Sellers com a nossa API usando Node.js. Basta ter o Node.js instalado, uma chave de API para o nosso serviço e um ID de produto para recolher informações sobre preços e disponibilidade num instante. Isto pode ser particularmente útil para empresas que procuram manter-se competitivas em termos de preços, bem como para consumidores que procuram encontrar as melhores ofertas.