Para extrair todos estes dados, precisamos primeiro de os localizar. Clique com o botão direito do rato nas secções destacadas e, em seguida, selecione «Inspecionar» para abrir as Ferramentas de Programador e visualizar o documento HTML. Ao passar o cursor do rato por cima, pode ver facilmente qual a parte que corresponde a cada secção:
Para este tutorial, vou utilizar seletores CSS, pois são a opção mais simples. Se não estiver familiarizado com este método, sinta-se à vontade para consultar primeiro este guia autoexplicativo.
Para começar a escrever o nosso script, vamos verificar se a instalação do Puppeteer correu bem:
import puppeteer from 'puppeteer';
async function scrapeRealtorData(realtor_url: string): Promise<void> {
// Launch Puppeteer
const browser = await puppeteer.launch({
headless: false,
args: ['--start-maximized'],
defaultViewport: null
})
const page = await browser.newPage()
// Navigate to the channel URL
await page.goto(realtor_url)
// Close the browser
await browser.close()
}
scrapeRealtorData("https://www.realtor.com/apartments/Plano_TX/beds-studio")
Aqui, abrimos uma janela do navegador, criamos uma nova página, navegamos até ao nosso URL de destino e, em seguida, fechamos o navegador. Por uma questão de simplicidade e depuração visual, abro o navegador maximizado no modo não headless.
Como cada anúncio tem a mesma estrutura e os mesmos dados, no nosso algoritmo iremos extrair todas as informações para toda a lista de imóveis. No final do script, iremos percorrer todos os resultados e centralizá-los numa única lista.
Talvez tenha reparado que o URL do anúncio não estava visível na primeira captura de ecrã, mas foi mencionado e destacado na segunda. Isso acontece porque é redirecionado para o URL do imóvel quando clica nele.
// Extract listings location
const listings_location = await page.evaluate(() => {
const locations = document.querySelectorAll('a[data-testid="card-link"]')
const locations_array = Array.from(locations)
return locations ? locations_array.map(a => a.getAttribute('href')) : []
})
console.log(listings_location)
Localizamos o URL escolhendo os elementos âncora que têm o atributo “data-testid” com o valor “card-link”. Em seguida, convertemos o resultado numa matriz JavaScript e mapeamos cada elemento para o valor do atributo “href”.
No entanto, a lista resultante conterá cada URL duas vezes. Isso acontece porque cada anúncio tem o mesmo elemento âncora para duas secções: as imagens do imóvel e os detalhes do arrendamento. Podemos resolver isto facilmente utilizando a estrutura de dados Set:
const unique_listings_location = [...new Set(listings_location)]
console.log(unique_listings_location)
Para o preço do imóvel, iremos extrair os elementos “div” que possuem o atributo “data-testid” com o valor “card-price”. Este também precisa de ser convertido numa matriz e, em seguida, mapeado para o seu conteúdo de texto.
// Extract listings price
const listings_price = await page.evaluate(() => {
const prices = document.querySelectorAll('div[data-testid="card-price"]')
const prices_array = Array.from(prices)
return prices ? prices_array.map(p => p.textContent) : []
})
console.log(listings_price)
Para obter o número de casas de banho e a área do imóvel, utilizaremos o operador para elementos filhos diretos. Isto significa que o elemento pai é identificado de forma única, enquanto o elemento filho tem um ID ou nome de classe mais genérico. Para além disso, a lógica é a mesma de antes:
// Extract listings baths
const listings_baths = await page.evaluate(() => {
const baths = document.querySelectorAll('li[data-testid="property-meta-baths"] > span[data-testid="meta-value"]')
const baths_array = Array.from(baths)
return baths ? baths_array.map(b => b.textContent) : []
})
console.log(listings_baths)
// Extract listings sqft
const listings_sqft = await page.evaluate(() => {
const sqfts = document.querySelectorAll('li[data-testid="property-meta-sqft"] > span[data-testid="screen-reader-value"]')
const sqfts_array = Array.from(sqfts)
return sqfts ? sqfts_array.map(s => s.textContent) : []
})
console.log(listings_sqft)
E, finalmente, para os endereços dos anúncios, selecionamos os elementos “div” que possuem o atributo “data-testid” definido com o valor “card-address”.
// Extract listings address
const listings_address = await page.evaluate(() => {
const addresses = document.querySelectorAll('div[data-testid="card-address"]')
const addresses_array = Array.from(addresses)
return addresses ? addresses_array.map(a => a.textContent) : []
})
console.log(listings_address)
Agora deve ter 5 listas, uma para cada dado que extraímos. Como mencionei anteriormente, devemos centralizá-las numa única lista. Desta forma, a informação que recolhemos será muito mais fácil de processar posteriormente.
// Group the lists
const listings = []
for (let i = 0; i < unique_listings_location.length; i++) {
listings.push({
url: unique_listings_location[i],
price: listings_price[i],
baths: listings_baths[i],
sqft: listings_sqft[i],
address: listings_address[i]
})
}
console.log(listings)
O resultado final deverá ficar mais ou menos assim:
[
{
url: '/realestateandhomes-detail/1009-14th-St-Apt-410_Plano_TX_75074_M92713-98757',
price: '$1,349',
baths: '1',
sqft: '602 square feet',
address: '1009 14th St Apt 410Plano, TX 75074'
},
{
url: '/realestateandhomes-detail/1009-14th-St-Apt-1_Plano_TX_75074_M95483-11211',
price: '$1,616',
baths: '1',
sqft: '604 square feet',
address: '1009 14th St Apt 1Plano, TX 75074'
},
{
url: '/realestateandhomes-detail/1009-14th-St_Plano_TX_75074_M87662-45547',
price: '$1,605 - $2,565',
baths: '1 - 2',
sqft: '602 - 1,297 square feet',
address: '1009 14th StPlano, TX 75074'
},
{
url: '/realestateandhomes-detail/5765-Bozeman-Dr_Plano_TX_75024_M70427-45476',
price: '$1,262 - $2,345',
baths: '1 - 2',
sqft: '352 - 1,588 square feet',
address: '5765 Bozeman DrPlano, TX 75024'
},
{
url: '/realestateandhomes-detail/1410-K-Ave-Ste-1105A_Plano_TX_75074_M97140-46163',
price: '$1,250 - $1,995',
baths: '1 - 2',
sqft: '497 - 1,324 square feet',
address: '1410 K Ave Ste 1105APlano, TX 75074'
}
]
