As 7 principais listas de proxies gratuitos para Web Scraping

Robert Munceanu em 16 de agosto de 2021

No web scraping, ou está a utilizar proxies ou está a fazer um mau trabalho na extração de dados. É claro que pode não precisar de um proxy backconnect com milhares de IPs de centros de dados e residenciais, mas vai querer pelo menos alguns proxies básicos.

O grande problema para os scrapers amadores ou principiantes é que os IPs normalmente custam dinheiro. Felizmente, existem proxies gratuitos. De facto, existem várias opções por onde escolher. Explorámos algumas delas e escolhemos as 7 melhores para que só obtenha a qualidade, pelo menos no que diz respeito aos proxies gratuitos.

Na verdade, antes de entrarmos na lista, devemos rever alguns pormenores. Os proxies gratuitos são óptimos porque não é preciso investir dinheiro, mas não são perfeitos.

Os prós e os contras dos proxies gratuitos

Antes de mais, são gratuitos. Isso é um pouco óbvio, mas é uma vantagem significativa. Basta pensar que pode pegar em qualquer um dos guias do nosso blogue, codificar o seu scraper e depois utilizá-lo juntamente com os proxies.

Há muito a dizer sobre os benefícios dos proxies no web scraping, e não vamos falar sobre eles neste artigo. Mas, se quiser saber mais, consulte este artigo sobre proxies rotativos, no qual apresentamos a grande diferença que um conjunto de IPs pode fazer.

Infelizmente, essa é praticamente a única vantagem que os proxies gratuitos têm sobre os outros. Agora, passemos aos contras.

Uma vez que estes IPs estão disponíveis gratuitamente, toda a gente os conhece. Por isso, é provável que os sítios Web já conheçam os endereços e já os tenham bloqueado. Ou alguém já tentou aceder ao sítio em que está interessado e o IP foi banido, ou o webmaster encontrou o fornecedor de proxy gratuito, copiou todos os IPs e adicionou-os a uma lista negra. Nem sempre é este o caso, mas acontece frequentemente.

Os IPs gratuitos são frequentemente lentos e não têm anonimato. A manutenção de proxies custa dinheiro, pelo que não se pode esperar seriamente obter IPs de qualidade superior sem qualquer custo. Como diz o ditado, o que se recebe é o que se paga.

Os proxies gratuitos podem expô-lo a piratas informáticos. Como acabei de dizer, é um pouco invulgar que alguém ofereça endereços gratuitos a troco de nada. Uma razão nefasta para o fazer é monitorizar e copiar as informações que passam pelo proxy. Depois disso, podem utilizar essas informações para fins malignos. Mais uma vez, isto não é uma garantia, mas deve manter-se atento.

1. WebScrapingAPI

O grande fator que diferencia o WebScrapingAPI de outros provedores nesta lista é que a API usa apenas proxies premium. Isso inclui IPs residenciais e de datacenter, com muitas opções de geolocalização (7 para datacenter, 40 para residencial e mais de 200 para planos personalizados). Embora existam planos pagos, que variam entre $20 e $200, qualquer novo utilizador recebe um período de teste gratuito de duas semanas, tempo durante o qual pode utilizar qualquer uma das funcionalidades da API.

A rotação de proxy é tratada automaticamente pela API, pelo que, a menos que peça especificamente o contrário, todos os pedidos passarão por IPs diferentes. Além disso, pode enviar até 10 pedidos em simultâneo, o que significa que pode utilizar o conjunto de proxies em toda a sua extensão, extraindo dados a velocidades vertiginosas.

Naturalmente, o WebScrapingAPI não oferece apenas proxies, mas também acesso ao scraper. Assim, obtém todas as funcionalidades de uma ferramenta de extração de dados de qualidade superior sem escrever uma linha de código.

Uma vez terminada a avaliação gratuita, não tem de gastar um dólar, a menos que queira, porque será rebaixado para o pacote gratuito, com 1000 chamadas API por mês, durante o tempo que quiser.

2. ProxyScan

O ProxyScan é uma coleção de ferramentas úteis reunidas num único sítio Web. A primeira e mais importante é a lista de proxies. Eles afirmam ter mais de 12.000 proxies no total. Embora seja um número impressionante, pelo que pude perceber, o número pode ser um pouco menor, possivelmente porque os proxies gratuitos estão constantemente a aparecer e a desaparecer, pelo que o número pode variar.

Desses proxies, quase todos são SOCKS 4 ou 5, com pouco mais de 100 sendo HTTP/S. Além disso, quase todos são anónimos ou elite, que são os únicos que realmente importam na recolha de dados da Web.

Relativamente à geolocalização, o ProxyScan oferece IPs de mais de 100 países. Embora nem todos eles tenham um grande número de proxies, ainda assim é uma boa cobertura. Também pode verificar o tempo de atividade e o ping de cada IP, facilitando a escolha dos melhores IPs.

3. Lista de proxy

A ideia geral por detrás da Proxy-list parece ser a quantidade em detrimento da qualidade. No total, eles têm mais de 17.000 proxies, a maioria dos quais são SOCKS 4. Eu digo que há menos foco na qualidade porque você não recebe nenhuma informação sobre o tempo de atividade ou ping do IP. O site actualiza as suas listas de duas em duas horas e elimina os IPs que não respondem.

Ao consultar as suas listas, obtém o IP, a porta, o nível de anonimato e o país. Em comparação com outros fornecedores desta lista, isso é um pouco insuficiente.

É possível filtrar os resultados por anonimato (transparente, anónimo ou elite) e por país. Reparei que alguns dos países que pode selecionar no filtro não têm realmente proxies disponíveis no sítio Web. Por isso, não espere necessariamente encontrar IPs de qualquer região. Dito isto, ainda há muitas opções.

Para além de navegar nas suas muitas páginas, também pode descarregar listas como texto simples ou diretamente para a área de transferência. Embora o processo seja muito mais rápido desta forma, o ficheiro txt apenas contém os IPs, pelo que se quiser registar também os portos ou os países de origem, terá de os obter diretamente do sítio. Como seria de esperar, sugiro que raspe as páginas em vez de obter os dados manualmente.

4. Proxy gratuito

Embora o Free Proxy possa não ser o site mais bonito, tem um grande número de IPs, os seus detalhes e todas as funcionalidades de filtragem de que necessita.

O número total de IPs ultrapassa os 23.000, a maioria dos quais são SOCKS4/5. Estes IPs são recolhidos de um total de 160 países. A maioria dos IPs são da Ásia, mas não terá problemas em encontrar proxies de qualquer canto do mundo.

Se olhar para as suas listas, verá uma grande quantidade de informação, incluindo velocidade, tempo de atividade, resposta e quanto tempo passou desde a última verificação. Este último pormenor é, na verdade, um dos pontos fracos deste fornecedor - muitos IPs são verificados muito raramente, e há uma boa hipótese de encontrar muitos IPs mortos, especialmente se tiverem passado dias desde o último ping.

Para navegar, pode filtrar por país, anonimato e protocolo. Depois, também pode ordenar a lista resultante por velocidade, tempo de atividade, resposta e "última verificação". Por isso, não deve demorar muito tempo a encontrar o que procura. Além disso, existe um botão chamado "Exportar IP:Porta" que lhe permite copiar rapidamente todo o endereço para que o possa adicionar ao seu scraper.

5. Spys.one

Tal como o fornecedor anterior, o Spys.one oferece uma vasta gama de IPs de todo o mundo. No total, parecem ter mais de 26.000 proxies, ultrapassando assim o Free Proxy. Mas muitos IPs não são verificados há semanas ou mesmo meses, pelo que podem já não funcionar.

Em termos de navegação, pode escolher praticamente qualquer critério para filtrar a lista. Pode até selecionar por cidade, apesar de muitos proxies não terem uma cidade especificada. Por isso, utilize essa opção apenas se for crucial para o seu caso de utilização. Caso contrário, poderá perder possibilidades valiosas.

Embora o fornecedor possa parecer ter um grande número de IPs, não posso dizer que gosto muito da IU, pelo que obter todos esses IPs pode ser um incómodo maior do que seria de esperar.

6. Genode

Ao contrário da maioria dos outros sítios Web desta lista, o Genode não ganha dinheiro com as receitas dos anúncios, mas sim com o aluguer de proxies residenciais de alta qualidade. Mas, para além destes, também mantêm uma lista de proxies gratuitos que qualquer visitante pode utilizar.

A sua lista contém quase 5.000 proxies espalhados por um número impressionante de países. Para navegar nesta lista, pode escolher o país, o nível de anonimato, o protocolo proxy, a organização, a velocidade, o tempo de atividade e a data da última verificação. Essencialmente, filtra-se por todos os factores de diferenciação que apresentam.

Ao verificar a velocidade, obtém um período de tempo real (em milissegundos) e uma barra que compara a velocidade desse IP específico com os outros da lista. Além disso, se o tempo de resposta for anormalmente elevado, o número aparecerá a vermelho, o que significa que é provavelmente demasiado lento para uma utilização adequada.

Este tipo de pequenos pormenores pode ter um impacto nos resultados globais, pelo que o Genode merece um lugar na lista, mesmo que o conjunto de proxies em si seja um pouco pequeno em comparação com o outro sítio Web que apresentei.

7. Listas de proxies gratuitas

Embora não possa dizer que o Free Proxy Lists seja o sítio Web mais bonito, vai sem dúvida direto ao assunto, apresentando-lhe uma extensa lista de IPs.

É de louvar o facto de a plataforma ter proxies de 78 países diferentes, um número que pode não ser obtido através de fornecedores de serviços pagos. Infelizmente, muitos destes países têm menos de 10 IPs cada. Em muitos casos, existe um único proxy da região.

No total, têm mais de 600 IPs, todos eles utilizam o protocolo HTTP ou HTTPS, pelo que não terá sorte se precisar de SOCKS.

Simplesmente passar de página em página à procura do proxy certo pode tornar-se aborrecido rapidamente, mas o sítio Web permite-lhe filtrar os resultados por país, porta, protocolo, anonimato e tempo de atividade. Também pode ver as suas velocidades de resposta e transferência representadas por barras de carregamento coloridas. Embora não sejam muito explicativas, podem ajudar a escolher os IPs mais rápidos.

Escolha sabiamente os seus proxies

Embora eu compreenda o apelo dos proxies gratuitos e recomende que pelo menos os experimente, lembre-se de que o seu tempo também é um recurso. De facto, pode ser mais valioso do que o dinheiro.

Deixe-me explicar melhor: percorrer milhares de proxies gratuitos pode reduzir os custos, uma vez que não está a jogar com proxies premium, mas exigirá uma atenção constante da sua parte. Muitas vezes, o IP deixa de funcionar ou é bloqueado, pelo que terá de encontrar uma nova lista e adicioná-la ao seu script. À medida que forem aparecendo novos IPs gratuitos, terá de os adicionar, uma vez que os antigos, mais tarde ou mais cedo, acabam por ficar bloqueados.

Essencialmente, os proxies gratuitos poupam dinheiro, mas exigem algum trabalho repetitivo. Recomendo que qualquer entusiasta de scraping construa pelo menos um scraper e o utilize com proxies gratuitos, porque é uma excelente experiência de aprendizagem. Depois disso, porém, pode querer apenas dados exactos entregues a tempo, com pouca ou nenhuma intervenção humana.

Esse é o processo de pensamento por trás do WebScrapingAPI. Criámos uma API REST para fazer a maior parte do trabalho por si, para que se possa concentrar em utilizar os dados em toda a sua extensão. Se ainda não o fez, inicie o seu teste gratuito do WebScrapingAPI para obter um raspador de topo com proxies herméticos!