Os melhores navegadores anti-deteção para uma recolha segura e eficaz de dados da Web

Mihnea-Octavian Manolache em 23 de fevereiro de 2023

A deteção é um grande problema na indústria da raspagem da Web. É como um constante jogo do gato e do rato entre os scrapers e os sistemas anti-bot. E a utilização de um browser anti-deteção tornou-se um requisito para qualquer pessoa que pretenda fazer scraping de dados. Mas os browsers anti-deteção não se limitam à recolha de dados da Web. As pessoas têm-nos utilizado para coisas como a gestão de várias contas de redes sociais, comércio eletrónico, etc. Mesmo os utilizadores interessados na privacidade podem beneficiar de um browser anti deteção.

O artigo de hoje abordará exatamente esta área. Vamos discutir os navegadores anti-deteção, os seus casos de utilização, eficácia e qual o fornecedor a escolher em 2023. Também vos vou apresentar a impressão digital do navegador. Por isso, preparem-se, há muito para falar hoje.

O que é um browser anti-deteção?

Em parte, a definição de um browser anti-deteção é dada pelo próprio nome. Cada navegador normal (por exemplo, Chrome ou Firefox) tem a sua própria identidade online. Chamamos a isto uma impressão digital. A forma como o seu navegador recebe as impressões digitais é muito complexa. Tem a ver com coisas como:

O seu endereço IP
O agente do utilizador que está a enviar com os seus pedidos
Propriedades dos seus navegadores

Agora, a última é a mais importante, eu diria. Isto porque qualquer pessoa na Internet pode construir um script relativamente simples para obter determinadas propriedades de um browser. E o mais importante é que, quase sempre, a combinação desses valores gera uma configuração única do sistema. Na prática, é possível gerar um hash dos valores combinados em string dessas propriedades e criar uma impressão digital. Veja-se, por exemplo, o FingerprintJS ou o CreepJS.

Além disso, a deteção não é feita pelo escopo da janela. Eu até criei essa ferramenta que pode detetar evasões como as implementadas com o `puppeteer-extra-plugin-stealth` comparando valores coletados da janela e dos workers. Mas essa é uma discussão mais complexa. Por enquanto, parece que a melhor maneira de não ser detectado online é usar um navegador anti-deteção.

E voltamos ao tema. Os navegadores antidetecção são aplicações baseadas em navegadores conhecidos que foram modificados para aceitar valores personalizados para as propriedades que discutimos anteriormente. Uma vez que projectos como o Chromium ou o Mozilla são de código aberto, qualquer pessoa pode fazer um fork deles e criar a sua própria versão de um navegador. E é exatamente isso que acontece também com os browsers anti-deteção.

Também é possível clonar o Chromium, por exemplo, e ajustá-lo para fornecer valores aleatórios para várias propriedades do navegador. Mas, na prática, isso requer muito conhecimento e recursos. É por isso que existem alguns fornecedores conhecidos e já vamos falar deles. Mas primeiro:

Qual é a utilidade de um browser anti-deteção?

Existem muitos casos de utilização para os navegadores anti-deteção. No entanto, há sectores que dependem mais destes navegadores do que outros. É por isso que vou ser específico sobre quais são os casos de utilização dos navegadores anti-deteção e por que razão os utilizamos. Assim, tendo em conta que a sua maior força é o anonimato, eis os casos de utilização mais comuns para um navegador Web anti-deteção:

Agências de marketing: Os comerciantes afiliados ou as agências de redes sociais têm normalmente de gerir várias contas nas redes sociais. Na prática, as plataformas das redes sociais proíbem o acesso a essas actividades. Do seu ponto de vista, o ideal seria que um dispositivo gerisse apenas uma conta. Mais do que isso poderia levar a abusos. Uma vez que os navegadores anti-deteção criam mais do que uma única identidade, pode facilmente utilizá-los para gerir essa atividade.
Vendedores de comércio eletrónico: Existe uma prática comum (ainda que tácita) entre os vendedores da Amazon ou os vendedores por encomenda de utilizarem várias contas para venderem os seus produtos. Isto aumenta o seu alcance e, implicitamente, as vendas. Mais uma vez, as grandes plataformas de comércio eletrónico não costumam permitir tais práticas. E, mais uma vez, os navegadores anti-deteção podem entrar em ação.
Raspagem da Web: Nos últimos anos, a recolha de dados da Web tornou-se um verdadeiro desafio. Tirar as impressões digitais de um controlador Web (navegador automatizado) é mais fácil hoje do que era há alguns anos. E, como já deve ter adivinhado, quase todos os sítios Web estão a tentar evitar os bots. Uma vez que os web scrapers se inserem nesta categoria, os sítios tentam normalmente bloquear o seu acesso.

Qual é a eficácia dos navegadores anti-deteção na prática?

Dependendo do fornecedor, os navegadores anti-deteção podem ser bastante eficientes. Trabalhando no modo stealth da Web Scraping API, tive a oportunidade de brincar com várias técnicas de evasão. Uma delas foi testar um navegador anti-deteção. Pode ser uma surpresa, mas fomos capazes de identificar navegadores automatizados para Puppeteer e Selenium corrigidos, mas não para navegadores anti-deteção.

Como uma camada extra de eficiência, descobrimos através de testes que os valores usados para gerar impressões digitais personalizadas também são importantes para detetar drivers da Web. Por exemplo, os valores aleatórios são um "não-não". Em vez disso, ao gerar uma impressão digital, tente:

Utilizar agentes de utilizadores reais
Utilizar plataformas de dispositivos que correspondam ao agente do utilizador
Adicionar matrizes de plugins do navegador real

E isto só para citar alguns exemplos. O principal objetivo é utilizar informações reais e adequadas. Além disso, se escolher um fornecedor, tente seguir as suas recomendações.

Principais navegadores anti-deteção em 2023

Num artigo relacionado, eu disse que o melhor navegador anti-deteção é aquele que você mesmo constrói. Mas, honestamente falando, construir um navegador, mesmo quando se tem um projeto de código aberto como ponto de partida, exige muito esforço. Por isso, se não tiver recursos para criar uma equipa, é melhor optar por um destes fornecedores:

#1: GoLogin

GoLogin é novo no panorama dos navegadores anti-deteção. No entanto, isso não o torna menos eficiente. A primeira coisa que notei nele foram os canais de suporte. Eles estão disponíveis não apenas por e-mail ou chat, mas também por WhatsApp, Telegram e Facebook Messenger. A segunda menção honrosa sobre o GoLogin é o seu suporte a proxy. O navegador deles vem com proxies por padrão. E a terceira está relacionada com o acesso. GoLogin tem um aplicativo de desktop, um aplicativo móvel e um aplicativo da web que você pode usar. Pode aceder à sua ferramenta a partir da nuvem, o que é bastante impressionante.

O próprio navegador é baseado no Google Chrome. Foi modificado para gerar novas impressões digitais para cada perfil. Uma desvantagem é que, em vez de falsificar todos os valores, também adicionam ruído a alguns. E os testes indicam que isto pode levar a mais captchas, indicando que os sistemas antibot ainda podem detetar alguma atividade automatizada.

Em termos de preço, o GoLogin começa nos 49 USD por mês e vai até aos 199 USD. Também oferecem um nível personalizável. Vai até 1999 USD por mês para 10.000 perfis na nuvem e outros benefícios. E também obtém um desconto de 50% se pagar anualmente. Pode consultar a página de preços para obter mais informações. Resumindo:

#2: Multilogin

De acordo com o seu sítio Web, o Multilogin oferece "personalização total da impressão digital". Isto significa que tem acesso completo às propriedades do navegador e pode ajustá-las de várias formas. Além disso, são um dos poucos fornecedores que não desactivam as funcionalidades do browser. A desativação de funcionalidades do navegador (como os service workers) não é um sinal imediato para um navegador automatizado. No entanto, os utilizadores comuns raramente ou nunca desactivam essas funcionalidades. E isso pode levantar uma bandeira vermelha para os detectores de bots.

Agora voltando ao Multilogin. O que eles fizeram foi copiar o Chrome e o Firefox e criar as suas próprias versões personalizáveis. A sua GUI permite-lhe gerar um perfil rápido (com uma impressão digital associada) ou falsificar determinados valores. A única desvantagem do Multilogin é o preço. Começa nos 99 USD por mês e pode ir até aos 399 USD por mês. Isto no momento em que estou a escrever isto. Para obter preços actualizados, consulte a página de preços. Para terminar, aqui estão algumas informações compactadas:

#3: AdsPower

Tal como o Multilogin, o AdsPower oferece dois browsers anti-deteção. Um é baseado no Chromium e chama-se Sun Browser. O segundo é baseado no Firefox e chama-se Flower Browser. Ambos têm a capacidade adicional de gerir a impressão digital do navegador. O que é interessante sobre este navegador anti-deteção é que tem funcionalidades de automatização incorporadas. Pouca ou nenhuma programação é necessária para automatizar tarefas usando a Automação de Processos Robóticos do AdsPower.

A empresa começou em 2019 em Hong Kong e rapidamente cresceu para se tornar um dos principais concorrentes da Multilogin. Parte do seu sucesso deve-se às fantásticas capacidades dos navegadores. A outra parte acho que é impulsionada pelos preços baixos. O AdsPower até tem um nível gratuito que lhe dá acesso a dois perfis e o seu plano profissional custa apenas 50 USD por mês. A título pessoal, acho que é a solução mais apelativa. E com isso, vamos encerrar o assunto:

#4: X-Browser

Com o X-Browser, o navegador anti-deteção em si é gratuito. E isso pode ser uma caraterística bastante atractiva. O browser é oferecido pela smartproxy e é gratuito para descarregar. O 'senão' aqui é que tem de pagar pelos proxies. No entanto, não existe qualquer desvantagem. E isto porque, com qualquer uma das opções, precisa de proxies para esconder o seu IP e evitar ser bloqueado.

Limitar o X-Browser aos seus próprios proxies pode ser uma coisa boa e má ao mesmo tempo. Por uma vez, o utilizador pode confiar que a smartproxy irá oferecer uma solução optimizada para os seus proxies. Por outro lado, só é possível utilizar proxies smartproxy. Estar vinculado a um único fornecedor significa estar vinculado à qualidade do seu serviço. E se quiser escalar a sua atividade, penso que precisa de mais flexibilidade.

Uma vez que só se paga pelos proxies, o preço do X-Browser é bastante razoável. Os proxies dos seus centros de dados variam entre 10 e 45 USD por mês. Os proxies residenciais podem ser um pouco caros, mas tudo depende da quantidade que utiliza. Veja os preços aqui. Portanto, vamos terminar com o X-Browser:

#5: Kameleo

O Kameleo é um camaleão e tanto. Ele suporta todos os principais navegadores da web (Chrome, Safari, Firefox e Edge) e pode ser usado com os principais frameworks de automação (Puppeteer, Selenium e Playwright). E mais do que isso, eles oferecem personalização de impressão digital para dispositivos móveis também. De acordo com o site deles, o Kameleo Mobile pode ser usado para falsificar sua impressão digital em qualquer dispositivo Android.

Ao contrário dos seus concorrentes, o serviço do Kameleo não se centra em browsers, mas em perfis de browsers. Ou seja, não fazem necessariamente alterações a um navegador de código aberto para criar a sua própria versão.

Fizemos algumas experiências com a plataforma deles e a principal desvantagem que encontrámos foi o apoio ao cliente. Pode ser muito lento. Para além disso, o preço é bom: 59 a 199 USD pagos mensalmente. Portanto, vamos lá resumir isto:

#6: Incógnito

O Incognito é mais um navegador anti-deteção com um nível gratuito. E, ao contrário do AdsPower, oferece acesso a 10 perfis de navegador gratuitos. O navegador deles é baseado no Chromium e oferece praticamente os mesmos recursos que o resto dos navegadores anti-deteção. O produto também possui uma API que permite interagir com o navegador sem cabeça. Para além do generoso nível gratuito, o seu preço varia entre 29,99 e 149,99 USD por mês. Eu diria que é um preço justo para o que eles oferecem. Agora, concluindo:

#7: Esfera de Linken

O Linken Sphere é um navegador anti-deteção baseado no Chromium e é oferecido pelo grupo russo Tenebris. Foi lançado em 2017, o que o torna uma das soluções mais antigas do mercado. A principal desvantagem é que parece bastante sombrio. Eles só aceitam pagamento em bitcoin no momento e apoiam-no centrado em seu canal Telegram. Além disso, é conhecida por ser utilizada em actividades ilegais, como hacking ou fraude. Para além disso, faz o seu trabalho muito bem. E, com isto, termino de vez:

Conclusões

A impressão digital do navegador pode tornar a recolha de dados da Web extremamente difícil. Se quiser passar despercebido, precisa de cobrir muitos aspectos. Proxies, solucionadores de captcha e um navegador sem cabeça furtivo são apenas alguns dos "ingredientes" de um web scraper fiável. Somar tudo pode gerar custos de desenvolvimento e manutenção muito elevados. A alternativa é utilizar um serviço de raspagem da Web de terceiros já estabelecido. E a Web Scraping API oferece exatamente isso. E diria mesmo que é tudo por uma fração do custo.