Para além de potenciais questões legais com sites específicos de redes sociais, tal processo tem outras desvantagens. É vital tratá-las como complicações que devem ser resolvidas imediatamente.
O primeiro é a diversidade de fontes. É fácil decidir usar todas as fontes de informação disponíveis. No entanto, todos os sites têm estruturas diferentes. Por isso, um programador precisa de criar um script que funcione para cada estrutura específica. O bot precisa de saber onde está a informação na página para a obter.
O algoritmo simples que funciona com um tipo específico de arquitetura de site não funcionará noutro. Por isso, é importante decidir quais as fontes a utilizar e como determinar a complexidade, a duração e o preço do projeto.
O segundo risco é lidar com soluções anti-scraping. Alguns sites utilizam-nas para proteger a informação de terceiros. Estas soluções assumem várias formas, desde funcionalidades de início de sessão até bloqueios de IP. Talvez não consiga fazer scraping em alguns dos sites que deseja. Ou terá de encontrar uma solução criativa para contornar tais medidas.
E a terceira questão é o custo do projeto. Pode ser muito acessível ou bastante caro, dependendo do âmbito e dos objetivos. Por exemplo, se quiser recolher alguns dados uma vez de alguns sites, será rápido e relativamente barato. No entanto, o preço aumentará significativamente se precisar de atualizações constantes de vários sites.
No entanto, existem programas de scraping prontos a usar, como o Octoparse, que um indivíduo ou uma empresa pode utilizar. Não são ideais, pois são mais genéricos. Isto significa que não foram concebidos para se adequarem às suas necessidades e requisitos específicos. No entanto, são úteis para fins de pesquisa geral.
As soluções prontas a usar são relativamente baratas e geralmente baseadas numa subscrição. Qualquer pessoa pode utilizá-las sem qualquer conhecimento de programação. Este tipo de software é escalável, rápido e eficaz. Mas existe uma curva de aprendizagem. Além disso, há poucas ou nenhumas opções de personalização, o que constitui a principal desvantagem.
Outra alternativa ao desenvolvimento de uma solução interna é estabelecer uma parceria com uma empresa que ofereça a extração de dados como serviço. Nesse caso, a empresa obtém uma abordagem personalizada. Trata-se de uma abordagem mais dispendiosa em comparação com o software já disponível.
