01 · DescobertaDocumentado
Resultados de notícias
Um resultado vinculado à consulta mostrado na vertical de Notícias do Google.
- Headline and destination
- Source and snippet
- Query and request context
Notícias e artigos
Notícias & Artigo de Dados de Raspagem
Colete resultados de notícias e artigos públicos para monitoramento de mídia e pesquisa. Mantenha títulos, publicadores, datas, links de origem e revisões juntos.
Modelo de registro de histórias
Conecte resultados de notícias, artigos e revisões.
Modelo de descoberta, publicação, conteúdo, pessoas, revisões e assuntos separadamente para que um trecho de resultado nunca se mascara como um artigo completo.
02 · SourceDocumentado
Publicação
A identidade pública do editor e a página fonte associada a uma observação.
- Source name and URL
- Section or channel
- Language and locale
03 · ContentPrimeiro piloto .
Artigo
Referências de cabeçalhos, sublinhas, corpos, metadados e mídia vinculadas à fonte, onde a página elegível os expõe.
- Canonical URL
- Visible article fields
- Author or byline
04 · ChangePrimeiro piloto .
Edição ou revisão
Uma observação sucessiva de campos de artigos selecionados, nunca uma intenção editorial inferida.
- Content hash
- First and last seen
- Changed field set
05 · MeaningPrimeiro piloto .
Tópico ou entidade
Uma camada de enriquecimento produzida sob modelos ou regras acordadas e mantida separada dos fatos de origem.
- Named entity cue
- Topic label
- Rule or model version
Object boundaryNot assumed
Um resultado da descoberta não é um artigo completo.
A descoberta não é a mesma coisa que a extração de artigo completo. Um trecho, página de artigo, linhagem do autor, editor, revisão e tópico cada um carregam um limite de evidência diferente.
Contrato de cobertura
Verifique as fontes e a cobertura dos campos.
Analise a fonte, o tipo de página, o mercado e os campos necessários antes de escolher uma API ou coleta personalizada.
Engine or familyIntroduçãoContextoEstado
Esquema de registro
Veja os campos em um registro de exemplo.
Mantém o que a fonte expôs separado do que a coleção observou e o que um enriquecimento a jusante inferido.
Contexto do resultado
- query
- A consulta de descoberta submetida.
- rank
- Posição nesta página de resultados e contexto da solicitação.
- result_url
- O destino exposto pelo resultado.
Campos visíveis na fonte
- headline
- Título exposto na página elegível.
- byline
- A cadeia de autor público, não automaticamente uma pessoa resolvida.
- body_state
- Presente, ausente, excluído, falhado, alterado ou revisado.
Publicação e observação
- published_at
- Tempo atribuído pela fonte, quando exposto.
- observed_at
- O tempo da coleção produziu esta observação.
- first_seen_at
- Primeira aparição na janela de controlo contratada.
Traçabilidade e estado
- source_url
- Página pública associada ao registro.
- content_hash
- Impressão digital opcional para observações sucessivas.
- schema_version
- Versão da forma de saída acordada.
{
"record_id": "story_0042",
"object_type": "article_observation",
"discovery": {
"query": "energy outlook",
"surface": "google_news",
"rank": 3
},
"article": {
"headline": "Grid investment accelerates",
"publication": "Example Daily",
"body_state": "observed"
},
"published_at": "YYYY-MM-DDT06:10:00Z",
"observed_at": "YYYY-MM-DDT08:42:00Z",
"source_url": "https://news.example/story/42",
"schema_version": "news.v1"
}Two clocks, two meanings.
published_at is source-attributed publication time; observed_at is collection time. Neither should overwrite the other.
Identidade e linhagem
Registros relacionados ao grupo sem apagar cada fonte.
Preserve o editor, URL, contexto de descoberta e observação de artigo antes de adicionar URLs canônicos, agrupamentos, entidades ou etiquetas de tópicos.
- 01
Chave de descoberta
consulta + URL de resultado
Contexto do pedido mantido. - 02
Indicações de origem
URL canônico + editor
Utilizado quando exposto e verificado. - 03
Estado do conteúdo
Título + hash + tempo
Comparado sob uma versão de regra nomeada. - 04
Relações
O mesmo artigo, revisão ou grupo de candidatos
A ambigüidade continua explícita.
Semântica da frescura
Uma história recentemente publicada e uma página recentemente observada são fatos diferentes.
Defina a cadência de coleta por fluxo de trabalho, e depois retenha o tempo atribuído pela fonte ao lado dos tempos de solicitação, observação, entrega e mudança.
- Tempo de fontepublished_at
O prazo de publicação exposto, tal como interpretado no contrato.
- Coletadoobserved_at
O artigo ou o resultado foi observado no contexto solicitado.
- Entregue .delivered_at
O registo tornou-se disponível ao cliente.
- Mudanças .first_seen / last_seen
A observação entrou ou saiu do histórico monitorado.
Qualidade e falta
Não converta um artigo que não está disponível em uma história vazia.
Carregar o estado que explica por que um campo está faltando para que a descoberta, análise, disponibilidade da fonte e exclusões de políticas permaneçam distinguiveis.
Presença da estrutura necessária
O registo passou por verificações de campo de descoberta ou de artigo acordadas.
Campo não exposto
A página fonte não mostrava a linha de substituição, tempo ou campo de corpo solicitado.
Modelo ou linhagem é ambíguo
A página ou relação precisa de inspecção nos termos das regras contratadas.
Não há observação apoiada
Excluído, restringido, falhado ou indisponível permanece distinto de um artigo vazio.
Verificações estruturais
Chaves, tipos, conteúdo de resultados, razão do estado do corpo, forma de timestamp e versão de esquema.
Verificações de campo
Formatos de URL, atribuição de fonte, estado de análise de publicação, idioma e hash de conteúdo opcional.
Limite de aceitação
A sua equipa aprova registos representativos, conjunto de fontes, uso permitido e limites de decisão; nós operamos os controlos técnicos acordados.
Opções de entrega
Escolha como receber seus dados.
Use uma API na sua aplicação, receba registros recorrentes ou deixe a coleta conosco.
Proxies
Mantenha seus coletores e use nossa rede de proxies.
Use proxies residenciais, de datacenter ou de ISP com os coletores que sua equipe já opera.
RecursoDetalhes
Você recebeAcesso proxy para suas próprias requisições
Nós cuidamos deRede proxy e acesso
Sua parteColeta, extração, armazenamento e análise
Ideal para · Equipes com coletores existentes.
Comparar serviços proxyAplicações
Coloque estes registros em uso.
Use os campos e exemplos abaixo para planejar sua análise, produto ou fluxo de monitoramento.
Monitoramento dos meios de comunicação social
Seguir as consultas nomeadas, fontes e campos de história pública ao longo do tempo.
Results · articles · revisionsPesquisa de mercado e tópicos
Construir corpora revisaveis para tendências, narrativa e análise de fontes.
Articles · topics · provenanceRecuperação e aterragem de IA
Preparar entradas de referência de origem, com conhecimento do tempo, para fluxos de trabalho de recuperação aprovados.
Text state · source URL · timestampsReputação e sinais de risco
Superficie uma nova cobertura pública para revisão humana sem apresentá-la como conclusão.
Discovery · entities · review stateInformações de editores
Comparar padrões de publicação pública, seções e comportamento de revisão.
Publication · article · first seenArquivos de pesquisa
Mantenha os metadados acordados e o conteúdo permitido com histórico de coleta rastreável.
Schema version · provenance · change historyPilotante representativo
Teste uma amostra no seu próprio fluxo de trabalho.
Use contextos de consulta reais e páginas de artigos públicos representativos, incluindo histórias comuns, revisões, campos ausentes, modelos alterados e estados restritos.
- 01
Definição
Questões, fontes, campos de artigos, contextos, cadência e uso permitido.
- 02
Amostra
Resultados e páginas que representam modelos de fonte, campos faltantes e alterações.
- 03
Inspecção
Evidências de origem, tempos, estados do corpo, candidatos à linhagem e exceções.
- 04
Aceitar
Aprovar o esquema, o conjunto de fontes, o modelo operacional e os limiares técnicos.
Questões comuns
Perguntas antes de começar
Que dados de notícias são documentados hoje?
Use os resultados de notícias de Google Search API para descobrir artigos. Use Scraper API ou Browser API para páginas de artigos públicos ou solicite um feed recorrente.
Um resultado de uma notícia é o mesmo que um artigo completo?
Não. Descoberta não é o mesmo que extração de artigo completo. Um resultado pode expor um título, URL de destino, fonte, fragmento e sinal de publicação exibido sem expor o corpo completo do artigo. Os campos de artigo exigem uma página pública elegível separada e um contrato de extração específico da fonte.
Que campos de artigos podem ser entregues?
Um registro de artigo com escopo pode incluir o URL da fonte, URL canônica quando exposto, título, standfirst, byline, tempo de publicação exibido, seção, corpo visível, referências de mídia, tags, idioma e proveniência. A presença do campo varia de editor e modelo, por isso esquemas normalizados agnóstico-fonte são piloto primeiro.
Como são representados o tempo de publicação e o tempo de coleta?
published_at registra o horário atribuído ao artigo pela fonte, quando ele é exibido. observed_at registra quando a coleta produziu a observação. Esses valores permanecem separados porque um artigo pode ser descoberto, revisado ou coletado muito depois da publicação.
Pode-se agrupar duplicadas coberturas do mesmo evento?
A correspondência pode ser incluída em um feed ou programa gerenciado. A amostra confirma identificadores, regras de comparação e como correspondências incertas ou conflitantes aparecem.
Podem ser monitoradas as atualizações e revisões dos artigos?
O histórico começa com o monitoramento. A cobertura anterior depende dos registros da fonte ou capturas de arquivo disponíveis. Analise datas e lacunas em uma amostra.
Como são tratados os corpos desaparecidos e as falhas de coleta?
A amostra distingue campos ausentes, páginas indisponíveis, requisições com falha e valores que precisam de revisão. Defina o tratamento de cada estado antes da entrega recorrente.
São incluídos artigos com parede de pagamento ou apenas para login?
Os corpos de artigos com parede de pagamento, apenas para login, apenas para membros e restritos de outra forma não são abrangidos como padrão.
Pode-se redistribuir o texto do artigo sem restrições?
Não há direito de redistribuição abrangente protegido por direitos autorais. Os clientes permanecem responsáveis pelos termos de origem, direitos autorais, licenciamento, retenção, controles de acesso e uso permitido no fluxo de infra-estrutura. Uma entrega pode ser limitada a metadados, links, trechos ou outros campos acordados quando apropriado.
Quem mantém as mudanças de origem?
Sua equipe mantém os coletores com proxies e os parsers próprios com APIs de acesso a páginas. Nós mantemos a extração compatível de Data API e a coleta incluída nos feeds ou em Managed Data.
Notícias e artigos
Comece com acesso à descoberta ou alcance um feed de história mantido.
Traga as consultas, as fontes, os campos, os contextos e o caso de uso. Ajudamos a separar o que está documentado daquilo que o piloto representativo tem de demonstrar.