1 víctor medeiros. link mining: a survey lise getoor, christopher p. diehl, link mining: a survey,...
TRANSCRIPT
![Page 1: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/1.jpg)
1
Link MiningVíctor Medeiros
![Page 2: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/2.jpg)
Link Mining: A Survey
Lise Getoor , Christopher P. Diehl, “Link mining: a survey”, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12, December 2005
Referência
![Page 3: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/3.jpg)
Data Mining Link Mining
Tarefas◦ relacionadas a Vértices◦ relacionadas a Arestas◦ relacionadas a Grafos
Desafios de Link Mining
Agenda
![Page 4: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/4.jpg)
Data Mining Link Mining
Tarefas◦ relacionadas a Vértices◦ relacionadas a Arestas◦ relacionadas a Grafos
Desafios de Link Mining
Agenda
![Page 5: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/5.jpg)
2006: 161 bilhões Gigabytes
2009: 6,8 bilhões de humanos
![Page 6: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/6.jpg)
Como extrair algo útil de
tanta informação?
![Page 7: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/7.jpg)
Analisar dados de forma automática Mineração de dados
◦ Classificar◦ Resumir◦ Descobrir e categorizar padrões◦ Descobrir anomalias
Data Mining
![Page 8: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/8.jpg)
Data Mining
Nome: FulanoIdade: 23 anosSexo: MasculinoInteresses: ...Escolaridade: 3º grau...
Nome: CicranaIdade: 17 anosSexo: FemininoInteresses: ...Escolaridade: 2º grau...
Formadores de opinião?
![Page 9: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/9.jpg)
Data MiningFormadores de opinião?
![Page 10: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/10.jpg)
Data Mining Link Mining
Tarefas◦ relacionadas a Vértices◦ relacionadas a Arestas◦ relacionadas a Grafos
Desafios de Link Mining
Agenda
![Page 11: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/11.jpg)
Link MiningFormadores de opinião?
![Page 12: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/12.jpg)
Informações representadas por grafos
Relações entre as entidades como informações relevantes:◦ Comprador – Vendedor◦ Sintoma - Doença◦ Links em páginas da WEB◦ Amizades◦ Interesses similares◦ etc...
Link Mining
Info
rmaç
ão
![Page 13: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/13.jpg)
Data Mining:◦ Busca extrair conhecimento útil dos dados◦ Eficiente ao analisar entidades independentes◦ Comete muitos erros quando trata entidades
interdependentes como sendo independentes
Link Mining:◦ Objetivos similares a Data Mining◦ Eficiente ao analisar entidades
interdependentes◦ Explora as informações representadas pelas
Relações (ou Links)
Link Mining
![Page 14: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/14.jpg)
Link Mining é a intersecção de:◦ Análise de links◦ Mineração da Web e de Hipertextos◦ Aprendizagem relacional◦ Programação em Lógica Indutiva◦ Mineração de grafos
Link Mining
![Page 15: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/15.jpg)
Análise de Redes Sociais (SNA)◦ Analise das relações e trocas de informações
entre pessoas, grupos, organizações, computadores ou quaisquer entidades capazes de processar informações e/ou conhecimento
◦ Intimamente relacionada com Link Mining◦ Daremos um foco nessa área de aplicação
Link Mining
![Page 16: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/16.jpg)
Data Mining Link Mining
Tarefas◦ relacionadas a Vértices◦ relacionadas a Arestas◦ relacionadas a Grafos
Desafios de Link Mining
Agenda
![Page 17: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/17.jpg)
Podem ser baseadas em:
Tarefas
Vértices Arestas Grafos
![Page 18: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/18.jpg)
Relacionadas a Vértices ou Objetos◦ Ranking de Objetos baseado em links
Tarefas
![Page 19: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/19.jpg)
Ordenar/priorizar os objetos de um grafo Em SNA, ordenação com base na
importância (ou centralidade) A definição da centralidade depende do
que é considerado “importante” para a aplicação
Centralidade:◦ Medição: Simples x Complexa◦ Uso ou não de informações adicionais◦ Foco global ou relativo
Ranking de Objetos baseado em links
![Page 20: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/20.jpg)
Tarefa exemplo:◦ Ordenar os amigos de uma pessoa em uma
rede social pela sua “importância”, para exibir informações sobre eles em um mural
Ranking de Objetos baseado em links
Exemplo:◦ Newsfeed do Facebook
Centralidade:◦ Interesses em comum,
relativamente à pessoa dona do mural, com informações extras disponíveis para análise
![Page 21: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/21.jpg)
Relacionadas a Vértices ou Objetos◦ Ranking de Objetos baseado em links◦ Classificação de Objetos baseada em links
Tarefas
![Page 22: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/22.jpg)
Classificar os vértices em categorias pré-definidas
Dois vértices relacionados tendem a apresentar correlação na classificação
Bons resultados com algoritmos de classificação coletiva
Classificação de Objetos baseada em links
![Page 23: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/23.jpg)
Tarefa exemplo:◦ Identificar indivíduos como parte de uma rede
terrorista com base em relações observadas
Classificação de Objetos baseada em links
Exemplo:◦ Análise da Al Qaeda
O que se procura:◦ Relações específicas
com outros membros da organização podem ser indícios de participação
![Page 24: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/24.jpg)
Relacionadas a Vértices ou Objetos◦ Ranking de Objetos baseado em links◦ Classificação de Objetos baseada em links◦ Detecção de grupos
Tarefas
![Page 25: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/25.jpg)
Identificar grupos (clusters) de vértices com características em comum
Em SNA, duas principais tarefas:◦ Identificar papéis◦ Identificar partições de grupos
Detecção de grupos
![Page 26: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/26.jpg)
Tarefa exemplo:◦ Identificar papéis em redes de microblogging
Detecção de grupos
Exemplo:◦ Análise do Twitter
O que se encontrou:◦ Um grupo seleto de
pessoas altamente conectados, com muitos seguidores
![Page 27: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/27.jpg)
Relacionadas a Vértices ou Objetos◦ Ranking de Objetos baseado em links◦ Classificação de Objetos baseada em links◦ Detecção de grupos
Relacionadas a Arestas ou Links◦ Predição de Links
Tarefas
![Page 28: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/28.jpg)
Predição de links:◦ Que não foram registrados◦ Que surgirão no futuro
A maioria dos grafos interessantes para essa aplicação são esparsos
Melhores resultados com modelos de inferência que englobam todo grafo
Alto custo -> métodos de aproximação
Predição de Links
![Page 29: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/29.jpg)
Tarefa exemplo:◦ Prever relações de amizade entre membros
de uma rede social
Predição de Links
Exemplo:◦ Friend Finder do
Facebook Busca:
◦ Relações existentes mas não observadas
![Page 30: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/30.jpg)
Tarefa exemplo:◦ Prever compra de novos produtos com base
no histórico de compras
Predição de Links
Exemplo:◦ Recomendações
do Amazon Busca:
◦ Relações ainda não existentes (nesse caso, de compra de produtos)
![Page 31: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/31.jpg)
Relacionadas a Vértices ou Objetos◦ Ranking de Objetos baseado em links◦ Classificação de Objetos baseada em links◦ Detecção de grupos
Relacionadas a Arestas ou Links◦ Predição de Links
Relacionadas a Grafos◦ Descoberta de Subgrafos
Tarefas
![Page 32: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/32.jpg)
Descobrir padrões interessantes e/ou comuns em um conjunto de grafos
Tipicamente, duas fases:◦ Geração de padrões candidatos◦ Busca desses candidatos no grafo
Outras abordagens costumam ser otimizações dessas ideia
Pode ser o primeiro passo para uma tarefa de classificação de grafos
Descoberta de Subgrafos
![Page 33: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/33.jpg)
Tarefa exemplo:◦ Encontrar padrões em um certo tipo de
relação humana, como relações românticas
Descoberta de Subgrafos
![Page 34: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/34.jpg)
Data Mining Link Mining
Tarefas◦ relacionadas a Vértices◦ relacionadas a Arestas◦ relacionadas a Grafos
Desafios de Link Mining
Agenda
![Page 35: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/35.jpg)
Crescente quantidade de dados representados como grafos
Necessidade de resolver tarefas mais complicas que essas apresentadas
Desafios de Link Mining
![Page 36: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/36.jpg)
Ex: Dinamismo das necessidades do usuário
Desafios de Link Mining
![Page 37: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/37.jpg)
Ex2: Grafos em constante mudança
Desafios de Link Mining
![Page 38: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/38.jpg)
Ex3: Combinar técnicas
Desafios de Link Mining
1
2
3
4
5
6
Clientes Produtos
![Page 39: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/39.jpg)
Ex3: Combinar técnicas
Desafios de Link Mining
1
2
3
4
5
6
Clientes Produtos
Detectar grupos
![Page 40: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/40.jpg)
Ex3: Combinar técnicas
Desafios de Link Mining
1
2
3
4
5
6
Clientes Produtos
Classificar Objetos
Idosos
Homens 18-26 anos
Mulheres 14-17 anos
![Page 41: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/41.jpg)
Ex3: Combinar técnicas
Desafios de Link Mining
1
2
3
4
5
6
Clientes Produtos
Previsão de links
Idosos
Homens 18-26 anos
Mulheres 14-17 anos
![Page 42: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/42.jpg)
Ex4: Análise de grafos gigantescos
Desafios de Link Mining
![Page 43: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/43.jpg)
Ex: Dinamismo das necessidades do usuário
Ex2: Grafos em constante mudança Ex3: Combinar técnicas Ex4: Análise de grafos gigantescos E muitos outros...
Desafios de Link Mining
![Page 44: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/44.jpg)
44
?Dúvidas
![Page 45: 1 Víctor Medeiros. Link Mining: A Survey Lise Getoor, Christopher P. Diehl, Link mining: a survey, ACM SIGKDD Explorations Newsletter, v.7 n.2, p.3-12,](https://reader036.vdocuments.us/reader036/viewer/2022062700/552fc130497959413d8d4688/html5/thumbnails/45.jpg)
45
Link MiningVíctor Medeiros