Anlise de redes sociaispara Inteligncia Competitiva

usando Gephi

Clio Faria Jr. celiojunior.com.brarte Jen Stark jenstark.com

insights aprenda a viver com a complexidade Gke Sargut & Rita McGrath hbrpr-leitura the network takeover Albert-Lazl Barabsi barabasilab.com

pr-leitura data is the new gold Neelie Kroes european digital agenda

Este trabalho publicado sob a licena Creative Commons - Atribuio - CompartilhaIgual 3.0 No Adaptada. Todas as marcas registradas e nomes comerciais citados so de propriedade de seus respectivos detentores.

Quando o mundo imprevisvel, o melhor investimento pode ser aquele que minimiza a

importncia de projees.

Gke SargutRita McGrath

burst | jen stark

Structural diversity in social contagion (UGANDER et al. 2012)

Structural diversity in social contagion (UGANDER et al. 2012)

objetivo e roteiro

Explorar as capacidades do Gephi por meio da anlise das mtricas de grupos da rede social Facebook visando alcanar metas SMART* (BUDAN, 2010 apud DORAN, 1981).

i. Conceituao e anlise de redes sociais

ii. Facebook/Netvizz/Graph API

iii. Gephi

iv. Anlise de uma rede ego Facebook

v. Inteligncia competitiva: anlise de grupos Facebook* Especfica, Mensurvel, Atingvel, Realista, Tangvel

over and out | jen stark

Somos tolhidos por limites cognitivos: a maioria dos

executivos se acha capaz de absorver mais informao do

que estudos sugerem ser possvel.

Gke SargutRita McGrath

convergncia

grafos

representam objetos e seus relacionamentos

os objetos so representados por pontos, chamados vrtices ou ns

as linhas conectoras dos objetos, representando qualquer tipo de conexo entre eles, so chamadas de arestas

podem ser direcionados (com sentido) e/ou ponderados (com pesos nas arestas)

estrutura lgica que demonstra como estes elementos se relacionam

grafo no direcionado

grafo direcionado

1

3,5

6

5

16

8

cincia de redes

A cincia de redes pode ser descrita como o estudo disciplinado das redes, sejam de pessoas, influncia ou tecnologia. Embora este seja um campo relativamente novo, suas razes so do sculo XVIII, quando a matemtica discreta evoluiu para o que veio a ser conhecido como teoria dos grafos. A teoria dos grafos foi usada pela primeira vez para descrever as propriedades de conexes fsicas e vias -- o que hoje chamamos de redes.Leader Profile: The Burgeoning Field of Network Science (PATTERSON, 2008)Network Theory: The Basics (OWEN-SMITH, 2012)

anlise de redes

preocupa-se com a a formulao e soluo de problemas que possuem uma estrutura de rede, usualmente representada por um grafo

focada nas relaes entre os atores, no nos prprios atores e seus atributos

os atores no so (geralmente) amostrados de maneira independente, como em muitos tipos de estudos, e.g. enquetes

Network Theory: The Basics (OWEN-SMITH, 2012)

redes sociais

Uma rede social uma estrutura social composta por um conjunto de atores (e.g. indivduos ou organizaes) e as ligaes didicas entre eles (e.g. relacionamentos, conexes ou interaes).Social Network Analysis in the Social and Behavioral Sciences (WASSERMAN; FAUST, 1994)On Network Theory (BORGATTI, 2011)

stios de redes sociaisStios de redes sociais so servios baseados na web que permitem:

construir um perfil pblico ou semi-pblico em um ambiente controlado

articular uma lista de outros usurios com os quais desejam compartilhar uma conexo

visualizar e navegar neste sistema por sua lista de conexes e as conexes feitas por outros.

A natureza e a nomenclatura destas conexes variam de stio para stio.

Social Network Sites: Definition, History, and Scholarship (BOYD; ELLISON, 2007)

anlise de redes sociais

tem origem nas cincias sociais e nas teorias de redes e de grafos enxergar as relaes sociais pela teoria de redes

ns e relacionamentos entre eles (conexes, arestas, links, ligaes) ns representam atores e relacionamentos as conexes entre eles rede ego: focada em "um n e um passo" (one-step neighborhood)

primeiros estudos: sc. XVIII (mile Durkheim e Ferdinand Tnnies) Harvard University Department of Social Relations:

Mark Granovetter: The Strength of Weak Ties (GRANOVETTER, 1973) Stanley Milgram: (seis graus de separao)

An Experimental Study of the Small World Problem (MILGRAM, 1969) The Small World Problem (KLEINBERG, 2002) Six Degrees of Separation (BARABSI, 2002)

anlise de redes sociais (cont.)

falhas estruturais geram oportunidades, valor, inovaes e ideias: Structural Holes and Good Ideas (BURT, 2004)

Brokerage and Closure: An Introduction to Social Capital (BURT, 2007)

Structural Holes, Technological Resources, and Innovation: a longitudinal study of an interfirm R&D network (FRANKFORT, 2007)

teoria do capital social, para definir e medir o valor que um indivduo obtm da sua rede: Social Capital: Implications for Development Theory, Research, and Policy (WOOLCOCK; NARAYAN, 2000)

anlise de redes sociais (cont.)

Capital social(WOOLCOCK; NARAYAN,

2000)

Falhas estruturais(BURT, 2004)

tipos de rede e suas mtricas

redes direcionadas e no direcionadas ponderadas e no ponderadas

mtricas grau: densidade de ligaes de entrada e sada centralidade

intermediao (betweeness) proximidade (closeness) autovetor (eigenvector)

autoridade (KLEINBERG, 1998): existncia de dois tipos de ns autoridades: ns que possuem relevncia e popularidade hubs: ns que referenciam vrias autoridades e as "unem"

modularidade (BLONDEL et al., 2008): estabelece regras para a diviso da rede em comunidades (cliques)

tipos de rede e suas mtricas

centralidade de proximidade: um ator to mais central quanto menor o caminho que ele precisa percorrer para para alcanar os outros elos da rede. Mede sua independncia em relao ao controle de outros.

centralidade de intermediao: a medida do potencial de um ator de servir como intermedirio, ou seja, quanto um ator facilita o fluxo de informao em uma rede. Quanto mais vezes um n for encontrado no menor caminho entre dois ns randmicos, maior ser a sua centralidade de intermediao.

centralidade de autovetor: encontra os atores mais centrais (localizados mais prximos dos demais) considerando-se toda a estrutura da rede (Google PageRank)

autoridade: Hubs e autoridades so uma extenso natural da centralidade de autovetor.So calculados dois escores para cada ator, hub e autoridade, sendo que um ator com alto hub aponta para muitas boas autoridades e um ator com alta autoridade recebe ligaes de muitos bons hubs.

Introduction to Social Network Methods (HANNEMAN, 2005); Authoritative Sources in a Hyperlinked Environment (KLEINBERG, 1999)

redes livres de escala (scale-free)

Uma rede livre de escala aquela cuja distribuio de grau segue uma lei de potncia (ao menos assintoticamente), ou seja, a frao P(k) dos ns da rede que possuem k conexes para outros ns quando k grande

(BARABSI, 2003)

Nmero de conexesNm

ero

de N

s c

om

k co

nex

es P

(k)

HUBS

redes livres de escala (scale-free)

Redes que contm esses importantes ns, chamados hubs, tendem a ser o que chamamos de "livres de escala", no sentido de que alguns desses ns tem um nmero de ligaes aparentemente ilimitado e nenhum n tpico em relao aos outros.Estas redes tambm se comportam de certas maneiras previsveis: so notavelmente resistentes a falhas acidentais mas extremamente vulnerveis a ataques coordenados.Estas descobertas mudaram dramaticamente o que pensvamos que sabamos sobre o mundo complexo e interconectado que nos rodeia. Os hubs, inexplicveis luz das antigas teorias de rede, oferecem provas convincentes de que vrios sistemas complexos possuem uma arquitetura rigorosa, regida por leis fundamentais -- leis que parecem se aplicar iguamente a clulas, computadores, linguagens e sociedades. (BARABSI, 2003)

rede randmica

redes livres de escala (scale-free)

Scale-free networks (BARABSI, 2003) Scale-free networks: a decade and beyond (BARABSI, 2009) conceito oposto ao de redes randmicas apresentam hubs modularidade acima de 0,4 (Gephi) processos orgnicos e naturais ocorrem em mltiplos domnios sujeita a ataques aos hubs exemplo de gerao pelo Gephi

redes mundo pequeno (small-world)seis graus de separao Frigyes Karinthy e Stanley Milgram

os ns em uma rede de mundo pequeno normalmente no so vizinhos, mas podem ser alcanados de qualquer outro n em um pequeno nmero de passos.

a distncia L entre dois ns escolhidos aleatoriamente (ou seja, o nmero de

passos necessrios para se alcanar um n a partir do outro) cresce com o logaritmo do nmero de ns N da rede

o fato de uma rede ser livre de escala um

indicativode que sua natureza de

mundo pequeno

Porqu deveramos estar interessados em visualizao? Porque o sistema visual humano um descobridor de padres de enorme poder e sutileza.

O olho e o crtex visual do crebro formam um processador massivamente paralelizado que prov o canal de banda mais larga at os centros cognitivos humanos. Em altos nveis de processamento, a percepo e a cognio esto intimamente relacionadas, o que a razo pela qual as palavras "entender" e "ver" so sinnimas.

Colin Ware, apud Ben Fry

how to become a millionaire in 100 days | jen stark

cadeia de processamento no lineardesign de informao computacional Ben Fry

Computational Information Design (FRY, 2004)Infoviz, ManyEyes, datavisualization.ch

Facebook/Netvizz

Facebook 901 milhes de usurios (quase o triplo da populao dos EUA, seria

o terceiro pas mais populoso do mundo, aps China e ndia)

comprou 750 patentes da IBM em 2012, superou em 2012 pela primeira vez o Google em pesquisas em um fim de semana

82% dos usurios adicionam amigos porque os conhecem na vida real

estatsticas brasileiras (SOCIALBAKERS, 2012)

Netvizz aplicativo Facebook para exportao de redes ego e grupos no

formato GUESS (.gdf) utilizando a Graph API (FQL, JSON)

necessita, como todo aplicativo, da permisso do dono da conta

marcas de mdias sociais mais valiosas de 2012

(HWZ, 2012)

Facebook

Why Is Facebook So Successful? Psychophysiological Measures Describe a Core Flow State While Using Facebook (MAURI et al., 2012)

Psiclogos definem "fluxo" [flow] como "estar desafiado pelo que voc est fazendo no momento, mas tambm bastante excitado e apreciando a experincia". Outros, indo alm, dizem que o fluxo um sinal biolgico que diz sua mente para "catalogar" a experincia e repeti-la. O estado de "fluxo nuclear" [core flow] estar focado e com desempenho mximo, experimentando subjetivamente uma alta qualidade de vida.

The Facebook flow (WELL-BEING, 2012)

Facebook nirvana

(MAURI et al., 2012)

(LANG, 1995 apud MAURI et al., 2012)

Um sistema complexo [...] possui aspectos que podem

operar de forma padronizada, mas cuja

interao est constantemente mudando.

Gke SargutRita McGrath

technicolor prism | jen stark

sobre

Gephi uma plataforma grtis e livre de visualizao e explorao interativa para grafos dinmicos e hierrquicos e todos os tipos de redes e sistemas complexos.

Gephi Foundation Conexo acadmica Perenidade Comunidade GSOC Roadmap (0.8.1 beta)

Plataforma Netbeans / Java Windows/Linux/Mac Interface ergonmica (br) Plugins

"Photoshop para grafos"

The Noise Cluster Model (CME; DIEMERT, 2010)

gephi para apreciadores The egyptian revolution on Twitter

Gephi < Graph Streaming Plugin < Python Server < Twitter The HTTP Graph plugin Introducing Gephi 0.7

Gephi | rea de trabalho

Gephi | formatos de arquivo suportados (GEPHI, 2012)

radial reverie | jen stark

Uma dificuldade significativa deste tipo de problema [grande

quantidade de dados] descobrir, tendo um conjunto de dados, como recolher informao significativa dele. Para a maioria,

este processo totalmente opaco.

Ben Fry

layouts

force-directed Fruchterman-Rheingoldt (partculas de massa) Force Atlas (derivado do FR) Force Atlas 2 OpenOrd Yifan Hu Yifan Hu multinvel (graph coarsening)

estruturais circular radial axis noverlap

prtica 1 | definindo a meta

"Para encontrar um emprego, no se leva em conta o que voc conhece e sim quem voc conhece"

meta SMART: encontrar os cinco melhores candidatos para enviar seu currculo a fim de obter um emprego que oferea um salrio melhor do que o que voc atualmente ganha utilizando sua rede Facebook obtida pelo Netvizz e traada pelo Gephi em uma hora

soluo reducionista ambiciosa: vamos procurar entre os amigos mais prximos! estaro mais dispostos a nos ajudar sero mais fceis de abordar faro recomendaes melhores

prtica 1 | Gephi

acessar e autorizar Netviz baixar arquivo GDF abrir Gephi traar rede mtricas bsicas e modularidade layout pr-visualizao

prtica 1 | melhorando a teoria 1 conexes sociais fracas Granovetter

The Strength of Weak Ties (GRANOVETTER, 1973)

Getting a job: weak social ties and on-line connections (WRIGHT, 2008)

se voc quer encontrar um emprego melhor do que o seu, procure entre suas conexes sociais fracas (weak ties): pessoas conhecidas com quem convivemos esporadicamente

a possibilidade de se encontrar um emprego melhor devido ao fato de que suas conexes fortes geralmente so pessoas... parecidas com voc!

prtica 1 | Gephi

realizar algoritmo HITS e verificar laboratrio de dados traar classificao por Strongly-Connected ID rever possibilidades: anlise visual

ATENO!!!

prtica 1 | melhorando a teoria 2

Os dados da rede Facebook/Netvizz so direcionados ou no direcionados?

Se considerarmos a rede como direcionada, como deveria ser definido o direcionamento: quem seria o n de origem? o solicitante? quem confirmou a

solicitao ? caso a caso? o Netvizz representa estes dados de maneira correta?

Que opo devemos considerar?

prtica 1 | melhorando a teoria 3 centralidade de intermediao, sobreposio e imerso e intensidade declarativa Centralidade de intermediao

Social Network Analysis (KUTCHAR, 2012) Neighborhood Overlap: o quanto as redes se intersecta, ou seja, como a

rede se comporta em relao s falhas estruturais

Neighborhood Embeddedness: comoos ns esto imersos na rede, ou seja, a medida de como as ligaes so fortes

Declarative intensity (Netvizz): mede o quanto o ator participativo

Que tal mais de um parmetro? Laboratrio de dados!

prtica 1 | Gephi

realizar modularidade rever possibilidades: anlise visual

inteligncia competitiva

"Informao analisada que fornece insights e vantagem competitiva" (FULD, 2007) A casa dos espelhos da Internet

"Um programa sistemtico para obter e analisar informaes sobre as atividades de seus competidores e as tendncias do negcio para promover as metas de sua prpria empresa" (KAHANER, 1997) Antecipar mudanas de mercado, aes de competidores, descobrir

competidores novos e/ou potenciais, aprender sobre novas tecnologias, produtos e processos que afetam seu negcio

Internet -- em 1997!

tica, fontes pblicas, estratgia

prtica 2 | definindo a meta

meta SMART: avaliar qualitativamente, em relao s mtricas de redes sociais, qual das redes Facebook de dois grupos de ex-alunos de universidades, qual apresenta maior possibilidade de suportar aes de marketing de um produto educacional, utilizando o Netviz e o Gephi em uma hora

abordagem reducionista ambiciosa: considerar apenas o nmero de participantes muito simples de calcular e explicar pouco custosa permite comparao direta aparncia de credibilidade

prtica 2 | Gephi

acessar e autorizar Netvizz baixar arquivos GDF dos grupos abrir Gephi traar mtricas bsicas modularidade layout pr-visualizao

prtica 2 | melhorando a teoria 1 |intermediao Fernandez and Gould

Structures of Mediation: a formal approach to brokerage in transaction networks (FERNANDEZ; GOULD, 1989)

On And Off The Beaten Path: How Individuals Broker Knowledge Through Formal And Informal Networks (AALBERS; KOPPIUS; DOLFSMA, 2006)

cinco tipos de intermediao (brokerage) coordenador porteiro representante consultor conector

prtica 2 | melhorando a teoria 2

Structures of Mediation: A Formal Approach to Brokerage in Transaction Networks (FERNANDEZ; GOULD, 1989)

Coordenadores Porteiros Representantes Consultores Conectores

prtica 2 | melhorando a teoria 2

Coordenadores so conhecidos por uns e conhecem outros de seu mesmo grupo, que no se conhecem mutuamente: este papel til para aumentar (ou no) a conscincia recproca do grupo, j que atores nesta posio podem permitir (ou impedir) a circulao da informao no grupo

Representantes recebem e enviam conexes de dentro de seu prprio grupo, enviando conexes apenas para atores localizados fora dele. Podem permitir (ou impedir) que atores de um grupo sejam conhecidos pelos dos grupos exteriores

Porteiros recebem somente ligaes de grupos exteriores, o que significa que podem favorecer (ou controlar) a circulao das informaes em seu grupo

Consultores enviam e recebem conexes para atores de um grupo diferente do que aquele no qual esto includos e podem, portanto, aumentar ou diminuir a coeso entre outros grupos

Conectores enviam e recebem conexes de atores de dois grupos diferentes do seu prprio, o que lhes permite aumentar ou diminuir a coeso da rede como um todo

prtica 2 | melhorando a teoria 2 considerando redes no direcionadas

Coordenadores Porteiros Representantes Consultores Conectores

Academic Inventors as Brokers (LISSONI, 2008)

prtica 2 | Gephi

realizar algoritmo HITS realizar modularidade verificar laboratrio de dados traar classificao por modularidade rever possibilidades: anlise visual

prtica 2 | melhorando a teoria 3

Paradoxo de Nadel: no possvel levar em conta simultaneamente as dimenses culturais e relacionais das estruturas sociais. Beyond Nadel's Paradox. A computational approach to structural

and cultural dimensions of social cohesion (LOZANO et al., 2008)

Cuidado com a abordagem estritamente estrutural: brokerage is a process not a structure; repeat after me: brokerage is a process not a (LIZARDO, 2008)

Abordagem evolucionria: Brokerage vs. cohesion and collaborative creativity: an evolutionary resolution (MINGO; CHEN, 2005)

outras possibilidades

Pesquisa-ao: uma introduo metodolgica (TRIPP, 2005): explorao das mtricas de rede e das estruturas formadas por diferentes configuraes de dados

The 6 Factors of Social Media Influence (WU, 2010)

Juno de redes ego: colaborar com os amigos!

Anlise dinmica (temporal): suportada pelo Gephi

sunken sediment | jen stark

A ideia fornecer toda a informao para ajudar os outros a julgar o valor da sua contribuio e no

apenas aquelas que conduzem o julgamento em uma determinada direo.

Richard Feynman

celiojunior.com.brceliofariajr@gmail.com