1Abstract— This paper proposes the use of Self-Organizing Maps (SOM) as a tool for exploratory data analysis related to the study of cognitive abilities, an important research area on Educational Psychology that, like other areas such Psychology and Behavioral Sciences uses inferential statistics techniques as a way of confirming the validity of researches. These statistical methods are fundamental for researchers, but they also have a well-documented set of limitations, such as issues related to difficulty in choosing the best methods of analysis, difficulty in interpreting the results, problems in hypotheses formulation, problems related to sampling, such as sample size, occurrence of non-random errors and the presence of outliers, which if not properly addressed generate deformations in the results to the point of classic authors in data analysis as John Tukey, Jacob Cohen and later the APA (American Psychology Association), began to recommend the use of exploratory analysis in a complementary way to Inferential Statistics. It is hoped to show that SOM can help educational researchers to provide better diagnoses related to students’ cognitive development, helping in the validation and normalization of cognitive tests.

Keywords— self-organizing maps, exploratory analysis,

cognitive abilities, silent reading.

I. INTRODUÇÃO

CAMPO de estudo das habilidades cognitivas considera como fator relevante para o desempenho acadêmico, a

estratégia de aprendizagem adotada pelos estudantes, incluindo as capacidades de auto-organização e controle durante o processo de aprendizado [1]. Estudos mostram que a capacidade de concentração diante do aprendizado de matemática e leitura, desde o início do aprendizado escolar, são indicadores eficientes do desempenho escolar, enquanto que outros fatores como o nível socioeconômico, gênero, aspectos sociais e emocionais não contribuem de forma significativa [2].

Em um estudo conduzido por Dias et al. [3], foram identificados padrões de correlação entre as estratégias de leitura, as habilidade de compreensão de leitura e audição e o desempenho acadêmico em função dos anos de escolaridade, ressaltando as habilidades que tendem a ser mais proeminentes ou cruciais para o desempenho acadêmico em diferentes níveis de ensino. Foram analisados os resultados obtidos pela aplicação de dois testes, o Teste de Competência de Leitura de Palavras e Pseudopalavras - TCLPP e o Teste Contrastivo de Compreensão Auditiva e de Leitura - TCCAL, capazes de medir o desenvolvimento da leitura, em especial, os aspectos

Johne M. Jarske, Universidade de São Paulo, São Paulo. E-mail: johne.jarske@usp.br Alessandra G. Seabra, Universidade Presbiteriana Mackenzie, São Paulo. E-mail: alessandra.seabra@mackenzie.br Leandro A. Silva, Universidade Presbiteriana Mackenzie, São Paulo. E-mail: leandroaugusto.silva@mackenzie.br Corresponding author: Johne Marcus Jarske

relacionados ao reconhecimento de palavras e leitura silenciosa.

Como é comum em pesquisas ligadas a área de ciências do comportamento, a exemplo do artigo supracitado, foram utilizados no estudo, técnicas de Inferência Estatística, em especial, a Análise de Variância (Analysis of Variance, ANOVA), Análise de Variância Multivariada (Multivariate Analysis of Variance, MANOVA), Correlação de Pearson (Pearson's Correlation) e o Teste de Bonferroni (Bonferroni Correction), para fundamentar a análise dos dados. Estes métodos estatísticos de análise são instrumentos importantes para o pesquisador, mas possuem um conjunto de limitações bem documentadas na literatura especializada, como a dificuldade na escolha dos métodos de análise adequados, problemas na formulação de hipóteses, dificuldade na interpretação dos resultados, bem como questões relacionadas ao tamanho da amostra, ocorrência de erros não aleatórios e presença de outliers, que se não endereçados de forma adequada, geram deformações no resultados das pesquisas.

Em 1996, a American Psychological Association (APA), organizou um comitê denominado Task Force on Statistical Inference - TFSI, com a missão de elucidar as questões controversas relacionadas à estatística, incluindo os testes de significância e suas alternativas. O trabalho deste comitê resultou no artigo Task Force on Statistical Inference, publicado em 1999 na revista American Psychologist [4], que entre outros itens recomenda o ceticismo diante dos dados, o uso de técnicas de análise exploratória como complemento às técnicas de inferência estatística, o uso de técnicas de análise gráfica, especialmente as técnicas de visualização presentes nos modernos softwares de estatística.

O presente artigo propõe revisar o estudo realizado por Dias et al, 2015 [3], por meio de técnicas de Análise Exploratória de Dados (Exploratory Data Analisys, EDA), utilizando os Mapas Auto-organizáveis (Self-organizing Maps, SOM) como ferramenta.

Justifica-se o uso da EDA por esta reunir um conjunto de ferramentas de visualização de dados, descoberta de padrões, formulação, desenvolvimento e refinamento de hipóteses, que não são possíveis de se obter pelas técnicas de estatística inferencial [5]. Ademais, este estudo está alinhado com a recomendação da APA, de combinar o uso de estatística inferencial com técnicas de visualização de dados.

Dentre as ferramentas de EDA, justifica-se a adoção do SOM devido aos potenciais benefícios que a ferramenta pode proporcionar, tais como: i) ser capaz de maximizar o conhecimento sobre dados com muitas dimensões (no caso, os diversos fatores que afetam a desempenho escolar), permitindo a visualização do espaço multidimensional num plano bidimensional [6]; ii) ser capaz de agrupar elementos com características semelhantes (quantização vetorial); iii) realizar a ordenação topológica dos dados (os elementos que possuem características semelhantes são exibidos próximos

O

Self-Organizing Maps Applied as Analysis Tool of Reading Cognitive Test

J. M. Jarske, A. G. Seabra and L. A. Silva

IEEE LATIN AMERICA TRANSACTIONS, VOL. 16, NO. 6, JUNE 2018 1817

entre si no plano dimensional e os dissemelhantes mais afastados) [6]; iv) proporcionar a visualização de variáveis pertencentes à base de dados mas que não foram submetidas ao algoritmo SOM, possibilitando visualizar a sua distribuição topológica; vi) ser capaz de identificar casos anômalos e outliers [7], para os quais ANOVA é extremamente sensível [8]; vii) proporcionar visualizações capazes de revelar novas hipóteses sobre o conjunto de dados e a relação entre suas múltiplas variáveis.

O SOM tem sido utilizado extensivamente como ferramenta analítica e de visualização em análise exploratória de dados, tendo sido empregado com sucesso em uma profusão de aplicações práticas que vão desde o controle de processos industriais e análises de finanças até o gerenciamento de grandes coleções de documentos [6]. Pretende-se, com este artigo, mostrar que as técnicas utilizadas em outras áreas do conhecimento podem ser empregadas na análise do resultado de testes destinados a avaliar desenvolvimento cognitivo, tendo potencial para tornar-se uma nova frente de pesquisa no uso dos Mapas Auto-Organizáveis.

As habilidades cognitivas, como as habilidades de leitura medidas pelo TCLPP, são comumente mensuradas por um conjunto de parâmetros (testes ou subtestes), cada qual capaz de medir determinados aspectos do desenvolvimento cognitivo e sua variação em função de atributos como a série escolar e a idade. Espera-se mostrar que o SOM pode ser particularmente útil ao exibir sob o mapa as relações internas entre esses parâmetros, bem como, suas relações com atributos externos não submetidos ao algoritmo.

Nas próximas sessões serão discutidos o uso de SOM como ferramenta de EDA, será apresentado o TCLPP como teste cognitivo capaz de medir o desempenho na leitura, a metodologia empregada no estudo, bem como os resultados obtidos. Por fim, na última sessão, serão feitas as considerações finais e sugestões de pesquisa.

II. O USO DE SOM COMO FERRAMENTA DE EDA

A análise de dados pode ser dividida em dois tipos: Análise

Confirmatória de Dados (Confirmatory Data Analisys, CDA) e Análise Exploratória de Dados (Exploratory Data Analisys, EDA), sendo que a primeira preocupa-se com experimentos, teste de significância, estimativas e predições enquanto que a segunda preocupa-se primariamente com a formulação de hipóteses [9].

O objetivo central da EDA é apresentar os dados de uma forma compreensível e que, ao mesmo tempo, preserve a essência da informação dos dados originais. O algoritmo SOM, atende aos objetivos da EDA, uma vez que une a projeção de dados multidimensionais complexos numa estrutura mais simples (normalmente bidimensional) [10].

Proposto por Teuvo Kohonen em 1982 [11], o SOM é um tipo de rede neural artificial interconectada e não supervisionada, que permite um mapeamento auto organizável do espaço de dados multidimensionais em um plano bidimensional. Originalmente o SOM foi pensado para resolver problemas envolvendo tarefas como agrupamento de dados, visualização e abstração, mas com o tempo, foram

sendo descobertas novas aplicações em diferentes áreas [12], [6].

O SOM pode ser utilizado para um estudo mais amplo da correlação entre as múltiplas variáveis existentes de um fenômeno, sem restrição prévia do número de variáveis a serem analisadas, devido a sua propriedade de mapear dados com elevado número de dimensões em um espaço dimensional menor, convertendo relações estatísticas não-lineares complexas em relações geométricas simples sobre um mapa de dimensões reduzidas, mantendo a relação topológica original, na medida em que a localização física dos dados no mapa mostra a similaridade relativa entre os mesmos no espaço multidimensional original [6], [13].

A arquitetura do SOM, exibida na Fig. 1, consiste numa organização em duas camadas: uma de camada de entrada onde o conjunto de dados de treinamento é submetido iterativamente ao algoritmo e uma camada de saída onde se encontram os nodos com os respectivos vetores de características que serão ajustados durante o treinamento. [14].

Figura 1: Arquitetura da rede SOM [15].

O treinamento da rede SOM consiste em submeter

iterativamente o conjunto de dados de entrada a um modelo de aprendizagem competitiva, na qual os neurônios disputam entre si a representatividade dos objetos do conjunto de treinamento, num processo que envolve a adaptação dos pesos da rede a partir dos estímulos fornecidos pelos dados de entrada. A cada iteração, um objeto do conjunto de treinamento é escolhido aleatoriamente, em seguida é calculada a distância de cada vector de peso de todos os neurônios do mapa. A menor distância indica o neurônio mais próximo, que tem seu peso atualizado com a maior intensidade. Os neurônios adjacentes também são sucessivamente atualizados com pesos de intensidade menores. No final do treinamento, cada neurônio representa um subconjunto de objetos usados no treinamento, que são semelhantes entre si, mas que também possuem características semelhantes com os neurônios mais próximos, ficando mais dissemelhantes para os neurônios mais distantes [14], [16].

No caso da representação bidimensional, o treinamento dos dados multidimensionais de entrada compõe uma matriz pré-definida, de x colunas e y linhas. Cada nodo da matriz é caracterizada pela sua posição {i, j} e pelo respectivo vetor de características (codebook vector) resultando numa estrutura denominada mapa de características (feature map), convencionalmente representado por um arranjo geométrico, geralmente quadrangular, de nodos interconectados [17], [18]. Na Fig. 1, o mapa de características é representado pelos nodos vermelhos da camada de saída.

Como exemplo de resultados, aplicações e interpretações do uso do SOM, a Fig. 2, apresenta um conjunto de quatro mapas

1818 IEEE LATIN AMERICA TRANSACTIONS, VOL. 16, NO. 6, JUNE 2018

resultantes do treinamento do SOM com os atributos idade, série e gênero de uma base de dados estudantil. Os mapas são formados por uma rede de quadrangular de nove nodos, sendo que cada nodo corresponde a um neurônio da rede neural.

Figura 2: Rede SOM treinada com informações sobre idade, série e gênero.

No mapa da Fig. 2-A, denominado vetor de características,

é plotado o vetor resultante do treinamento do SOM na forma de elementos circulares coloridos, cujos tamanhos indicam a importância das variáveis naquele nodo. Nos mapas B, C e D foram plotados, respectivamente, os valores dos atributos idade, série e gênero, nos respectivos nodos onde estes atributos estão representados. Pela análise dos mapas, é possível observar a ordenação topológica do espaço amostral da base de dados, onde os valores mais semelhantes foram dispostos próximos entre si enquanto os mais dissemelhantes ficaram mais afastados.

Por conta desta distribuição topológica, os valores mais altos para idade (nove e dez anos) e série escolar (4ª série) estão associados aos primeiros nodos da esquerda nas primeira e segunda linhas do mapa, sendo que no nodo da primeira linha concentram-se apenas os meninos (1) e no da segunda linha as meninas (2). Nos últimos nodos da direita, na segunda e terceira linhas, estão associados os menores valores para idade (seis e sete anos) e série (1ª série), sendo que no nodo da segunda linha concentram-se apenas os meninos (1) e no da segunda linha as meninas (2). Valores intermediários estão localizados nos demais nodos, os mais similares próximos entre si.

Existe uma aparente discrepância nos mapas da Fig. 2. Enquanto que na Fig. 2-A mostra o terceiro nodo à direita da linha dois aparentemente vazio e os mapas B, C e D mostram o nodo central como vazio. No caso da Fig. 2-A, o mapa exibe o valor do vetor de características em cada nodo e, devido as características da base de dados utilizada, os menores pesos de todos os atributos coincidem todos no mesmo nodo. No caso dos itens B, C e D da Fig. 2, o nodo central efetivamente não possui nenhum valor mapeado.

Na próxima seção, será apresentado o Teste de Competência de Leitura de Palavras e Pseudopalavras - TCLPP que será analisado neste artigo.

III. TESTE DE COMPETÊNCIA DE LEITURA DE

PALAVRAS E PSEUDOPALAVRAS O Teste de Competência de Leitura de Palavras e

Pseudopalavras - TCLPP, é um instrumento psicométrico e neuropsicológico cognitivo desenvolvido para avaliar a competência de leitura silenciosa de palavras isoladas e servir de coadjuvante para o diagnóstico diferencial de distúrbios de aquisição de leitura [19]. De acordo com [20], o TCLPP compreende 70 itens de teste, compostos por pares de figuras e palavras. Os pares podem ser de sete tipos: aceitação de

palavras corretas regulares (CR), Aceitação de palavras corretas irregulares (CI), Rejeição de palavras com incorreções ou trocas semânticas (TS), Rejeição de pseudopalavras com trocas visuais (TV), Rejeição de pseudopalavras com trocas fonológicas (TF), Rejeição de pseudopalavras homófonas (PH) e Rejeição de pseudopalavras estranhas (PE). A Figura 3, exemplifica cada um dos tipos de pares do teste.

Figura 3: Na ordem de apresentação, os tipos de itens: 1) palavra FADA sobre a figura de uma fada: palavras corretas regulares - CR; 2) palavra

BRUXA sobre a figura de uma bruxa: palavras corretas irregulares - CI; 3) palavra RÁDIO sobre a figura de um telefone: trocas semânticas - TS; 4) palavra TEIEUISÃO sobre a figura de uma televisão: trocas visuais - TV; 5) palavra MÁCHICO sobre a figura de um mágico: trocas fonológicas -

TF; 6) palavra TÁCSI sobre a figura de um táxi: pseudopalavras homófonas - PH; 7) palavra MELOCE sobre a figura de um palhaço:

pseudopalavras estranhas - PE [20].

Os itens do teste, contendo palavras corretas, regulares ou irregulares devem ser aceitas na realização do teste, enquanto os demais, contendo incorreções, trocas semânticas ou pseudopalavras devem ser rejeitadas pelo respondente. Cada tipo de teste pode ser lido sob as estratégias (estágios) de leitura logográfica, alfabética, ortográfica [20], [21].

A estratégia logográfica é o primeiro estágio do processo de aprendizado da leitura, no qual a criança aprende as propriedades gerais da palavra escrita com base no contexto, na forma e na cor, mas não atenta à composição precisa das letras que formam a palavra, exceto usualmente pela primeira letra. A criança trata as palavras escritas como se fossem desenhos e só consegue reconhecer palavras com as quais está bastante familiarizada, sendo incapaz de penetrar na composição grafêmica das palavras ou de ler palavras novas. De natureza icônica e ideográfica, esta estratégia de aprendizado está limitada ao reconhecimento do aspecto geral de palavras familiares [21].

A segunda estratégia, a alfabética, implica no conhecimento das correspondências entre letras e fonemas. Utiliza também processos de decodificação na leitura e de codificação na escrita. Com o recurso a esta estratégia, o leitor é capaz de converter o som em escrita e, assim, ler e escrever palavras novas e pseudopalavras. No entanto, a transição para esta fase tende a ser lenta pois, a decodificação de palavras grafofonemicamente irregulares tende a produzir erros de regularização fonológica e falhas de compreensão de leitura [20], [21].

Finalmente, a estratégia ortográfica, representa o terceiro estágio do processo de aprendizado da leitura, no qual a criança desenvolve a estratégia léxica, ou seja, fazem reconhecimento visual direto da forma ortográfica das palavras, e tornando-se capaz de ler palavras grafofonemicamente irregulares, não mais cometendo erros de regularização grafofonêmica (desde que as palavras a serem lidas sejam comuns e familiares) [21].

O padrão de distribuição dos tipos de erros revela a natureza específica do processamento cognitivo do examinando e indica as estratégias de leitura que ele consegue

JARSKE et al.: THE USE OF SELF-ORGANIZING MAPS 1819

usar e aquelas com as quais tem dificuldade, permitindo caracterizar a natureza particular da sua dificuldade de leitura. Desta forma, as respostas erradas em cada subteste podem revelar diferentes questões: i) CI: ausência ou dificuldade com o processamento lexical; ii) PH: dificuldade no processamento lexical, em nível mais acentuado, com uso exclusivo da rota fonológica; iii) TF: que o examinando está tentando ler exclusivamente pela rota fonológica. iv) TS: que o examinando não está fazendo acesso ao processamento léxico semântico. v) TV: dificuldade com o processamento fonológico e recurso à estratégia de leitura logográfica. vi) PE: podem indicar que o usuário está com sérios problemas de leitura ou de atenção. As relações intrínsecas entre sete tipos de pares de figura-palavras permitem fazer a checagem das conclusões e validação cruzada das evidências fornecidas [21].

A Tabela I apresenta cada um dos sete tipos de itens do teste, o critério de aceitação e a estratégia de leitura adotada.

TABELA I

A ESTRATÉGIA DE APRENDIZADO DOS SUBTESTES DO TCLPP

Subteste Aceitação Estratégia de leitura CR Sim Logográfica, alfabética ou ortográfica CI Sim Logográfica ou ortográfica TS Não Logográfica, alfabética ou ortográfica TV Não Alfabética e ortográfica TF Não Alfabética e ortográfica PH Não Ortográfica PE Não Logográfica, alfabética ou ortográfica

IV. MÉTODO

O presente artigo propõe o uso de EDA, mais

particularmente, a utilização do SOM, para a análise de dados resultantes da aplicação de testes voltados para avaliar o desenvolvimento cognitivos dos estudantes.

Tradicionalmente, estes dados são analisados com emprego de técnicas de análise estatística, como ANOVA, MANOVA, Coeficiente de Pearson, Teste de Bonferroni, cujas vantagens e limitações como técnicas de análise são, como indicadas na Seção I, bem conhecidas e documentadas na literatura.

Os dados utilizados foram coletados por pesquisadores ligados ao estudo da psicologia educacional, numa escola pública da área metropolitana da cidade de São Paulo, contendo 443 amostras envolvendo meninos e meninas entre 6 e 14 anos, matriculados entre a primeira e quarta série do ensino fundamental. Desta base de dados foram extraídos os sete atributos relacionados ao teste TCLPP, além de informações referentes a idade, série escolar e gênero das crianças envolvidas nos testes. Esta base de dados, é uma versão ampliada da base original utilizada no trabalho de Dias et al. [3].

Após seleção dos dados de interesse da pesquisa, a base de dados foi pré-processada, atendendo-se os mesmos critérios definidos por [3], tendo sido excluídos os dados relativos às crianças que não atendessem a determinados requisitos de idade e série-escolar. Os critérios adotados foram: i) 1ª série - crianças entre 6 e 7 anos; ii) 2ª série - crianças entre 7 e 8 anos; iii) 3ª série - crianças entre 8 e 9 anos; iv) 4ª série - crianças entre 9 e 10 anos. Amostras contendo dados

incompletos também foram removidos da base de conhecimento. Todos os atributos referentes ao teste TCLPP variam numa escala de valor entre 0 e 1, não tendo sido necessária a normalização dos valores.

A amostragem final resultou em um conjunto de dados contendo 338 crianças, sendo 160 meninos e 178 meninas, cursando entre a 1ª e 4ª séries do ensino fundamental, com idade entre 6 e 10 anos. Deste total, i) 87 estudantes, 38 meninos e 49 meninas da 1ª série; ii) 99 estudantes, 43 meninos e 56 meninas da 2ª série; iii) 67 estudantes, meninos e 30 meninas da 3ª série; iv) 85 estudantes, 42 meninos e 43 meninas da 4ª série.

Na próxima seção serão analisadas um conjunto de imagens resultantes do treinamento do SOM com os dados da base de conhecimento obtida, com o propósito de demonstrar as propriedades de visualização proporcionados pela ferramenta.

V. RESULTADOS EXPERIMENTAIS

Nesta seção serão apresentados e analisados um conjunto de mapas gerados pelo algoritmo SOM treinado com a base de dados descrita na Seção IV. Os mapas podem ser analisados de forma isolada ou combinada, mas é no uso combinado de duas ou mais visualizações que o SOM revela toda a sua potencialidade.

O mapa da Fig. 4 consiste na representação do vetor de características do SOM na forma de elementos circulares coloridos. Esta visualização permite observar o peso de cada atributo na composição de cada nodo e a consequente distribuição topológica dos elementos da base de dados sob o mapa. No caso do TCLPP Pode-se observar que o peso (representado pela área do elemento circular correspondente cada subteste), para os subtestes CR e CI são menores na parte superior esquerda do mapa e maiores na parte inferior e no lado direito do mapa. Já os pesos dos subtestes PE e TS, tendem a ser menores na parte inferior esquerda e maiores na parte superior direita do mapa.

Figura 4: Número de elementos da base de dados

mapeados dentro de cada nodo.

O mapa da Fig. 5 é um indicador de qualidade da rede SOM, que indica a quantidade de elementos mapeados dentro de cada nodo. Uma quantidade pequena de elementos, dentro

1820 IEEE LATIN AMERICA TRANSACTIONS, VOL. 16, NO. 6, JUNE 2018

de um mesmo nodo indica uma pequena quantidade de elementos similares entre si e, uma quantidade maior de elementos, por sua vez, indica uma quantidade maior de elementos similares entre si. Neste mapa é possível observar que os nodos do lado esquerdo do mapa, de cor predominantemente azul, possuem poucos elementos mapeados internamente e que os nodos do lado superior direito, de cor predominantemente verde, possuem uma quantidade maior de elementos.

Figura 5: Número de elementos da base de dados mapeados dentro de cada nodo.

Um item que pode ser inferido no mapa da Fig. 5, é que a

região superior direita do mapa possui vários nodos com grandes concentrações de elementos indicando ser uma região de alta similaridade, e que, no lado esquerdo e na metade inferior do mapa os nodos contêm, de forma geral, poucos elementos, indicando serem regiões de baixa similaridade. Esta análise, no entanto, precisa ser feita de forma cuidadosa, pois outros fatores podem afetar a concentração de elementos, como o tamanho da base de dados e a quantidade de nodos do mapa.

A Fig. 6 exibe um conjunto de mapas de calor, que permitem visualizar a distribuição topológica resultante do treinamento do SOM para cada atributo da base de dados onde os nodos contendo os menores valores de cada atributo são representados em azul marinho e os de maior valor maior valor, em vermelho. Por meio dos mapas de calor, é possível também, verificar a correlação entre os atributos da base de dados: quanto mais semelhantes são os mapas, maior é a correlação entre os atributos.

Os subtestes TS (trocas semânticas) e PE (palavras estranhas) podem ser lidos de forma eficiente utilizando-se as estratégias logográfica, alfabética ou ortográfica, o que explica a coloração predominantemente vermelha do mapa, indicando pontuações elevadas em todas as séries estudadas, com a exceção para parte dos estudantes pertencentes a 1ª série.

O subteste TF (trocas fonéticas) pode ser lido utilizando-se as estratégias alfabética e ortográfica. As regiões em azul, verde e amarelo, com pontuação mais baixa, correspondem as regiões onde estas estratégias ainda não foram plenamente desenvolvidas e as regiões em laranja e vermelho as regiões onde estas estratégias já estão desenvolvidas, permitindo uma maior pontuação no subteste.

Já o subteste PH (palavras homófonas) pode ser lido de forma eficiente apenas pelo uso da estratégia ortográfica, o

último estágio do processo de aprendizado da leitura, explicando a coloração predominantemente azul, verde e amarela do mapa, indicando pontuações relativamente baixas para o teste. As regiões com coloração vermelha e laranja, indicando pontuações mais alta, correspondem a alunos que já desenvolveram a estratégias ortográfica necessárias para acertar o teste.

Figura 6: Mapas de calor para cada um dos subtestes do TCLPP e mapa de características dos subtestes.

Em relação à correlação entre os atributos do TCLPP, é

possível observar que mapas correspondentes a CR e CI são parecidos, com as maiores pontuações na parte direita do mapa, indicando uma correlação alta. De fato, o coeficiente de correlação de Pearson entre os atributos é considerado alto (0,73). Já os mapas correspondentes a CI e PE são muito distintos, pois, os valores mais altos de PE estão distribuídos por todo o mapa, com exceções na parte esquerda inferior do mapa, o coeficiente de Pearson entre os dois atributos é considerado desprezível (0,19). Os demais valores de correlação de Pearson entre os atributos do TCLPP são exibidos na Tabela II.

O conjunto de mapas representados na Fig. 6 revelam um outlier no nodo inferior esquerdo do mapa (logo abaixo do

JARSKE et al.: THE USE OF SELF-ORGANIZING MAPS 1821

nodo cinza). Existe um único elemento (estudante) da base de dados associado a este nodo, e ele obteve pontuação máxima (1 - vermelho) para os subtestes CR e CI e nota mínima (0 - azul) para todos os demais, revelando que o estudante assinalou todas as respostas como verdadeiras. Vale ressaltar que, é esperado que os estudantes assinalem os subtestes CI e CR como verdadeiros e todos os demais como falsos.

TABELA II CORRELAÇÃO DE PEARSON ENTRE OS ATRIBUTOS DO TCLPP

Subtestes CI TS TV TF PH PE

CR 0.73 0.23 0.43 0.30 0.07 0.28 CI 0.17 0.42 0.35 0.14 0.19 TS 0.44 0.33 0.17 0.68 TV 0.60 0.29 0.56 TF 0.48 0.45 PH 0.26

O mapa de calor representado pela Fig. 7 representa o

TCLPP Total, um atributo não usado no treinamento, que consiste no somatório dos resultados de todos os subtestes realizados por cada estudante. É como se os subtestes da Fig. 6 fossem sobrepostos, uns aos outros, compondo o mapa de calor do TCLPP Total. No mapa, as menores pontuações do TCLPP Total encontram-se na parte esquerda e na parte inferior do mapa, e as maiores pontuações na parte superior direita do mapa.

Figura 7: Mapa de calor do TCLPP. Note que o TCLPP total

não participou do processo de treinamento do SOM.

A Fig. 8 apresenta a série escolar dos alunos representada sob o mapa em duas diferentes visualizações (a série escolar, assim como o TCLPP Total, não é um atributo participante do processo de treinamento do SOM). Na Fig. 8-A, a série escolar é impressa sobre o mapa e na Fig. 8-B, a série escolar predominante em cada nodo é destacada. Em ambas as visualizações, é possível observar que: i) os nodos pertencentes ao lado esquerdo do mapa estão preenchidos predominantemente por estudantes pertencentes à 1ª série escolar; ii) que a parte inferior direita do mapa estão preenchidos predominantemente por estudantes pertencentes à 2ª série escolar, e iii) os alunos da 3ª e 4ª séries preenchem predominantemente os nodos da parte superior direita do mapa.

Figura 8: Série escolar representada sob o mapa de características

A Fig. 8-A, assim como a Fig. 8-B mostram a quantidade

de elementos dentro de cada nodo, sendo que a primeira traz a informação adicional da série escolar referente a cada elemento da base de dados, sendo desta forma, possível observar que os elementos referentes a 1ª e 2ª séries estão muito mais dispersos no mapa, enquanto que os elementos correspondentes à 3ª e 4ª séries estão concentradas em poucos nodos, principalmente na parte superior direita do mapa. Estas diferenças indicam que existe uma grande dissimilaridade entre os resultados dos testes aplicados aos alunos da 1ª e 2ª séries e uma grande similaridade entre os resultados dos testes aplicados com os alunos da 3ª e 4ª séries. Comparando-se o percentual de alunos de cada série escolar na base de dados e o percentual de nodos em que a série é predominante no mapa da Fig. 8-B, verifica-se que: i) os alunos da 1ª série representam 25,7% do total de alunos, sendo a série predominante em 40% dos nodos do mapa; ii) os alunos da 2ª série representam 29,3% dos alunos, sendo a série predominante em 33% dos nodos; iii) os alunos da 3ª série representam 19,8% dos alunos, sendo a série predominante em 16% dos nodos; e iv) os alunos da 4 ª série representam 25,1% dos alunos e é a série predominante em 10% dos nodos. A Tabela III consolida estes dados.

TABELA III

ESTATÍSTICAS REFERENTES AO MAPEAMENTO DOS NODOS DO SOM COM A SÉRIE ESCOLAR DOS ALUNOS

Série Quantidade de elementos % de elementos % de nodos

1 87 25,7 40 2 99 29,3 33 3 67 19,8 16 4 85 25,1 10

1822 IEEE LATIN AMERICA TRANSACTIONS, VOL. 16, NO. 6, JUNE 2018

A interpretação que pode ser feita com base nestas análises é que, além da pontuação dos alunos da 1ª série serem, de forma geral, menores que as dos alunos das séries superiores, a variação entre as pontuações desses alunos também é maior, o que explica o fato de os alunos da 1ª série aparecerem como valor predominante em 40% dos nodos. Os alunos da 2ª série, por sua vez possuem uma pontuação geral maior que os alunos da 1ª série, mas menor que os da 3ª e 4ª séries, no entanto a variação da pontuação entre os alunos da segunda série é menor, o que explica o fato de serem predominantes em 33% dos nodos. O mesmo comportamento se observa em relação a 3ª e 4ª séries, só que neste caso, apesar da pontuação entre as crianças das 4ª séries serem maiores que os da 3ª, esta diferença é menos significativa, explicando o fato de estarem concentrados e misturados na porção superior direita do mapa. A diferença de pontuação entre os resultados individuais também é menor, o que explica a alta concentração de elementos dentro de um mesmo nodo e em nodos adjacentes. De forma geral o TCLPP distingue de forma eficiente os alunos da 1ª série, mas esta capacidade diminui à medida em que a série escolar aumenta.

As áreas com menor pontuação nos testes (tons de azul, verde e amarelo) tendem a ter maior variação nos resultados do que áreas de maior pontuação (tons de laranja e vermelho). É possível observar que os diferentes subtestes do TCLPP possuem capacidades distintas em diferenciar o desempenho dos estudantes entre as séries escolares.

Analisando-se a pontuação nos subtestes na Fig. 6 e comparando-as com a disposição da série escolar mostrada na Fig. 8-A ou na Fig. 8-B é possível observar que: i) O desempenho nos subtestes CR e TV é pior para os alunos da 1ª série; ii) o desempenho nos subtestes CI, TF e PH são piores para os alunos da 1ª e 2ª séries; iii) os subtestes TS e PE possuem pontuação alta distribuída por todo o mapa, podendo-se perceber apenas uma ligeira piora entre os alunos a 1ª série; iv) o subteste PH possui uma topologia bastante curiosa, onde é possível perceber uma piora na pontuação dos alunos da 2ª série em relação a 1ª série, que pode ser percebida pelos nodos em amarelo, laranja e vermelho na parte superior esquerda do mapa (uma região pertencente a 1ª série) e os nodos azuis na parte central inferior mapa, numa região com predominância de nodos pertencentes a 2ª série. De fato, analisando-se a média e a mediana para o subteste PH para os estudantes da 1ª série são respectivamente 0,555 e 0,6 e para a 2ª série são respectivamente 0,539 e 0,5.

As possíveis explicações para as diferentes distribuições topológicas dos subtestes na Fig. 6 estão nas estratégias de leitura adotadas por cada estudante na realização dos subtestes, consolidadas na Tabela I. Por exemplo, o desempenho pior dos estudantes da 1ª e 2ª série no teste CI pode estar na dificuldade dos alunos em utilizar a estratégia ortográfica, ainda pouco desenvolvida, de forma que eles resolvem o subteste predominantemente pela estratégia logográfica. Já o subteste PH, necessita da estratégia ortográfica para a leitura das palavras e como muitos alunos estão aprendendo a utilizar esta estratégia na 2ª série, a quantidade de erros acaba sendo maior que para os da 1ª

série, uma vez que os alunos ainda sentem dificuldade na aplicação da nova estratégia.

A pontuação do TCLPP não cresce de forma homogênea entre a 1ª série e a 4ª série. Existem alunos da 1ª série com pontuações próximas das pontuações das séries superiores, assim como existem alunos das séries superiores que se aproximam das pontuações típicas da 1ª e 2ª séries. Esta característica acaba gerando um mapa com uma distribuição curva, que aproxima os alunos de séries diferentes com pontuações similares, conforme indicado pela seta na Fig. 8-B. Desta forma, é possível perceber que os estudantes pertencentes a 1ª série aparecem predominantemente na parte esquerda do mapa, que os estudantes da 2ª aparecem predominante na parte inferior direita do mapa, e que a 3ª e 4ª séries aparecem no lado superior direito do mapa. No mapa da Fig. 7 é possível perceber ainda que os nodos próximos às regiões de fronteira possuem valores intermediários (verde e laranja claros) entre os valores de TCLPP típicos da 1ª série (predominantemente de tons verdes mais escuros) e os valores de TCLPP mais típicos da 3ª e 4ª séries (laranja escuro e vermelho).

VI. CONCLUSÃO

Este estudo identificou o uso potencial do SOM como

ferramenta de análise exploratória de dados em testes cognitivos como o TCLPP, tendo demonstrado a capacidade da ferramenta em visualizar aspectos obtidos por meio de análise estatística inferencial.

O presente artigo revisou, por meio de técnicas de Análise Exploratória de Dados, o estudo realizado por Dias et al [3], utilizando-se o mesmo conjunto de dados, tendo produzido visualizações capazes de reproduzir vários dos achados constantes no trabalho dos autores, estando também aderente a estudos anteriores relacionados ao TCLPP [19]–[21], particularmente no tocante a correlação entre os subtestes do TCLPP e a série escolar dos alunos.

O SOM mostrou-se particularmente útil como ferramenta de visualização das interações entre os atributos do TCLPP, tanto daqueles que participaram do processo de treinamento do algoritmo, quanto de atributos categóricos, que não participaram do treinamento, como a série escolar, identificando aspectos difíceis de serem inferidos tanto na análise direta dos dados brutos, quanto nos dados tratados estatisticamente.

É possível analisar a interação entre os atributos no mapa de características observando-se o mapa como um todo, olhando-se para regiões específicas do mapa (agrupamentos), ou ainda para nodos específicos, na busca por outliers. A comparação entre diferentes representações do mapa de características pode auxiliar na compreensão da relação entre os dados.

Uma possível aplicação do SOM está em apoiar o processo de normalização e validação de testes cognitivos como o TCLPP, para certificar-se de que os diferentes atributos conseguem mensurar as características desejadas, no espaço amostral definido (no caso do TCLPP, meninos e meninas entre a 1ª e 4ª séries e entre 6 e 10 anos).

Este artigo é resultado de um trabalho multidisciplinar que exigiu das áreas de pesquisa envolvidas, Computação e

JARSKE et al.: THE USE OF SELF-ORGANIZING MAPS 1823

Psicologia Cognitiva, um esforço conjunto de entendimento de conceitos e questões relacionados a cada área do conhecimento, e para facilitar este processo de aprendizado, optou por estudar, numa primeira fase, apenas o TCLPP. Recomenda, no entanto, que novos estudos sejam realizados, envolvendo outros testes cognitivos, bem como novas bases de dados, com o intuito de confirmar e aprimorar os achados do presente artigo.

Como sugestão de estudos futuros, propõe utilizar o SOM para explorar a interação entre diferentes tipos de testes relacionados a outras áreas do desenvolvimento cognitivo, além da leitura, como: raciocínio, matemática, linguagem oral, rotação mental, visomotricidade e funções executivas.

AGRADECIMENTOS

Agradecemos a CAPES pela bolsa de estudos do primeiro

autor durante a realização do Mestrado.

REFERÊNCIAS

[1] R. S. J. D. Baker and K. Yacef, “The State of Educational Data Mining in 2009 : A Review and Future Visions,” J. Educ. Data Min., vol. 1, no. 1, pp. 3–16, 2009.

[2] G. J. Duncan et al., “School readiness and later achievement.,” Dev. Psychol., vol. 43, no. 6, pp. 1428–1446, 2007.

[3] N. M. Dias, J. M. Montiel, and A. G. Seabra, “Development and interactions among academic performance, word recognition, listening, and reading comprehension,” Psicol. Reflexão e Crítica, vol. 28, no. 2, pp. 404–415, 2015.

[4] L. Wilkinson, “Statistical methods in psychology journals: Guidelines and explanations,” Am. Psychol. Assoc., vol. 54 (8), no. 8, pp. 594–604, 1999.

[5] J. T. Behrens, “Principles and procedures of exploratory data analysis.,” Psychol. Methods, vol. 2, no. 2, pp. 131–160, 1997.

[6] T. Kohonen, “Essentials of the self-organizing map,” Neural Networks, vol. 37, no. 2013, pp. 52–65, 2013.

[7] A. Muñoz and J. Muruzábal, “Self-organizing maps for outlier detection,” Neurocomputing, vol. 18, no. 1–3, pp. 33–60, 1998.

[8] M. Salibian-Barrera, S. Van Aelst, and V. J. Yohai, “Robust tests for linear regression models based on t-estimates,” Comput. Stat. Data Anal., vol. 93, pp. 436–455, 2016.

[9] I. J. Good, “The Philosophy of Exploratory Data Analysis,” Philos. Sci., vol. 50, no. 2, p. 283, 1983.

[10] S. Kaski and T. Kohonen, “Exploratory Data Analysis By The Self-Organizing Map: Structures Of Welfare And Poverty In The World,” Neural Networks Financ. Eng. Proc. Third Int. Conf. Neural Networks Cap. Mark., pp. 498–507, 1996.

[11] T. Kohonen, “Self-organized formation of topologically correct feature maps,” Biol. Cybern., vol. 43, no. 1, pp. 59–69, 1982.

[12] G. N. Andrade, L. A. Alves, C. E. R. F. Silva, and J. C. C. B. S. Mello, “Evaluating Electricity Distributors Efficiency Using Self-Organizing Map and Data Envelopment Analysis,” IEEE Lat. Am. Trans., vol. 12, no. 8, pp. 1464–1472, 2014.

[13] L. A. Alves and J. C. C. B. S. Mello, “Weights based clustering in data envelopment analysis using kohonen neural network: An application in Brazilian electrical sector,” IEEE Lat. Am. Trans., vol. 13, no. 1, pp. 188–194, 2015.

[14] L. J. Moreira and L. A. Silva, “Maps and Informative Nearest Neighbor,” Int. Jt. Conf. Neural Networks, pp. 706–713, 2016.

[15] L. A. Silva, S. M. Peres, and C. Boscarioli, Introdução a Mineração de Dados Com Aplicações em R, 1st ed. São Paulo: Elsevier, 2016.

[16] G. Canabes and Y. Bennani, “Learning the number of clusters in Self Organizing Map,” Self-Organizing Maps, pp. 15–29, 2010.

[17] T. S. Tabrizi, M. R. Khoie, E. Sahebkar, S. Rahimi, and N. Marhamati, “Towards a Patient Satisfaction Based Hospital Recommendation System,” Int. Jt. Conf. Neural Networks, pp. 131–138, 2016.

[18] P. Stefanovič and O. Kurasova, “Visual analysis of self-organizing maps,” Nonlinear Anal. Model. Control, vol. 16, no. 4, pp. 488–504,

2011. [19] F. C. . Capovilla and A. G. Seabra, Teste de Competência de: Leitura

de Palavras e Pseudopalavras (Manual). MEMNON, 2010. [20] N. M. Dias and A. G. Seabra, “Instrumentos de avaliação de

componentes da leitura : investigação de seus parâmetros psicométricos,” Aval. psicol. [online], vol. 13, no. 11, pp. 235–245, 2014.

[21] F. C. Capovilla, C. Varanda, and A. G. S. Capovilla, “Teste de Competência de Leitura de Palavras e Pseudopalavras: normatização e validação,” Psic Rev. da Vetor Ed., vol. 7, no. 2, pp. 47–59, 2006.

Johne M. Jarske possui graduação em Ciências da Computação pela Universidade Federal da Bahia (1997), pós-graduação em Engenharia de Software pela Fundação Politécnica da Universidade de São Paulo (2005), mestrado em Engenharia Elétrica e Computação pela Universidade Presbiteriana Mackenzie e atualmente faz doutorado em Engenharia da Computação pela

Universidade de São Paulo. É docente na FATEC (Faculdade de Tecnologia de Cotia). Possui larga experiência corporativa na área de TI trabalhando com segurança da informação, desenvolvimento de software, banco de dados, Data Warehouse, qualidade de software, arquitetura de sistemas e gestão pessoas e ativos de TI.

Alessandra G. Seabra possui graduação em Psicologia pela Universidade de São Paulo (1995), mestrado em Psicologia (Psicologia Experimental) pela Universidade de São Paulo (1997), doutorado (2000) e pós-doutorado (2001) em Psicologia (Psicologia Experimental) pela Universidade de São Paulo. Atualmente é professora do Programa de Pós-Graduação em Distúrbios do

Desenvolvimento da Universidade Presbiteriana Mackenzie. Coordena o Grupo de Neuropsicologia Infantil. É membro da diretoria do IBNeC-Instituto Brasileiro de Neuropsicologia e Comportamento (como vice-presidente), da diretoria do IBAP-Instituto Brasileiro da Avaliação Psicológica (como presidente passado) e da diretoria da ABECiPsi (como presidente). É editora do periódico Cadernos de Pós-Graduação em Distúrbios do Desenvolvimento e Editorial Area Supervisor do periódico Arquivos de Neuropsiquiatria. Tem experiência na área de Psicologia, com ênfase em Fundamentos e Medidas da Psicologia e Neuropsicologia Cognitiva, atuando principalmente nos seguintes temas: leitura, escrita, funções executivas, consciência fonológica, alfabetização, instrumentos de avaliação e intervenção precoce.

Leandro A. Silva é Engenheiro Elétrico da Computação pela Faculdade de Engenharia Industrial, Mestre e Doutor pela Escola Politécnica da USP. Tem experiência nas áreas de Engenharia Elétrica, Ciência da Computação e Sistemas de Informação, atuando principalmente nos seguintes temas de pesquisa: redes neurais, processamento digital de imagens, análise de imagens, mineração de dados, reconhecimento de padrões e banco de dados.

Atualmente é Professor na Faculdade de Computação e Informática da Universidade Presbiteriana Mackenzie, lecionando na graduação dos cursos de Sistemas de Informação e Ciência da Computação disciplinas relacionadas à Processamento de Imagens, Banco de Dados e Mineração de Dados e na pós-graduação stricto-sensu do Programa da Engenharia Elétrica desta mesma instituição de ensino, disciplinas relacionadas a Redes Neurais Artificiais e Big Data. Nesta instituição ainda, também participa de Comissões de Ensino e Núcleos Temáticos. Como atividades de pesquisa, ele também tem participado como revisor técnico de conferências nacionais e internacionais na área de Inteligência Computacional e tem prestado serviços como revisor técnico de revistas especializadas. Por fim, ele tem publicado regulamente artigos científicos nos principais congressos nacionais e internacionais de sua área de pesquisa, bem como em revistas da área.

1824 IEEE LATIN AMERICA TRANSACTIONS, VOL. 16, NO. 6, JUNE 2018