abstract

Lansarea Scopus și Google Scholar, iar evoluțiile metodologice în analiza Comunitate si voi mai mulți indicatori pentru evaluarea reviste disponibile decât factorul tradițional Impact, citată Half-life, și directă Indicele de ISI. În acest studiu, aceste noi indicatori sunt comparate între ele și cu cele mai mari. Nu diferiți indicatori măsoară noi dimensiuni ale rețelelor de citare, sau sunt puternic corelate între ele? Sunt robust și relativ stabile în timp? Două dimensiuni principale sunt disting-size și impact care forma împreună influență.H-index combină două dimensiuni și poate fi considerată ca un indicator de a ajunge (cum ar fi Indegree). PageRank este în principal un indicator de mărime, dar are interacțiuni importante cu măsuri de centralitate.Clasamentul Scimago Journal (SJR) indicator oferă o alternativă la factor de impact Journal, dar calculul poate fi mai dificil.

Cuvinte cheie: impact, H-index, jurnal, citare, centralitate, clasament

introducere

Intr-un articol seminal despre analiză citare ca un instrument de evaluare în jurnal, Garfield (1972, p 476;. Garfield & Sher, 1963) a susținut factorul de impact Journal, în scopul de a normaliza pentru relația de așteptat, dintre dimensiunea și frecvența citare. Pe baza unui eșantion de Science Citation Index 1969, el a ajuns la concluzia că 21-25 la sută din toate trimiterile citează articolele care sunt mai puțin de trei vechi (Martyn & Gilchrist, 1968), și, prin urmare, s-ar putea defini factorul Jurnalul impactului ca numărul mediu de citări dintr-un anumit an de citable articolele din cei doi ani precedenți. După cum este bine cunoscut, acest lucru a devenit factorul de impact Jurnal în utilizarea de către ISI (Thomson Reuters) și într-un număr mare de studii de evaluare.

În studiile ulterioare, ISI (Garfield, 1990, 1998) a experimentat cu ferestre de timp de cinci și chiar cincisprezece ani. Factorul de impact a fost oficializată în continuare și generalizat de Frandsen & Rousseau (2005) și prin Nicolaisen & Frandsen (2008). Cu toate acestea, într-o scrisoare Editor de procesare de informare și Management, Garfield (1986) a susținut pe fond împotriva utilizării factorilor de impact de cinci ani: nu trebuie să confundăm impact cu influență (Bensman, 2007). Factorul de impact nu măsoară impactul sau influența un jurnal, dar de un element medie publicat în acea revistă (Harter & Nisonger, 1997). Cu alte cuvinte, s-ar putea implica o "eroare ecologică" deduce din calitatea medie a arborilor la calitatea pădure ca un întreg (Robertson, 1950; Kreft & De Leeuw, 1988).

În cazul reviste, dimensiunea revistei joacă de asemenea un rol, sau cum adaugă Garfield: ". Dar ar trebui să fie evident că influența este o combinație de impact și productivitate" (Ibid., P 445).. Spre deosebire de impactul media, productivitate poate fi indicată prin numărul total de documente și / sau numărul total de citări, publicații, etc. Garfield (1979: 149) a adăugat că de câte ori un jurnal citează articole publicate ea, sau este citat de aceste articole, prevede un alt indicator ("auto-citări").

În plus față de o defalcare a citărilor de an (pentru ultimii zece ani), revista Citari Rapoartele de la Institutul de informatii stiintifice (Thomson Reuters-ISI) oferă o serie de alți indici. Cel mai relevant în acest context, deoarece pe baza de citare-au Index Imediata apropiere și Citată Half-viață reviste. Indicele Imediata apropiere oferă numărul de citări un element obține în anul de publicare în sine.Citat de înjumătățire a unui jurnal este vârsta medie a articolelor

sale citate în actuala anul JCR. Cu alte cuvinte, jumătate din citatele la revista sunt articolele publicate în perioada de înjumătățire citată.

Într-un studiu de validare a acestor indicatori cu datele de utilizare, Bensman (1996; Bensman & Wilder, 1998) a concluzionat că numărul total de citări corelează mult mai bine cu importanța percepută a unui jurnal decât cu impactul său astfel cum sunt definite de către JCR. În acest din urmă caz, corelația cu (LSU) Facultatea de Evaluare și (UI) Biblioteca de utilizare a fost de 0,36 și 0,37, respectiv, în timp ce corelațiile Raport CITES cu aceste date de utilizare a variat între 0,67 și 0,82. El a propus să folosească "Raport CITES", ca un indicator important pentru evaluarea jurnal pentru că "mărimea contează" în percepția umană. În proba său de 129 de reviste de chimie, corelația dintre Raport CITES și factorii de impact a fost semnificativă, dar numai 0,43. Leydesdorff (2007a: 28) au folosit date Bensman pentru a testa dacă diferitele indicatori au fost independente folosind analiza factor, și a găsit doi factori (care explică 82% din varianța), atunci când se utilizează diferiți indicatori furnizate de ISI.Primul factor este determinat de mărimea, iar a doua de impact. Înscris de facultate și de date de utilizare corelat cu dimensiune în acest 1993 CCD. Yue și colab. (2004) a găsit o corelație mare între factorul de impact și Indicele-ca Imediata apropiere de așteptat, pentru că ambele acești indicatori se referă la frontul de cercetare curente și sunt normalizate prin împărțirea numărului de citări de numărul de publicații. (Cu toate acestea, seturile de publicații și citate sunt definite diferit pentru cei doi indicatori.)

Mai recent, au fost propuse noi indicatori, cum ar fi H-index (Hirsch, 2005) și așa-numitul Scimago Journal Rank (SJR) utilizând date din Scopus.H-index este cel mai popular și a fost inclusă în versiunea online a Science Citation Index-Epanded a ISI pentru orice set de documente.H-index a fost inițial definit la nivel de autor: un savant cu un indice de ore a publicat h lucrări fiecare dintre care a fost citat de alții, uneori puțin h. Cu toate acestea, la fel ca celelalte măsuri poate fi aplicat la orice set de documente (Braun et al, 2006;. Van Raan, 2006). Spre deosebire de alte măsuri, H-index este dependent de timp, sau s-ar putea spune dinamic. [1] Având în vedere apariția bazelor de date bazate pe Internet, cum ar fi Google Scholar, această actualizare continuă poate fi considerată ca un avantaj. Sustinatorii sai pretind că H-index reflectă atât numărul de publicații ("productivitate"), precum și numărul de citări pe publicării ("impact"). Inca de la introducerea sa, au fost propuse o serie de indicatori derivați, cum ar fi G-index, AR-index, etc., care îmbunătățesc pe unele dintre deficiențele H-index (de exemplu, Egghe & Rao, 2008; Rousseau, 2008).

In 2004, Elsevier a lansat baza de date Scopus ca o alternativă la bazele de date ISI. Scopus cuprinde mai multe reviste decât Science Citation Index, Science Citation Index sociale, precum și Arta si Cultura Index Citarea ISI combinate. Cu toate acestea, în ambele baze de date, includerea de reviste se bazează pe informații cantitative despre reviste și expertize calitative (Garfield, 1990; Testa, 1997). Criteriile nu sunt transparente extern, dar acest lucru pare legitimă, din cauza intereselor comerciale în cauză pentru edituri jurnal. De exemplu, la începutul anilor 1980 ISI rezistat presiunii de la UNESCO să includă mai multe reviste din țările mai puțin dezvoltate (moravcik, 1984, 1985; Gaillard, 1992; Maricic, 1997). Scopus include multe reviste mai mult de chinezi baza de date ISI, dar mai recent se pare că există un acord pentru a include mai multe regionale (inclusiv chineză) reviste din domeniul ISI (de exemplu, http://globalhighered.wordpress.com/2008/05/ 29 / Thomson-științific-china /).

Cele două baze de date (Scopus și Science Citation indici) sunt atât de suprapuneri și complementare (Meho & Yang, 2006; Visser & Moed, 2008).Treia bază de date, desigur, este Google Academic, care a fost, de asemenea, lansat în 2004. Google Scholar se bazează pe crawling Internet pentru literatura științifică, și criterii de includere sunt relaxate (deși, de asemenea, nu transparent): autori și editori de articole științifice sunt încurajate să-și prezinte materialele lor. Având în vedere proiectarea acestei baze de date care returnează puncte de-a lungul o ordine descrescătoare a citări, rezultatele aproape invita utilizatorul să ia în considerare H-index pentru un set de paginare în jos lista până se

ajunge la punctul în care numărul de citări sparge chiar și cu numărul de ordine.H-index și Google Scholar sunt, prin urmare, cel mai apt să se refere la unul de altul.

Motorul de căutare Google se folosește PageRank ca un algoritm de sortare pagini la afișarea rezultatelor căutării (Page ș.a., 1998;. Brin și Page, 1998). PageRank este derivat din Greutati de influență care Pinski & Narin (1976) inițial propus ca un indicator al statutului de jurnal (Garfield, 1979). PageRank este inclus în coreeană pachet software NetMiner; Programul inițial de Brin și Page este disponibil gratuit în Instrumentul de rețea Workbench la http://nwb.slis.indiana.edu/ (NWB echipei, 2006). I se menționează PageRank în comparație dintre indicatorii de jurnal de mai jos.

Pe baza de date Scopus, grupul de cercetare Scimago a Universitățile din Granada, Extremadura și Carlos III din Madrid (http://www.atlasofscience.net) a elaborat așa-numita Scimago Journal si Tara Locul sistemului de la http: // www.scimagojr.com/index.php. Deosebit de relevante pentru întrebarea mea de cercetare este un set de indicatori de jurnal puse la dispoziție la http://www.scimagojr.com/journalrank.php. Toate datele sunt on-line adus și disponibil pentru continuarea cercetărilor.Scimago Journal Locul (SJR) poate fi considerat ca un echivalent în domeniul Scopus pentru factorul de impact Jurnalul în domeniul ISI (Falagas et al., 2008).

Prima mea întrebare de cercetare este: fac aceste indicatori măsoară o dimensiune comună în datele? Ar fi fost frumos să includă date de utilizare cum au fost colectate în prezent în așa-numitul proiect mesur de Los Alamos National Laboratory din această comparație, dar, din păcate aceste date sunt până în prezent nu este disponibil pentru continuarea cercetarii (Bollen & Van de Sompel, 2006; Bollen 2008 ș.a., Bollen, comunicare personală, 25 aprilie 2008)..

Sunt diferiți indicatori complementare sau de măsurare în esență, aceeași dimensiune de bază? În al doilea rând, cum acestea se referă la alte măsuri de impact jurnal, influență, dimensiune, etc.? În al treilea rând, cum stabile sunt aceste măsuri a lungul timpului? Dacă eroarea considerabilă au fost introduse printr-un algoritm, ar fi de așteptat măsurile care rezultă să fie mai puțin stabil decât datele brute, de exemplu, Total CITES. Din acest motiv, am compara, de asemenea, datele pentru anul 2007 cu date similare pentru anul 2006 și furnizează auto corelațiilor dintre date pentru acești doi ani. În plus față de compararea indicatorilor de jurnal printre ei, am extindem analiza unor indicatori cu rețea de analiză de rețea socială, cum ar fi măsurile de centralitate utilizând aceleași seturi de date.

Metode si materiale

Datele al revistei Citari rapoartele Science Citation Index și Science Citation Index sociale sunt disponibile online la ISI Web of Knowledge (http://www.isiknowledge.com). În acest proiect datele au fost recoltate de la versiunea CD-ROM a bazelor de date, care sunt de altfel similare versiunile electronice, ci mai ușor de manipulat folosind gestionarea bazelor de date relațională. Cele două seturi de date (pentru Science Citation Index și Science Citation Index sociale, respectiv) sunt combinate în așa fel încât se poate corecta pentru suprapunerea între ele (342 reviste în 2007 și 321 în 2006, respectiv). Seturile de date conțin 7940 de reviste în 2007 și 7611 în 2006.

Cu software-ul dedicat o matrice complet citare pentru aceste seturi de date pot fi construite. De exemplu, în 2007, se poate obține o matrice 7940 x 7940 jurnal cu revistele citate, pe de o axă și aceleași reviste citând pe de altă parte. Aceasta matrice reprezintă un grafic de prim rang și regizat. Matricea poate fi stocat, de exemplu, ca un fișier sisteme SPSS. Cu toate acestea, din 7940 x 7940 = 63043600 celulele posibile, numai 1460847 (2,32%) nu sunt goale. Folosind un format listă (ca edgelist în UCINet sau Arcs în Pajek) se poate stoca, prin urmare, aceste date mai eficient. Utilizarea Pajek (sau UCINet) se poate calcula măsuri centralitate ca centralitate de studii, betweenness centralitate și apropiere centralitate, atât în citat și dimensiunile citând acestor matrici asimetrice. După cum sa menționat, se poate oferi, de asemenea, rangul paginii de reviste. Am făcut aceste diferite indicatori disponibil la http://www.leydesdorff.net/jcr07/centrality/index.htm.

Indicatorii pe baza datelor din baza de date Scopus au fost puse la dispoziție în mod convenabil de echipa Scimago la site-urile pentru anii respectivi ca fișiere MS-Excel. Datele conține numărul total de documente, referințe, și citate (cu o defalcare în ultimii trei ani), valoarea SJR, și H-index pentru toate revistele din set. Cu toate acestea, Total CITES sunt furnizate numai în ultimii trei ani.Help-fișier formulează: "Total CITES (3 ani) / Total Cites: Total de citări de documente primite de un jurnal într-o perioadă de 3 ani. Acest indicator este estimat ținând cont de toate tipurile de documente conținute într-un jurnal în anul selectat, trimiterile bibliografice pe care le includ la orice document publicat în ultimii trei ani. "Într-un alt context, acest indicator se compară cu impact Factor Numărătorul bazat pe utilizarea-o fereastră citare doi ani retroactiv (Bensman & Leydesdorff, în curs de pregătire). Eu folosesc acest indicator ca cel mai bun proxy pentru "Raport CITES" disponibile în baza de date Scopus.

O altă problemă cu baza de date Scimago / Scopus este H-index furnizate pentru fiecare din anii. Folosind date diferite pentru descărcarea, am observat că aceste-indici H sunt actualizate, probabil trimestrial, iar apoi retrospectiv, de asemenea, în anii anteriori. Cel puțin, am găsit aceleași valori pentru fiecare an la un moment dat (01 octombrie 2008), și valorile diferite intre cautari din aprilie 2008 (când descărcarea datelor pentru anul 2006) și iunie 2008 (date pentru 2007). Cu toate acestea, distribuția H indici ar trebui să varieze între anii, de exemplu, din cauza variațiilor de acoperire de bază de date. În 2007, baza de date Scopus acoperit 13686 reviste față 13210 în 2006.

Mai îngrijorătoare decât acest actualizarea de înțeles de H valorile din perspectiva înțelegerii ulterioare, deoarece această creștere dinamică este o problemă bine-cunoscut al H-index (Jin et al., 2007) -este actualizarea aparent, dar inexplicabilă a SJR valori în timp.Raportul anual de Imunologie, de exemplu, care se clasează cel mai mare de pe acest indicator în 2006 și 2007, a avut o SJR 2006 de 23.740 la 1 octombrie 2008, dar numai 22.439 în aprilie 2008. În mod similar, al doilea revista listate pe acest clasament,Raportul anual de Biochimie, a avut o SJR 2006 de 16.796 în septembrie, dar 16.100 în luna aprilie. Valorile SJR din 2007 sunt mai mici pentru ambele aceste jurnale, și anume 20.893 și 15.691, respectiv. S-ar putea, de asemenea, aceste valori crește cu timpul? Formula de calcul a SJR-valori este prevăzut la http://www.scimagojr.com/SCImagoJournalRank.pdf (accesat la 04 octombrie 2008), dar aceasta nu sugerează o perspectivă dinamică.

În acest studiu, am folosit valorile pentru anul 2006 au fost descărcate pe 23 aprilie 2008, iar valorile pentru 2007, astfel cum au descărcat pe 24 iunie 2008, de când am presupus că bazele de date sunt reîncărcate cu ocazia actualizării anuale (timpuriu iunie). (Help-Fișierul mențiuni actualizarea periodic.) Oricum, pentru statisticile-care fac obiectul acestui studiu, aceste diferențe relativ mici nu sunt, probabil, atât de important.

În a doua parte a studiului, am folosi, de asemenea, măsuri de centralitate de rețea (Freeman, 1978/1979; Hanneman & Riddle, 2005; Leydesdorff, 2007b). Șase măsuri centralitate posibile (grade, betweenness, apropiere, atât în "citat" și "citând" dimensiuni) poate fi calculată folosind Pajek. PageRank nu este inclus în Pajek, dar este în mai multe alte programe. Atât NetMiner și programul inițial de Brin si Page (cum este inclus în Workbench de rețea la http://nwb.slis.indiana.edu) au fost utilizate pentru a calcula rangul paginii pentru reviste în 2006 și 2007. Rezultatele au fost identice pentru (implicit) amortizare factor d = 0,15 și zece containere. Am folosit, de asemenea, alți parametri; acest lucru va fi discutat în secțiunea rezultate.

Permiteți-mi să se concentreze în primul rând pe analiza statica pentru anul 2007. După o analiză analiză factor și corelarea diferiților indicatori de jurnal pentru anul 2007, vom adăuga măsurile de centralitate a domeniului, pentru a vedea dacă și modul în care acestea contribuie la înțelegerea matrice și Indicatorii. Aceeași analiză a fost, de asemenea, făcută pentru anul 2006. Rezultatele sunt practic similare, care sugerează un grad ridicat de stabilitate în structura acestui set de indicatori. Ulterior, diferiți indicatori sunt auto-corelate între valorile corespunzătoare pentru 2006 și 2007.

Deoarece testarea semnificație depinde de numărul de cazuri, precum și numărul de cazuri în baza de date Scopus este mult mai mare decât în combinate ISI-bazelor de date (Science Citation Index și Științe Sociale Citation Index), am folosit suprapunerea dintre cele două baze de date (Tabelul 1). Bazele de date au fost potrivite cu titluri de depline.

Numărul de reviste baze de date ISI Scopus suprapune

2006 7611 13210 6045

2007 7940 13686 6210

Tabelul 1: Numărul de reviste din ISI-bazele de date combinate, Scopus, iar suprapunerea.

Analiza în dinamică (în termeni de auto-corelații pentru diferiți ani) se bazează pe 5861 reviste incluse în ambele baze de date, atât în 2006 și 2007.

Rezultate

Indicatorii Jurnalul

Să ne limitează în primul rând analiza a indicatorilor tipice de jurnal. Acestea sunt indicatorii dimensiuni, cum ar fi numărul total de documente citable, numărul total de referințe și citate, factorul de impact, Imediata apropiere Index, citat de înjumătățire, SJR, și H-index. Am adăugat, de asemenea, PageRank pentru acest set, deoarece acest indicator este cunoscut datorită utilizării sale în baza de date Google. Mai mult, PageRank poate fi considerat ca o renaștere a moștenit așa-numitele Greutati de influență propuse în anii 1970 de către Pinsky și Narin (1976). Cu toate acestea, PageRank depinde de opțiuni parametrilor cum ar fi amortizare factor d. În timp ce d = 0,15 este valoarea implicită, unii autori recomanda d = 0,85. Ma și colab. (2008, p. 803) a susținut pentru d = 0,5 în cazul analizei citare (la fel de diferite de analiză hyperlink). Astfel, am testat mai întâi corespondența în clasamentul folosind diferite valori ale parametrului: am găsit corelații puternice (Pearson r = 0.942, iar ρ Spearman = 0.934) atunci când se compară cele două extreme ale d = 0,15 și d = 0,85 (p <0.01 N = 6160). In analiza factor, a făcut nici o diferență care factorul de amortizare a fost utilizat pentru analiza PageRank. Deși PageRank este un indicator de rețea, am decis să-l includă ca un indicator jurnal în primul tur al analizei din cauza originilor sale în domeniul jurnal (Pinski & Narin, 1976). [2]

O soluție de trei factor explică 82,8% din variația comun. (Aceste trei componente explică 55,1, 19,5, și 8,2%, respectiv.) Tabelul 2 oferă soluția factor bazat pe rotația Varimax și Kaiser normalizare. Figura 1 prezintă dispersate folosind cele două componente principale. Evident, "Citată Half-Life" oferă de-a treia dimensiune (latentă) în aceste date-structură. Această variabilă are sarcină (ușor) negativ pe primele două dimensiuni.