A tudományos teljesítmény értékelése *** The evaluation of scientific output

Egy-egy tudományos közlemény értékelése sem egyszerű, különösen, ha objektívvé szeretnénk tenni. Még nehezebb egy-egy kutató, intézmény, ágazat, ország tudományos teljesítményét objektíven és mérhetően megragadni. 

Az ötvenes években már kísérletet tett erre Eugene Garfield, az Institute for Scientific Information alapítója. 1963-ban jelent meg először Derek J. de Solla Price: Kis tudomány, nagy tudomány c. könyve (Magyarországon 1979-ben adta ki az Akadémiai Kiadó), amely ismertté tette a tudománymetria és a bibliometria fogalmát. Az előbbi a tudomány, a második a publikációk mennyiségi-statisztikai alapú elemzését tűzte ki célul. Elsősorban nem a teljesítménymérés volt a céljuk, hanem a tudomány fejlődésének törvényszerűségeit vizsgálták. 1978-ban indult a Scientometrics c. folyóirat.

Az egyik leghasznosabb jellemzőnek és legjobban megfogható paraméternek az idézetek (a közlemények végén más közleményekre tett hivatkozások, más néven citációk) bizonyultak. Az Institute for Scientific Information megkezdte a cikkek olyan feldolgozását (az EISZ keretében kereshető Science Citation Index-szel), amelyben a bibliográfiai adatbázisokban szokásos adatokon kívül a dolgozatok végén található hivatkozásokat is feldolgozták és kereshetővé tették. Felszínre került ilyen módon az egymással kapcsolatban lévő közlemények hálója.

Az egy szerző művére adott hivatkozások száma természetes módon fejezi ki az adott mű jelentőségét a tudomány fejlődése szempontjából. Ha pedig megnézzük, hogy hányan idézik egy folyóirat cikkeit,  ez megmutatja a folyóirat hatását. Az ún. hatástényező, az impakt faktor kiszámítása úgy történik, hogy megnézik, hogy a tárgy évben hányan idézték a folyóiratban az előző két évben megjelent cikkeket, és e két számot elosztják egymással. Az impakt faktorokat és más jellemző mutatókat az EISZ keretében előfizetett Journal Citation Reports-ban találhatjuk meg.

Sok vita folyik arról, hogy egy-egy tudós, folyóirat, intézmény, ország jellemzésére megfelelők-e ezek a mutatók, és az Science Citation Index (Web of Knowledge) és más adatbázisok (Scopus) is igyekeznek újabb eljárásokat kidolgozni a tudományos értékelésre. Jelenleg azonban intézményünkben a tudományos értékelés még az impakt faktorokon és az idézettségen alapszik.

A Web of Knowledge adatbáziscsomag használatával a kiadó oldalán található online oktatási anyagokból ismerkedhet meg: http://wokinfo.com/training_support/training/recordedtraining/%20

A Scopus adatbázis használatához az EISZ keretében előfizetett  SciVerse (Science Direct ) honlapjára kell belépni. Itt is részletes támogatás várja a használókat: http://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopushttp://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopus

***

It is not easy to assess a publication, especially if we want objective criteria. It is even more difficult to make the evaluation of the scientific output of a researcher, institution, sector, nation objective and quantifyable.

Eugene Garfield, founder of the Institute for Scientific Information had made an effort for it already in the 1950s. In 1963 the book Little science, big science by Derek J. de Solla Price came out which made the notions "scientometrics" and "bibliometrics" known. The first aims at the quantitative-statistical analysis of science, while the second aims at that of publications. Their main aim was not the assessment of achievements but to reveal the laws of the development of science. The journal Scientometrics started in 1978.

The number of citations (references made in one publication to the other) proved to be one of the most useful characteristics, and best parameters. The Institute for Scientific Information started the processing of publications (in the Science Citation Index available through the Electronic Information Service) so that beside the usual fields to be found in bibliographic databases, each and every reference at the end of the publication was also included in the record. These citations became searchable, and the network of publications related to one-another was revealed.

The number the study of an author is cited is a natural indicator of the significance of that particular paper from the point of view of the development of science. If we examine how many people cite the articles published in a journal, we will gain information about the impact of the journal. The so-called impact factor is calculated so that the number of references made for the articles which appeared in the previous two years in the journal is divided by the number of articles. You can find journal impact factors and many other indicators in the Journal Citation Reports also available through Electronic Information Service.

It is debated whether these indicators are really good for assessing the achievements of a researcher, journal, institution, country? Both Science Citation Index (Web of Knowledge) and other databases (such as Scopus) make efforts for refining the indicators and the methods of assessment. However, for the time being impact factors and citations serve as the basis of evaluation at our instiution.

You can get acquainted with the use of Web of Knowledge through the online tutorials on the publisher's homepage: http://wokinfo.com/training_support/training/recordedtraining/

You may access Scopus through the SciVerse (Science Direct) homepage from the campus, where you will also find detailed information and help: http://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopushttp://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopus