A tudományos teljesítmény értékelése *** The evaluation of scientific output

Egy-egy tudományos közlemény értékelése sem egyszerű, különösen, ha objektívvé szeretnénk tenni. Még nehezebb egy-egy kutató, intézmény, ágazat, ország tudományos teljesítményét objektíven és mérhetően megragadni. 

Az ötvenes években már kísérletet tett erre Eugene Garfield, az Institute for Scientific Information alapítója. 1963-ban jelent meg először Derek J. de Solla Price: Kis tudomány, nagy tudomány c. könyve (Magyarországon 1979-ben adta ki az Akadémiai Kiadó), amely ismertté tette a tudománymetria és a bibliometria fogalmát. Az előbbi a tudomány, a második a publikációk mennyiségi-statisztikai alapú elemzését tűzte ki célul. Elsősorban nem a teljesítménymérés volt a céljuk, hanem a tudomány fejlődésének törvényszerűségeit vizsgálták. 1978-ban indult a Scientometrics c. folyóirat.

Az egyik leghasznosabb jellemzőnek és legjobban megfogható paraméternek az idézetek (a közlemények végén más közleményekre tett hivatkozások, más néven citációk) bizonyultak. Az Institute for Scientific Information megkezdte a cikkek olyan feldolgozását (az EISZ keretében kereshető Science Citation Index-szel), amelyben a bibliográfiai adatbázisokban szokásos adatokon kívül a dolgozatok végén található hivatkozásokat is feldolgozták és kereshetővé tették. Felszínre került ilyen módon az egymással kapcsolatban lévő közlemények hálója.

Az egy szerző művére adott hivatkozások száma természetes módon fejezi ki az adott mű jelentőségét a tudomány fejlődése szempontjából. Ha pedig megnézzük, hogy hányan idézik egy folyóirat cikkeit,  ez megmutatja a folyóirat hatását. Az ún. hatástényező, az impakt faktor kiszámítása úgy történik, hogy megnézik, hogy a tárgy évben hányan idézték a folyóiratban az előző két évben megjelent cikkeket, és e két számot elosztják egymással. Az impakt faktorokat és más jellemző mutatókat az EISZ keretében előfizetett Journal Citation Reports-ban találhatjuk meg.

Sok vita folyik arról, hogy egy-egy tudós, folyóirat, intézmény, ország jellemzésére megfelelők-e ezek a mutatók, és az Science Citation Index (Web of Knowledge) és más adatbázisok (Scopus) is igyekeznek újabb eljárásokat kidolgozni a tudományos értékelésre. Jelenleg azonban intézményünkben a tudományos értékelés még az impakt faktorokon és az idézettségen alapszik.

A Web of Knowledge adatbáziscsomag használatával a kiadó oldalán található online oktatási anyagokból ismerkedhet meg: http://wokinfo.com/training_support/training/recordedtraining/%20

A Scopus adatbázis használatához az EISZ keretében előfizetett  SciVerse (Science Direct ) honlapjára kell belépni. Itt is részletes támogatás várja a használókat: http://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopushttp://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopus

***

It is not easy to assess a publication, especially if we want objective criteria. It is even more difficult to make the evaluation of the scientific output of a researcher, institution, sector, nation objective and quantifyable.

Eugene Garfield, founder of the Institute for Scientific Information had made an effort for it already in the 1950s. In 1963 the book Little science, big science by Derek J. de Solla Price came out which made the notions "scientometrics" and "bibliometrics" known. The first aims at the quantitative-statistical analysis of science, while the second aims at that of publications. Their main aim was not the assessment of achievements but to reveal the laws of the development of science. The journal Scientometrics started in 1978.

The number of citations (references made in one publication to the other) proved to be one of the most useful characteristics, and best parameters. The Institute for Scientific Information started the processing of publications (in the Science Citation Index available through the Electronic Information Service) so that beside the usual fields to be found in bibliographic databases, each and every reference at the end of the publication was also included in the record. These citations became searchable, and the network of publications related to one-another was revealed.

The number the study of an author is cited is a natural indicator of the significance of that particular paper from the point of view of the development of science. If we examine how many people cite the articles published in a journal, we will gain information about the impact of the journal. The so-called impact factor is calculated so that the number of references made for the articles which appeared in the previous two years in the journal is divided by the number of articles. You can find journal impact factors and many other indicators in the Journal Citation Reports also available through Electronic Information Service.

It is debated whether these indicators are really good for assessing the achievements of a researcher, journal, institution, country? Both Science Citation Index (Web of Knowledge) and other databases (such as Scopus) make efforts for refining the indicators and the methods of assessment. However, for the time being impact factors and citations serve as the basis of evaluation at our instiution.

You can get acquainted with the use of Web of Knowledge through the online tutorials on the publisher's homepage: http://wokinfo.com/training_support/training/recordedtraining/

You may access Scopus through the SciVerse (Science Direct) homepage from the campus, where you will also find detailed information and help: http://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopushttp://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopus

A tudományos közlemények értékelése *** Evaluation of scientific papers

A tudományos közlemények értékelése szakmai feladat, elsősorban szakismereteket igényel. A szakdolgozat írására készülő hallgató egyrészt éppen arról ad számot, hogy szakismereteinek tanulmányai során kialakult rendszere elégséges-e a megfelelő szakirodalom kiválasztásához?

A könyvtáros - a fentiekből következően - viszonylag kevés segítséget tud nyújtani az értékeléshez. Néhány szempontot azonban érdemes sorra megvizsgálni.

1. Választ ad-e a dolgozat a címben, hipotézisekben stb. feltett kérdésre? Teljesíti-e a célját?

2. Igazodik-e a tudományos közlések hagyományaihoz a dolgozat szerkezete, nyelvezete?

3. Megfelelő statisztikai apparátust választott-e a szerző a probléma feldolgozásához és ezt megfelelően alkalmazta-e (mintavétel, próbák kiválasztása, eredmények prezentálása stb.)?

4. Reprodukálható-e a leírás alapján a kísérlet, megfigyelés, vizsgálat?

5. Korrekt és elegendő-e az irodalom feldolgozása, a hivatkozások?

6. Támpontot adhat a szerző ismertsége, a mű hivatkozottsága, a kiadó, a folyóirat (lektorált-e) stb.

A tudományos közlemények versenykörnyezetben születnek. Versengenek az érdekelt gazdasági vállalkozások, versengenek a kutatóhelyek a forrásokért, versengenek maguk a kutatók is. Mindez a probléma - szándékos vagy nem szándékos - elfogult kezeléséhez vezethet. Az orvostudományban már most is követelmény, az állatorvos-tudomány területén pedig egyre fontosabb a tudományos eredmények, "bizonyítékok" felhasználása a klinikai döntések meghozatalában. A Cochrane Collaboration nemzetközi szakértőgárdája azon dolgozik, hogy a legmagasabb szintű bizonyítékokat szolgáltassa. A dolgozatok értékeléséhez jó szempontokat találunk az ő szabadon hozzáférhető oktatási anyagukban: 

Cochrane Collaboration open learning material about systematic reviews and meta-analyses

http://www.cochrane-net.org/openlearning/HTML/mod1-2.htm

***

The assessment of scientific papers is must be based upon solid technical knowledge. The student, preparing a thesis is supposed to prove that the system of scientific knowledge acquired during his/her studies is  mature and reliable enough to help in in selecting the appropriate pieces of literature. 

As a matter of fact, the librarian has a limited competence in evaluating scientific papers. However, there are some points which may help the assessment.

1. Does the paper answer the question raised in the title, hypothesis, etc. of the study? Does it fulfill its purpose? 

2.  Does it follow the traditions of scientific studies, publications in its structure, language, style?

3. Has the author selected the proper statistical background to the processing of the problem? Does he apply it properly (sampling, selection fo trials, presentation of results, etc.)?

4.  Is it possible to reproduce the experiment, observation, examination using the description in the study?

5.  Is the selection of literature correct and satisfactory, are the references good?

6. The knowledge of the author, the citations made for the paper, the publisher, the journal (peer-review), etc. may also help your assessment.

Scientific studies and publications come into being in a competitive context. There is competition among economic enterprises involved, there is competition among research units for resources, and there is comptetition among researchers as well. All this may lead to a biased approach to the problem, let it be intentional or not. It is a must in human medicine and a stronger and stronger requirement in veterinary medicine to find scientific evidence underlining clinical decisions. The international experts of the Cochrane Collaboration work for providing the highest quality of evidence. They offer very good points of evaluation in their open learning material about systematic reviews and meta-analyses

http://www.cochrane-net.org/openlearning/HTML/mod1-2.htm