A tudományos teljesítmény értékelése *** The evaluation of scientific output

Egy-egy tudományos közlemény értékelése sem egyszerű, különösen, ha objektívvé szeretnénk tenni. Még nehezebb egy-egy kutató, intézmény, ágazat, ország tudományos teljesítményét objektíven és mérhetően megragadni. 

Az ötvenes években már kísérletet tett erre Eugene Garfield, az Institute for Scientific Information alapítója. 1963-ban jelent meg először Derek J. de Solla Price: Kis tudomány, nagy tudomány c. könyve (Magyarországon 1979-ben adta ki az Akadémiai Kiadó), amely ismertté tette a tudománymetria és a bibliometria fogalmát. Az előbbi a tudomány, a második a publikációk mennyiségi-statisztikai alapú elemzését tűzte ki célul. Elsősorban nem a teljesítménymérés volt a céljuk, hanem a tudomány fejlődésének törvényszerűségeit vizsgálták. 1978-ban indult a Scientometrics c. folyóirat.

Az egyik leghasznosabb jellemzőnek és legjobban megfogható paraméternek az idézetek (a közlemények végén más közleményekre tett hivatkozások, más néven citációk) bizonyultak. Az Institute for Scientific Information megkezdte a cikkek olyan feldolgozását (az EISZ keretében kereshető Science Citation Index-szel), amelyben a bibliográfiai adatbázisokban szokásos adatokon kívül a dolgozatok végén található hivatkozásokat is feldolgozták és kereshetővé tették. Felszínre került ilyen módon az egymással kapcsolatban lévő közlemények hálója.

Az egy szerző művére adott hivatkozások száma természetes módon fejezi ki az adott mű jelentőségét a tudomány fejlődése szempontjából. Ha pedig megnézzük, hogy hányan idézik egy folyóirat cikkeit,  ez megmutatja a folyóirat hatását. Az ún. hatástényező, az impakt faktor kiszámítása úgy történik, hogy megnézik, hogy a tárgy évben hányan idézték a folyóiratban az előző két évben megjelent cikkeket, és e két számot elosztják egymással. Az impakt faktorokat és más jellemző mutatókat az EISZ keretében előfizetett Journal Citation Reports-ban találhatjuk meg.

Sok vita folyik arról, hogy egy-egy tudós, folyóirat, intézmény, ország jellemzésére megfelelők-e ezek a mutatók, és az Science Citation Index (Web of Knowledge) és más adatbázisok (Scopus) is igyekeznek újabb eljárásokat kidolgozni a tudományos értékelésre. Jelenleg azonban intézményünkben a tudományos értékelés még az impakt faktorokon és az idézettségen alapszik.

A Web of Knowledge adatbáziscsomag használatával a kiadó oldalán található online oktatási anyagokból ismerkedhet meg: http://wokinfo.com/training_support/training/recordedtraining/%20

A Scopus adatbázis használatához az EISZ keretében előfizetett  SciVerse (Science Direct ) honlapjára kell belépni. Itt is részletes támogatás várja a használókat: http://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopushttp://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopus

***

It is not easy to assess a publication, especially if we want objective criteria. It is even more difficult to make the evaluation of the scientific output of a researcher, institution, sector, nation objective and quantifyable.

Eugene Garfield, founder of the Institute for Scientific Information had made an effort for it already in the 1950s. In 1963 the book Little science, big science by Derek J. de Solla Price came out which made the notions "scientometrics" and "bibliometrics" known. The first aims at the quantitative-statistical analysis of science, while the second aims at that of publications. Their main aim was not the assessment of achievements but to reveal the laws of the development of science. The journal Scientometrics started in 1978.

The number of citations (references made in one publication to the other) proved to be one of the most useful characteristics, and best parameters. The Institute for Scientific Information started the processing of publications (in the Science Citation Index available through the Electronic Information Service) so that beside the usual fields to be found in bibliographic databases, each and every reference at the end of the publication was also included in the record. These citations became searchable, and the network of publications related to one-another was revealed.

The number the study of an author is cited is a natural indicator of the significance of that particular paper from the point of view of the development of science. If we examine how many people cite the articles published in a journal, we will gain information about the impact of the journal. The so-called impact factor is calculated so that the number of references made for the articles which appeared in the previous two years in the journal is divided by the number of articles. You can find journal impact factors and many other indicators in the Journal Citation Reports also available through Electronic Information Service.

It is debated whether these indicators are really good for assessing the achievements of a researcher, journal, institution, country? Both Science Citation Index (Web of Knowledge) and other databases (such as Scopus) make efforts for refining the indicators and the methods of assessment. However, for the time being impact factors and citations serve as the basis of evaluation at our instiution.

You can get acquainted with the use of Web of Knowledge through the online tutorials on the publisher's homepage: http://wokinfo.com/training_support/training/recordedtraining/

You may access Scopus through the SciVerse (Science Direct) homepage from the campus, where you will also find detailed information and help: http://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopushttp://trainingdesk.elsevier.com/trainings/an-introduction-to-sciverse-sciencedirect-and-sciverse-scopus

A tudományos közlemények értékelése *** Evaluation of scientific papers

A tudományos közlemények értékelése szakmai feladat, elsősorban szakismereteket igényel. A szakdolgozat írására készülő hallgató egyrészt éppen arról ad számot, hogy szakismereteinek tanulmányai során kialakult rendszere elégséges-e a megfelelő szakirodalom kiválasztásához?

A könyvtáros - a fentiekből következően - viszonylag kevés segítséget tud nyújtani az értékeléshez. Néhány szempontot azonban érdemes sorra megvizsgálni.

1. Választ ad-e a dolgozat a címben, hipotézisekben stb. feltett kérdésre? Teljesíti-e a célját?

2. Igazodik-e a tudományos közlések hagyományaihoz a dolgozat szerkezete, nyelvezete?

3. Megfelelő statisztikai apparátust választott-e a szerző a probléma feldolgozásához és ezt megfelelően alkalmazta-e (mintavétel, próbák kiválasztása, eredmények prezentálása stb.)?

4. Reprodukálható-e a leírás alapján a kísérlet, megfigyelés, vizsgálat?

5. Korrekt és elegendő-e az irodalom feldolgozása, a hivatkozások?

6. Támpontot adhat a szerző ismertsége, a mű hivatkozottsága, a kiadó, a folyóirat (lektorált-e) stb.

A tudományos közlemények versenykörnyezetben születnek. Versengenek az érdekelt gazdasági vállalkozások, versengenek a kutatóhelyek a forrásokért, versengenek maguk a kutatók is. Mindez a probléma - szándékos vagy nem szándékos - elfogult kezeléséhez vezethet. Az orvostudományban már most is követelmény, az állatorvos-tudomány területén pedig egyre fontosabb a tudományos eredmények, "bizonyítékok" felhasználása a klinikai döntések meghozatalában. A Cochrane Collaboration nemzetközi szakértőgárdája azon dolgozik, hogy a legmagasabb szintű bizonyítékokat szolgáltassa. A dolgozatok értékeléséhez jó szempontokat találunk az ő szabadon hozzáférhető oktatási anyagukban: 

Cochrane Collaboration open learning material about systematic reviews and meta-analyses

http://www.cochrane-net.org/openlearning/HTML/mod1-2.htm

***

The assessment of scientific papers is must be based upon solid technical knowledge. The student, preparing a thesis is supposed to prove that the system of scientific knowledge acquired during his/her studies is  mature and reliable enough to help in in selecting the appropriate pieces of literature. 

As a matter of fact, the librarian has a limited competence in evaluating scientific papers. However, there are some points which may help the assessment.

1. Does the paper answer the question raised in the title, hypothesis, etc. of the study? Does it fulfill its purpose? 

2.  Does it follow the traditions of scientific studies, publications in its structure, language, style?

3. Has the author selected the proper statistical background to the processing of the problem? Does he apply it properly (sampling, selection fo trials, presentation of results, etc.)?

4.  Is it possible to reproduce the experiment, observation, examination using the description in the study?

5.  Is the selection of literature correct and satisfactory, are the references good?

6. The knowledge of the author, the citations made for the paper, the publisher, the journal (peer-review), etc. may also help your assessment.

Scientific studies and publications come into being in a competitive context. There is competition among economic enterprises involved, there is competition among research units for resources, and there is comptetition among researchers as well. All this may lead to a biased approach to the problem, let it be intentional or not. It is a must in human medicine and a stronger and stronger requirement in veterinary medicine to find scientific evidence underlining clinical decisions. The international experts of the Cochrane Collaboration work for providing the highest quality of evidence. They offer very good points of evaluation in their open learning material about systematic reviews and meta-analyses

http://www.cochrane-net.org/openlearning/HTML/mod1-2.htm

A tudományos dolgozatok nyelve *** Language of scientific papers

Természetes, hogy a tudományos dolgozatok stílusának tárgyilagosnak, a fogalmazásának pontosnak, a nyelvezetének helyesnek kell lennie. Számos konvenció, íratlan szabály van, amely szinte "ráragad" arra, aki bőséggel olvas szakirodalmat, de számos szabály meg is fogalmazható.  Különösen fontos, hogy ismerjük az orvosi nyelv jellegzetes szabályait.

Ebben segít a Bősze Péter szerkesztette A magyar orvosi nyelv tankönyve, amelynek helyesírási fejezete az interneten is olvasható. Akit bővebben érdekel a téma ugyan ezen az oldalon megtalálja A magyar orvosi nyelv c. folyóirat eddigi számait teljes szöveggel.

Aki csak egy kis rövid összefoglalót keres, azt a könyvtár honlapján találja meg: Szerzők figyelmébe cím alatt.

Az angol nyelvhasználati konvenciókról is jó kis összefoglalót közöl Marc E. Tischler: Scientific writing booklet-jében, de hasznos lehet a következő On-line guide to scientific publication című segédlet is.

Természetesen találunk olyan tudományos írásokat is, amelyek hiányosságait szemantikai bűvészkedéssel próbálják elfedni. Ilyenekre hívja fel a figyelmet vicces formában egy blog: Friday Fun about how you should interpret different phrases in studies.

***

It is a commonplace that the style of scientific papers should be objective, thoughts must be formulated clearly, and they should be correct from the linguistic point of view as well. There are many conventions which are spontaneously accepted and followed by those who read technical literature a lot, and there are many written rules as well. Medical language has its own specialties.

It may be useful to get acquainted with UMLS - Unified Medical Language System - managed by the National Library of Medicine (USA), and relevant parts of the Uniform Requirements for Manuscripts Submitted to Biomedical Journals:Writing and Editing for Biomedical Publications.

Marc E. Tischler offers a brief and good introduction into scientific writing covering a bit of conventions of language use as well: Scientific writing booklet, and the On-line guide to scientific publication may also be useful if you want to read about style, etc.

There are scientific papers which try to camouflage their deficiencies with semantic maneuvers. There is a funny enumeration of such examples in this blog: Friday Fun about how you should interpret different phrases in studies.

A tudományos közlemények struktúrája *** Structure of scientific studies

A tudományos közleményeknek - az élettudományokban, orvostudományban és így az állatorvos-tudományban is - sok fajtája van, amelyeknek meglehetősen kötött a szerkezete. Szakdolgozat szinte bármelyik "műfajban" születhet, ezért érdemes megismerkedni ezekkel a konvenciókkal. Vannak olyan részek, amelyek valamennyi típusnál előfordulnak, és vannak olyanok, amelyek csak az adott zsánerre jellemzőek.

• A cím - legyen kifejező és figyelemfelkeltő.

• A rövid összefoglaló (szakdolgozatnál ez a végére, cikkeknél az elejére kerül) - tartalmazza egy mondatban a tanulmány lényegét, célját, és foglalja össze a legfontosabb eredményeket. Ezen kívül utaljon a használt mintára, módszerekre stb.

• Bevezetés - a bevezetőben általában röviden áttekintik a probléma előzményeit, a témát feldolgozó irodalmat, illetve megfogalmazzák a tanulmány céljait vagy a hipotéziseket. Az irodalmi áttekintés szakdolgozatokban rendszerint külön fejezetet alkot, és elvárás, hogy az adott szűkebb témában kimerítő legyen. Természetesen ha sok az irodalom, akkor azt meg kell szűrni.
  
  
• A dolgozat törzsének szerkezete attól függ, hogy milyen műfajú. 
 >> A kísérletek vagy klinikai tesztek (clinical trial) szerkezete jellemzően: bevezetés (cél, irodalmi áttekintés, hipotézis), anyag és módszer, eredmények, megvitatás. Általában komoly statisztikai háttere van az ilyen dolgozatoknak. A klinikai tesztek különböző fajtáiról olvashatunk ebben az összefoglalóban.

>> Az irodalmi áttekintés (review) lehetőleg a teljes irodalmat lefedi, így a téma belső logikája alapján alakíthatók ki a fejezetek, amelyekbe azután feldolgozhatók az igazán minőségi közlemények.

 >> Szakdolgozatnak talán nem való, de fontos műfaj az ún. meta-analízis, amely az irodalmi áttekintések statisztikai adatainak összegyűjtésével, összevetésével, továbbszámolásával jut új megállapításokra. A Cochrane Collaboráció szabadon hozzáférhető tananyagából sok hasznos támpontot meríthetünk az irodalmi áttekintések és metaelemzések készítéséhez: http://www.cochrane-net.org/openlearning/HTML/mod1-2.htm

•  A köszönetnyilvánítás általában a dolgozat végére kerül.
• Ugyancsak a dolgozat végére tesszük az irodalomjegyzéket, amelynek készítéséről még bővebben esik szó egy következő bejegyzéseben.
• Ezt pedig követheti még függelék (pl. nagyobb statisztikai apparátussal dolgozó munkában az alapadatokat tartalmazó táblázatok, kérdőívek, képsorozat stb., amelynek beillesztése széttörné a dolgozat szerkezetét).

     A tudományos munkák szerkesztéséről sok hasznos tanácsot tartalmaznak a különböző folyóiratok honlapjai a szerzői útmutatókban, az ICMJE honlapja: Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publications, vagy - sok máshoz hasonlóan - az alábbi útmutató: http://www.biochem.arizona.edu/marc/Sci-Writing.pdf

***

There are many types or genres of scientific papers in life sciences, medicine and veteerinary science as well. which have conventionally a fairly rigid structure. You may write a thesis in practically any of these genres, therefore the conventions may help you in preparing your study. There are parts which occur in all genres, and parts which are characteristic only of some.

• Title - it should express the topic and capture the attention of the reader.

• Summary/abstract (in a thesis it goes to the end, while in an article it is the beginning) - tit contains the one-sentence summary of the study, its aim(s) and summarizes the findigs. Besides it should briefly mention the materials, methods, etc.

• Introduction - in the intorduction - which may be one or more chapters - the history of the problem is  outlined, the literature dealing with it is reviewed, and the aims or hypotheses of the study is stated. The review of literature is usually a separate chapter in theses, and you are expected to be familiar with all the literature of your narrower topic. As a matter of fact, you have to assess  and select pieces of literature if there is too much.
  
• The structure of the main part of the paper depends on the genre or type.
 >> Experiments or clinical trials usually have the following structure: introduction (aims, review of literature, hyptheses), materials and methods, results/conclusions, discussion. They use a lot of statistics. You may read about the different types of clinical trials in this summary.

>> Reviews normally cover the whole literature of a problem, thus they are structured on the basis of the logic inherent in the problem. The chapters follow this logic and really high quality studies are included.

 >> Meta-analyses may not be a genre for a thesis but are increasingly important in the field of medicine. Gathering, comparing, and processing statistically the data found in the best reviews it may reach new and highly reliable conlusions. The online tutorials of the Cochrane Collaboration offer you very good approaches to the compilation of reviews and meta-analyses: http://www.cochrane-net.org/openlearning/HTML/mod1-2.htm

•  Acknowledgements ususally come at the end of the thesis.
• The list of references/bibliography also comes to the end, the compilation of which will be dealt with in a separate post.
• This may be followed by an appendix (e. g. statistical tables, questionnaires, series of photos, etc.) the inclusion of which would split up or fragment the structure of the thesis or paper.

     You may learn a lot about the structure of scientific papers in the  authors' instructions of different journals, from the homepage of ICMJE: Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publications, or the following guide which is one of many on the internet: http://www.biochem.arizona.edu/marc/Sci-Writing.pdf