描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787313210814
20世纪90年代以来，“文献计量学”孕育而生。科学家们以及评价委员会的成员们普遍使用定量指标来评价其研究活动。但随着科研评价中文献计量指标的滥用，暴露了对文献计量指标认识的不足和错误性理解。在这种情况下，本书力图通过聚焦评价的基本问题及其对科研的影响，为文献计量评价的使用者与被评价者提供一些概念性工具，帮助他们更合理地评价目前在新兴的科研评价市场上盛行的排名“黑匣子”里的许多指标。
因此，对于科研政策制定者、科研管理人员、科研政策研究者以及研究生等读者而言，该书不失为一本好的参考书。
第一章文献计量学的起源
第二章文献计量学与科学动态
第三章科研评价的繁荣发展
第四章对科研评价的评价
结论大学的新衣
注释与参考文献
索引
目前，科研评价正在蓬勃发展。排名（ranking）、评价（evaluation）、计量（metrics）、h指数（h-index）、影响因子（impact factors）等词语在学术界非常流行。政府和科研管理者希望使用定量指标来评价一切，包活对普通教师、教授、课程和大学的评价。这种需求源于20世纪80年代的“新公共管理”（New Public Management）思想，这一思想使“卓越”、“质量”指标在评价中倍增。这些术语虽然被频繁使用，但很少有人关注它们的确切含义及其有效性。
20世纪90年代，许多科学家发现了文献计量学，普遍使用定量指标来评价科学家的研究活动。与此同时，科学家们也开始对其应用进行批评，如谴责文献计量学的缺点，揭示简单化指标可能对科学研究动态产生的负面影响。然而，矛盾的是，科研人员未必了解这些指标的真正含义及其有效性，但他们却往往首先强调自己论文发表期刊的影响因子，并将总被引频次或其h指数作为自己的价值体现与成功标志。当成为评价委员会的成员后，这些科研人员往往会毫不犹豫地使用这些相同的指标对同行进行排名，决定其是否具有资格获得科研资助。
在“卓越研究”（research excellence）的评价工具中，文献计量学（bibliometrics）的地位最为显著。文献计量学作为一个研究领域，通常用于分析一个既定的实体（个人、机构、国家等）发表的科学出版物及其被引频次。虽然论文数量提供了一个简单的产出指标（若定义了时间单位，则为生产力指标），但是一篇论文的被引频次往往被认为是对出版物质量和科学影响的直观测量。各种数字组合为大学、实验室及科研人员等排名提供了一些指标，这些指标被认为是对研究成果价值的“客观”测量。许多人认为，“客观”测量应该有效地替代17世纪以来一直沿用的相对“主观”的评价方法。
20世纪90年代，许多科学家发现了文献计量学，普遍使用定量指标来评价科学家的研究活动。与此同时，科学家们也开始对其应用进行批评，如谴责文献计量学的缺点，揭示简单化指标可能对科学研究动态产生的负面影响。然而，矛盾的是，科研人员未必了解这些指标的真正含义及其有效性，但他们却往往首先强调自己论文发表期刊的影响因子，并将总被引频次或其h指数作为自己的价值体现与成功标志。当成为评价委员会的成员后，这些科研人员往往会毫不犹豫地使用这些相同的指标对同行进行排名，决定其是否具有资格获得科研资助。因此，人们不能把20世纪90年代突然爆发的“文献计量热”（bibliometric fever）以及由此引发的令许多大学校长兴奋不已的排名繁荣现象（尽管事实上，正如本书所要讨论的，这些排名没有真正的科学有效性，且很少能够真正测量出想要测量的内容）都归咎于管理人员。
虽然在各种排名和评价中，文献计量数据很少作为唯一的信息，但科学家对文献计量学的突然发现，让人们错误地认为“文献计量学”=“评价”，好像文献计量学在评价活动之外并没有其他的用途。事实上，由于缺乏认真的方法论反思，导致了科研评价中文献计量指标的滥用。尽管科学家在《自然》（Nature）、《科学》（Science）或者博客中频繁抱怨各种文献计量指标的使用和大学排名，但是到目前为止，大多数批评仅仅强调了所谓的文献计量指标的局限性，因此想当然地认为它们提供了其他有效指标。批评者很少质疑这些指标的认识论基础：这些指标本身是否有意义？这些指标所测量的是否是它们本应测量的内容？这些指标是否适用于它们应该测量的概念（质量、生产力、影响等）？等等。
有关文献计量学在科研评价中的弊端的研究文献非常丰富，甚至稍显冗余[3]，这些文献提出的问题往往是在概念与其指标之间界定不清的结果，也没有具体说明指标的有效性和有用性（如果有的话）的标准。评价是不可能完全避免的，关键是理解最常见的文献计量指标的具体属性，并对那些设计不当的指标和使用这些指标可能导致（或已经导致）的意想不到的负面后果进行严厉批评。尽管我们知道这些排名所使用的指标是无效的，而且只有大约15%的国际学生知道这些排名的存在，而这些国际学生中又仅有10%使用大学排名来择校。但是，当得知欧洲大学70%的高等教育管理者承认使用公开的大学排名来决策时，这一任务就更加紧迫了。
《大学的新衣？——对基于文献计量学的科研评价的反思》这本书的主要目的是以简洁的方式阐述文献计量学的基本概念和方法，以证明文献计量学比科研评价的范围广泛得多。科研评价是文献计量学方法相对较新的（和不恰当的）一个应用领域。第一章回顾了文献计量学作为一个研究领域的起源，梳理了文献计量学从图书馆管理（20世纪50、60年代）到科学政策（20世纪70年代）再到科研评价（20世纪80年代）的应用与发展的演变过程。第二章对出版物和引文模式的研究，在一定程度上为分析全球科学随时间推移的动态发展提供了一个独特的工具。一直以来，科学家之间流传着关于出版物和引文的许多“神话”，但事实证明，它们缺乏经验基础，只是“神话”而已。第三章证明了科研评价是一种非常古老的实践活动，它随着17世纪中叶科研论文的出现而诞生，又在20世纪增加了新的层次，包括对拨款、研究生课程、研究实验室乃至将大学作为一个整体进行评价。所有这些评价基本上是质性的，并以同行评价委员会的评议为基础，直到20世纪80年代文献计量指标才开始被用于科研评价，补充定量评价部分。根据实证主义的“决策”概念，传统的质性方法如今被认为过于主观而无法令人信服，定量评价则被认为比传统质性方法更为客观。
毫无疑问，当越来越多的定量指标被用于高等教育机构与研究者评价时，这些定量指标也越可能被滥用。因此，第三章和第四章分析了界定不清的定量指标的不当应用，即那些对研究动态产生反常的、意外影响的应用，以及那些更糟糕的滥用，包括操纵数据，甚至贿赂作者，让其在论文中添加新的署名学校地址，以提升某些机构在世界大学排名中的名次。《大学的新衣？》一书还讨论了文献计量指标的倡导者及批评者很少提及的问题，例如，为什么所谓的期刊影响因子要保留到小数点后三位？哪些人真正需要了解期刊论文的质量？换言之，本书关注评价的政治性，并试图证明使用数字是控制科学家并在评价过程中降低其自主性的一种方式。
目前，在蓬勃发展的评价市场中流行着各种各样的文献计量指标。为了更好地进行质量控制，本书最后一章分析了这些指标所用的数据来源及其局限性，并且在给定的分析范围里提出了建立指标有效性（比如个人、机构或国家）的精确标准。许多大学管理者基于学校的排名去调整他们的实践与政策，反过来，这些实践与政策又是基于对科研质量的不当评价，《大学的新衣？》一书也试图厘清这其中的缘由。总之，作者伊夫斯·金格拉斯反对不假思索地依赖文献计量学，并反对将文献计量学作为研究水平的评价指标。金格拉斯表示，文献计量排名缺乏真正的科学效度，很难达到他们的测量目的。大学急于让无效指标影响其科研战略，事实上是在重演“皇帝的新衣”（The Emperor’s New Clothes）这个古老的故事。
评论
还没有评论。