Кто оценивает науку?

Ученые показали, что процесс экспертной оценки научных работ — основной инструмент их "пропуска" в журналы — является крайне ненадежным в силу человеческого фактора. Свои наработки исследователи выложили в архив электронных препринтов Корнельского университета. Коротко работа описана на сайте Physics World.

В современной научной практике критерием для публикации статьи в научном журнале является ее оценка несколькими экспертами в соответствующей области — они читают присланные в редакцию работы и выносят решение, опубликовать их, отвергнуть или отправить на доработку. Эта система не считается идеальной (например, есть мнение, что ей не хватает открытости), однако большинство ученых полагают, что она является достаточно объективной и в целом работает удовлетворительно.

Авторы новой работы решили проверить, насколько система экспертной оценки устойчива к такому фактору как недобросовестные эксперты. Ученые разработали модель, в которую включили пять типов экспертов: правильные (отклоняют плохие работы и принимают хорошие), альтруисты и мизантропы (соответственно принимают или отклоняют все работы), рационалисты (отклоняют работы, которые могут отвести внимание от их собственных исследований) и случайные (принимают решения случайным образом из-за нехватки квалификации или времени).

Исследователи рассматривали схему, когда каждая новая работа направляется на рассмотрение двум экспертам, случайно выбранным из общего пула (внутри экспертного сообщества все типы экспертов представлены согласно гауссовскому, или нормальному, распределению). Работа считалась опубликованной, если оба эксперта давали ей положительную оценку. Если один был против, вероятность публикации принималась за 0,5.

После того как ученые "прогнали" модель для 1000 публикаций, они выяснили, что даже небольшой процент рационалистов и/или случайных экспертов способен существенно ухудшить качество отбираемых работ. Когда соотношение правильных, случайных и случайных экспертов в пуле составляло 1:1:1, статьи к публикации принимались фактически по случайному принципу.

Полученные результаты указывают, что адекватность экспертной оценки чрезвычайно сильно зависит от состава экспертов. Один из издателей физического журнала New Journal of Physics, ознакомившийся с результатами новой работы, заявил, что авторы недооценивают роль редакции журнала в процесс отбора публикаций. Именно редакция решает, кому из экспертов направить ту или иную работу, и старается избежать ситуаций конфликта интересов (хотя иногда — например, в случае узкой тематики — полностью исключить такой вариант нельзя).

Это не первая работа, в которой подвергаются сомнению существующие методы оценки значимости научных работ. Ранее ученые неоднократно высказывали претензии к системе, ранжирующей работы по их цитируемости (ссылки на статьи в статьях других авторов). Впрочем, на сегодняшний день более удобного и объективного способа оценки не существует.

Награды...Награды...Награды..

На состоявшемся в октябре нынешнего года в г.Солт-Лэйк-Сити (шт.Юта, США) 8-м ежегодном международном симпозиуме Фонда Франклина Кови (Franklin Covey) Космический центр имени Кеннеди был удостоен ежегодной премии Фонда, вручаемой за лидерство в своей сфере деятельности. Награду получил директор Центра Рой Бриджес (Roy Bridges). Центр имени Кеннеди был одной из шести организаций из различных стран мира, отмеченных этой престижной премией. Вручая награду, президент Фонда Роберт Уитмэн (Robert Whitman) отметил, что та стратегия подготовки кадров в Центре имени Кеннеди и те организационные изменения, которые проводятся уже пятый год и направлены на создание эффективной системы деятельности всех подразделений, заслуживают самого пристального внимания и могут быть применены в других организациях, стремящихся сохранить лидирующие позиции в XXI веке.

Компания The Employee Resource Council and Enterprise Development, Inc., ежегодно составляющая список 99 лучших предприятий и организаций Северо-Восточной части штата Огайо, включила в нынешнем году в свой перечень Исследовательский центр NASA имени Джона Гленна. Таким образом, отмечены усилия центра в ряде образовательных программ, а также его разработки, направленные на совершенствование условий труда и повышение безопасности на рабочих местах.

Покидающий пост президента Канадского космического агентства Мак Эванс (Mac Evans) удостоен медали NASA "За выдающиеся заслуги" — высшей награды американского аэрокосмического ведомства, вручаемой иностранцам. Таким образом, отмечены его заслуги в расширении сотрудничества США и Канады в деле освоения космоса и, в первую очередь, при строительстве Международной космической станции. Церемония вручения награды состоялась 31 октября нынешнего года в Вашингтоне (округ Колумбия, США).