Относится к сборнику статей теории МВАП
Рецензирование научных работ
Английская версияСуществуют международные руководства и основополагающие работы, посвященных принципам и методологии рецензирования.
COPE (Committee on Publication Ethics) - это главный источник по этике публикаций.
The Peer Review Congress (ежегодная конференция с 1989 г.) - ведущий форум публикации исследований по методологии и практикам рецензирования.
ICMJE (InternationalCommitteeofMedicalJournalEditors) - содержат разделы, посвященные роли и обязанностям рецензентов.
Классической работой является исследование Петерса и Сили (Peters & Ceci, 1982), которые разослали уже опубликованные статьи в те же журналы под другими именами и аффилиациями, и большая часть их была отвергнута, что показало влияние институциональной предвзятости.
Этические принципы публикационной деятельности – Российский аналог рекомендаций COPE, разработанный и поддерживаемый Ассоциацией научных редакторов и издателей (АНРИ).
Общепринятые принципы научной методологии рецензирования:
1. Объективность и беспристрастность
Рецензент должен оценивать работу исключительно по её научной ценности, а не по личным симпатиям, репутации автора, его аффилиации или другим несущественным факторам. Конфликты интересов следует декларировать и при необходимости — отказываться от рецензирования.
2. Научная обоснованность
Все критические замечания и рекомендации должны быть подкреплены аргументами: ссылками на теории, эмпирические данные, методологические стандарты или логические противоречия в тексте. Субъективные мнения без обоснования недопустимы.
3. Конструктивность
Цель рецензирования — не «отсеять» работу, а помочь автору улучшить её. Даже при серьёзных недостатках рецензент должен предлагать пути их устранения или указывать на возможные альтернативы.
4. Соответствие методологическим стандартам дисциплины
Рецензент оценивает, насколько исследование соответствует принятым в данной научной области стандартам: корректность выборки, валидность методов, адекватность статистического анализа, обоснованность выводов и пр.
5. Уважение к автору
Даже в случае критики тон рецензии должен быть профессиональным и уважительным. Уничижительные формулировки, сарказм или пренебрежение недопустимы.
6. Конфиденциальность
Рецензент обязан сохранять конфиденциальность содержания рукописи и не использовать полученные сведения в личных целях до публикации.
7. Полнота анализа
Рецензия должна охватывать все ключевые аспекты работы:
- научную новизну и значимость,
- логическую структуру и ясность изложения,
- корректность методологии и интерпретации результатов,
- полноту и релевантность литературного обзора,
- соответствие формальным требованиям журнала (если применимо).
8. Ясность формулировок
Замечания и предложения должны быть сформулированы чётко, недвусмысленно и конкретно, чтобы автор мог их понять и реализовать.
Общие принципы методологии рецензирования
Прежде всего научный рецензент должен иметь безупречную модель принципов научной методологии (fornit.ru/66449), без чего он не вправе приступать к оценке чужой работы, даже если является специалистом в этом направлении. Если рецензированная работа имеет новизну и авторами было потрачено много времени на сопоставления и обобщения, то у рецензента нет достаточно времени на то, чтобы, в свою очередь, сформировать в своем субъективном представлении достаточно адекватную модель и сопоставить ее с экспертной моделью своих предшествовавших представлений. Даже если рецензент видит нечто противоречащее своим представлениям (которые и есть отражение достигнутого в данной предметной области), у него нет времени на проведения корректных исследований. Поэтому главная задача рецензента – 1) оценка соответствия методов и утверждений работы общим принципам научной методологии (не вызывающей сомнения аксиоматике научной методологии), а в системе основополагающих аксиом (а не постулированных утверждений) работы – 2) оценка противоречащего аксиоматике данной предметной области.
В первом случае работа может быть признана ненаучной (раз есть нарушение научной методологии) и авторам возвращается замечание, которое он, возможно сможет учесть без нарушения выводов работы.
Во втором случае авторам следует предложить обосновать конкретными экспериментальными данными сомнительный аксиоматический вывод. В любом случае рецензент не отвергает, а запрашивает уточнения определенности.
Сказанное можно считать наиболее общими принципами методологии научного рецензирования, которые включают в себя все пункты и вообще все, что нужно иметь в виду при рецензировании. Это дает наиболее точную методику рецензирования всего двумя пунктами.
Принцип 1. Проверка на научность
- Суть: Оценка соответствия работы не вызывающей сомнения аксиоматике научной методологии (логическая непротиворечивость, верифицируемость/фальсифицируемость, воспроизводимость, причинно-следственная обоснованность).
- Действие рецензента: Выявив потенциальное нарушение, рецензент не отвергает работу, а формулирует «запрос на определенность», требуя от авторов уточнить, каким образом их подход согласуется с нарушаемым фундаментальным принципом.
- Результат:
- Если авторы могут дать удовлетворительное методологическое обоснование — работа проходит на следующий уровень.
- Если нет — работа признается методологически некорректной (ненаучной) на фундаментальном уровне, и ее доработка возможна только через устранение этого базового противоречия.
Принцип 2. Проверка на соответствие контексту знания
- Суть: Оценка того, насколько убедительно работа обосновывает свои утверждения, если они противоречат экспертной модели (устоявшейся парадигме) данной предметной области.
- Действие рецензента: Выявив противоречие, рецензент не отвергает его на основе личного авторитета или консерватизма, а формулирует «запрос на обоснованность». Он требует от авторов предоставить экспериментальные данные и аргументы, достаточные для пересмотра устоявшихся взглядов.
- Результат:
- Если авторы предоставляют исчерпывающие и методологически безупречные доказательства — их новаторский результат укрепляется.
- Если доказательная база недостаточна — выводы работы ослабляются до уровня гипотезы, требующей дальнейшей проверки, либо возвращаются авторам на доработку.
Такой подход претендует на роль основного принципа этического и интеллектуального кодекса научного рецензента — особенно в условиях роста междисциплинарных, смелых и технически сложных исследований, где традиционные экспертные рамки часто оказываются недостаточными. Он обеспечивает согласованность и проверяемость сделанных выводов другими экспертами.
Метод позволяет переложить основную работу на системы GPT, потому что GPTобладают наиболее полноценным массивом данных до времени последнего обучения, и не воспользоваться таким массивом означает высокую вероятность упущенных моментов.
В отличие от человека, модель не обладает «карьерной инерцией» или эмоциональной привязанностью к парадигме — она следует инструкции.
Можно рекомендовать основу контекстного промпта, который уже дает очень хороший результат:
Нужна верификация и оценка соответствия принципам научной методологии. В случае найденного несоответствия не вызывающей сомнения аксиоматике научной методологии, следует дать соответствующее замечание.
Начинай оценку с позиции ведущего ученого, но как только встречается что-то противоречащее, что постулирует или выводит новая теория, нужно 1) допустить, а что если это верно и проверить, насколько аргументы корректны (не с позиции ортодоксальных представлений, а их логика выстраивания), и если они корректны, 2) принять как постулат для построения каркаса новых представлений. Конечная оценка зависит не от того, насколько новая теория противоречит представлениям ведущего ученого, а с позиции целостности и корректного взаимодействия принципов новой теории.
Строгий промпт, исключающий вольности GPT:
Ты — интеллектуальный ассистент для методологической проверки научной работы. Твоя задача — верификация на соответствие фундаментальным принципам научной методологии.
**Жесткие правила (Не подлежат интерпретации):**
1. Проверь работу на соответствие не вызывающей сомнения аксиоматике:
* *Логическая непротиворечивость:* Отсутствуют ли прямые логические противоречия в утверждениях?
* *Верифицируемость/Фальсифицируемость:* Можно ли в принципе проверить утверждения работы опытным путем?
* *Определенность понятий:* Все ли ключевые термины имеют четкие определения?
2. При обнаружении нарушений на этом уровне — сформулируй четкое замечание, указав на конкретное нарушение и его природу.
**Гибкая методология (Для проверки новых теорий):**
1. Если работа предлагает новую теорию, противоречащую устоявшимся представлениям, НЕ отвергай ее на этом основании.
2. Действуй по алгоритму:
* **Шаг 1: Деконструкция.** Выдели базовые постулаты новой теории. Четко раздели, что является исходным утверждением, а что — логическим следствием.
* **Шаг 2: Внутренняя проверка.** Проверь, является ли теория **интернально непротиворечивой**. Выстраиваются ли логические следствия из ее постулатов без нарушений логики? Все ли следствия учтены?
* **Шаг 3: Проверка на прочность.** Проанализируй, насколько предлагаемые авторами аргументы и данные (если они есть) подтверждают именно их систему постулатов, а не альтернативные объяснения.
* **Шаг 4: Сравнительный анализ.** Только после шагов 1-3 можно осторожно сравнить прогностическую силу или эвристическую ценность новой теории с существующей, но не как вердикт, а как вопрос для обсуждения.
**Критерий итоговой оценки:**
Работа считается методологически корректной, если она проходит проверку по "Жестким правилам" и демонстрирует внутреннюю логическую целостность на шагах 2 и 3 "Гибкой методологии".
Твоя роль — не судить, "верна" ли теория, а оценить, является ли она корректно построенной научной гипотезой.
Другой вариант промпта:
Ты — рецензент высшего уровня, действующий по следующему протоколу:
1. **Этап 1: Проверка на соответствие универсальным принципам научной методологии**
— Оцени логическую непротиворечивость, операциональную ясность, возможность фальсификации, воспроизводимость, корректность выводов из данных.
— При обнаружении нарушений — зафиксируй их как критические замечания. Такая работа считается ненаучной, независимо от содержания.
2. **Этап 2: Оценка новизны в контексте предметной области**
— Если работа противоречит устоявшимся положениям, не отвергай это сразу.
— Переключись в режим: «Допустим, это верно. Какие постулаты и следствия это влечёт?»
— Проверь:
a) внутреннюю согласованность новой теории,
b) достаточность аргументации (логической или эмпирической),
c) возможность её интеграции или сопоставления с существующими данными.
— Если теория методологически корректна, примите её постулаты *в рамках анализа* и оценивай работу по внутренней целостности, а не по степени несогласия с ортодоксией.
Итоговая оценка зависит **не от того, насколько работа «знакома»**, а от того, насколько она **научна по форме и обоснована по содержанию**.
Рецензенту останется лишь проверить выданные GPTрезультаты, высказать мнение и запросить уточнения у авторов.
Предложенная методика позволяет давать сопроводительный текст к научным работам, который обращает внимание рецензента на важные принципы, облегчающие его работу. Пример такой вставки:
Для противодействия эффекту Земмельвейса (fornit.ru/68139) и синдрому предвзятости (fornit.ru/68578) существует методика оценки научности и верности работы всего из двух пунктов, которая позволяет учесть все общепринятые этические и научные принципы научного рецензирования и максимально минимизировать время на это, даже если оппонент не является специалистом в данной предметной области: fornit.ru/71526.
Дополнительно про оппонирование в контексте сказанного: fornit.ru/71498.
Nick Fornit
18 Nov 2025