Радио-Т 929

6958.011 - 6988.946 Умпутун

Дело даже не в этом. Дело в том, что есть так называемая реверсивная метрика. То есть, на самом деле, смотреть надо не... В данном конкретном случае, когда речь идет про MMLU, там есть процент, условно говоря, процент правильных ответов, если так упрощать. И если без кастомного промта ChatGPT отвечает на эти вопросы с качеством 85%, а с промтом на 90%, то смотреть надо в обратную сторону.