CMMLU：一个用于评估中文语言模型的综合性基准，涵盖了多个领域和任务，旨在提供对模型在中文语境下的知识和推理能力的评估

CMMLU是一个综合性的中文评估基准，用于评估语言模型在中文语境下的知识和推理能力。

CMMLU有哪些功能？

CMMLU涵盖了从基础学科到高级专业水平的67个主题，包括自然科学、人文科学、社会科学和生活常识等。它提供了五次测试和零次测试两种评估方式，以展示模型在不同情境下的表现。

应用场景：

CMMLU可用于评估中文语言模型的能力，帮助研究人员和开发者了解模型在不同任务和领域中的表现，从而改进和优化模型。

CMMLU：https://github.com/haonan-li/CMMLU?