CMMLU是一个综合性的中文评估基准,用于评估语言模型在中文语境下的知识和推理能力。
CMMLU有哪些功能?
CMMLU涵盖了从基础学科到高级专业水平的67个主题,包括自然科学、人文科学、社会科学和生活常识等。它提供了五次测试和零次测试两种评估方式,以展示模型在不同情境下的表现。
应用场景:
CMMLU可用于评估中文语言模型的能力,帮助研究人员和开发者了解模型在不同任务和领域中的表现,从而改进和优化模型。
CMMLU:https://github.com/haonan-li/CMMLU?
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...