Loading...

CMMLU:一个用于评估中文语言模型的综合性基准,涵盖了多个领域和任务,旨在提供对模型在中文语境下的知识和推理能力的评估

AI大模型3个月前发布 阿强
27 0

CMMLU是一个综合性的中文评估基准,用于评估语言在中文语境下的知识和推理能力。

CMMLU有哪些功能?

CMMLU涵盖了从基础学科到高级专业水平的67个主题,包括自然科学、人文科学、社会科学和生活常识等。它提供了五次测试和零次测试两种评估方式,以展示模型在不同情境下的表现。

应用场景:

CMMLU可用于评估中文语言模型的能力,帮助研究人员和开发者了解模型在不同任务和领域中的表现,从而改进和优化模型。

CMMLU:https://github.com/haonan-li/CMMLU?

CMMLU:一个用于评估中文语言模型的综合性基准,涵盖了多个领域和任务,旨在提供对模型在中文语境下的知识和推理能力的评估插图
    © 版权声明

    相关文章

    暂无评论

    暂无评论...