模型卡片指南
模型卡片是机器学习模型的重要文档和透明度框架。我们相信模型卡片有潜力作为边界对象,这是一个单一的人工制品,可供具有不同背景和目标的人在与模型卡片交互时访问——包括开发者、学生、政策制定者、伦理学家、受机器学习模型影响的人以及其他利益相关者。
我们认识到,开发一个单一的人工制品来服务于如此多方面的目的是困难的,需要仔细考虑潜在用户和使用案例。作为 Hugging Face 科学团队的一部分,我们在过去几个月的目标是帮助将模型卡片朝着这一愿景付诸实践,同时考虑到这些挑战,无论是在 Hugging Face 还是在更广泛的 ML 社区中。
为了实现这一目标,重要的是要认识到那些深思熟虑、专注的努力,这些努力帮助模型卡片发展成为今天的样子,从模型卡片在许多大型组织中被采用为标准做法,到开发用于托管和生成模型卡片的复杂工具。 自 Mitchell 等人(2018)提出模型卡片以来,机器学习文档的格局已经扩展和演变。大量用于数据、模型和 ML 系统的文档工具和模板已被提出并发展——反映了数百名研究人员、受影响的社区成员、倡导者和其他利益相关者的令人难以置信的工作。 关于 ML 文档与负责任 AI 变革理论之间关系的重要讨论创造了持续的重要讨论,有时也存在分歧。我们也认识到模型卡片面临的挑战,这些挑战在某种程度上反映了机器学习文档和负责任 AI 工作更普遍面临的挑战,我们看到了未来的机会,可以在未来几个月和几年中帮助塑造模型卡片及其发挥积极作用的生态系统。
我们的工作展示了我们认为模型卡片目前的状况以及它们未来可能走向的观点,无论是在 Hugging Face 还是在更广泛的范围内。 这项工作是对模型卡片当前状态的"快照",基于对 ML 文档人工制品实例化多种方式的格局分析。它代表了关于模型卡片当前状态和更具抱负愿景的多种观点之一。 在这篇博客文章中,我们总结了我们的工作,包括对更广泛、不断增长的 ML 文档工具格局的讨论、模型卡片的不同受众和观点,以及模型卡片内容的潜在新模板。 我们还在 Hugging Face Hub 的背景下探索和开发机器学习模型的模型卡片,使用 Hub 的功能来协作创建、讨论和传播 ML 模型的模型卡片。
随着本指南的发布,我们引入了几个新资源,并将之前关于模型卡片的工作联系在一起:
-
更新的模型卡片模板,在
huggingface_hub库中发布 modelcard_template.md 文件,汇集了学术界和整个行业的模型卡片工作。 -
带注释的模型卡片模板,详细说明如何填写卡片。
-
模型卡片创建工具,无需编程即可轻松创建卡片,并帮助团队分担不同部分的工作。
-
关于 Hugging Face 模型卡片使用的用户研究
-
模型文档最新技术的格局分析和文献综述
我们还包含一个附录,其中包含此工作的更多详细信息。
请引用为: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook