第三方扫描器：JFrog

JFrog 的安全扫描器可检测机器学习模型中的恶意行为。

danger.dat 的报告示例

我们与 JFrog 合作提供扫描，以使 Hub 更安全。模型文件由 JFrog 扫描器扫描，我们在 Hub 界面上显示扫描结果。

JFrog 的扫描器旨在减少误报。实际上，我们目前观察到的是，模型权重中包含的代码并不总是恶意的。当在文件中检测到代码时，JFrog 的扫描器将解析它并进行分析，以检查潜在的恶意使用。

以下是一个示例仓库，你可以查看以了解该功能的实际效果：mcpotato/42-eicar-street。

模型安全回顾

为了共享模型，我们序列化用于与模型交互的数据结构，以便于存储和传输。某些序列化格式容易受到恶意漏洞利用，例如任意代码执行（说的就是你 pickle），这使得共享模型可能很危险。

随着 Hugging Face 成为流行的模型共享平台，我们希望保护社区免受此影响，这就是为什么我们开发了 picklescan 等工具以及为什么我们集成第三方扫描器。

Pickle 并不是唯一可被利用的格式，请参阅参考了解如何利用 Keras Lambda 层来实现任意代码执行。