Kubeflow 用户正在成熟，社区也在不断壮大，48% 的用户正在支持生产环境部署。

2021 年春季 Kubeflow 社区用户调查收集了 Kubeflow 用户关于机器学习用例的优势、差距和需求的反馈。这是迄今为止规模最大的一次调查，共收到 179 份回复，比一年前的 Kubeflow 1.0 社区用户调查增加了 50%。调查受访者涵盖了广泛的技能组合。其中 42% 是机器学习 (ML) 工程师，24% 是 ML 架构师，受访者的头衔从 DevOps 工程师到数据科学家和产品经理不等。

alt_text

Kubeflow 继续迈向生产环境

48% 的用户正在支持生产环境部署，高于去年的 15%。此外，许多人都有一个疑问：“人们是升级生产部署，还是只是安装一个新的集群然后重新开始？”看来后者更为普遍：只有 8% 的用户升级了他们的环境。

alt_text

与往年类似，Kubeflow Pipelines 和 Notebooks 是最受欢迎的组件，但其他组件现在也得到了广泛部署。TensorBoard 的受欢迎程度有所增长，与 KFServing、Katib (AutoML) 和分布式训练一起成为最受欢迎的附加服务。

alt_text

尽管 Kubeflow 组件的使用模式各不相同，但绝大多数用户在其 ML 平台中至少需要两个 Kubeflow 组件。

alt_text

TensorFlow 是领先的 ML 框架，其次是 Scikit-learn、PyTorch、Keras 和 XGBoost。然而，凭借 Kubeflow 内置的可扩展性，人们在 Kubeflow 中使用的 ML 工具不仅仅是训练框架，还包括 MLFlow、Airflow 和 Spark。

alt_text

VS Code 和 Jupyter 领先的开发环境

从集成开发环境 (IDE) 的角度来看，大多数用户在 Jupyter Notebooks 和 Visual Studio Code 中开发模型，大约三分之一的用户使用 PyCharm。

alt_text

从差距的角度来看，用户希望改进文档、教程和安装，并增加自动化、支持和安全性。

alt_text

Kubeflow 的用途不只是训练

用户指出数据预处理和转换是既耗时又最具挑战性的步骤。我们还收到了关于管道构建和特征工程既耗时又具挑战性的反馈。分布式训练、模型服务和监控似乎在技术上比在时间上更具挑战性。

alt_text

ML 模型交付通常需要多个团队协同工作，例如数据工程师、数据科学家、ML 工程师和运维工程师。ML 工作流通常包含手动流程，并且这些团队之间的交接可能存在差距。特别是，将数据管道连接到 ML 管道就是一个可以更好地自动化的流程，此外还有管道构建和模型监控。

alt_text

绝大多数 Kubeflow 用户在解决复杂问题方面能够自给自足

alt_text

许多用户正在使用云服务提供商（如 Google、AWS 和 Azure）创建的教程以及来自 Arrikto 的 MiniKF。

alt_text

大多数 ML 模型的生命周期相当短：约 50% 的模型在生产环境中运行 3 个月或更短。另一方面，25% 的模型在生产环境中保留 6 个月或更长时间。

alt_text

所有模型中约 70% 需要多达 15 次迭代才能生成适合生产环境的最终模型。

alt_text

用户在模型方面取得了广泛的成功：约 43% 的用户有超过一半的模型实现了商业价值。另一方面，39% 的用户只有极小一部分（10%）的模型投入生产并实现了商业价值。

alt_text

用户请求

我们提供了一个自由回复部分，收到了大量反馈。以下是一些用户请求的良好示例：

  • 元数据存储和版本控制
  • 模型/数据共享的更健壮的访问控制和权限粒度
  • 更多关于路线图的可见性
  • 安装模式、稳定性、多租户
  • 更多真实案例研究
  • 更新和更深入的文档

主要收获

除了了解用户如何在生产集群中运行 Kubeflow 之外，社区调查还为我们提供了重要数据，我们可以用这些数据来改进我们的流程

  • 改进发布管理流程，这将由更好的工作组间协作推动。这与 Istio 的核心升级和安装清单的清理相结合，将改进测试、文档和安装模式。
  • 管道构建和特征工程任务的自动化，特别是 Kubeflow 与 Kale 和 Feast 的持续集成，这将实现新的端到端工作流和教程。
  • 增强数据预处理和转换，并简化数据管道到 ML 管道的连接。此外，将重新努力开发 Spark operator。
  • 正在开发几个新的用户界面，即 Katib、模型管理、卷管理和 TensorBoard 管理，这将有助于改善用户体验。

有关社区和特定工作组交付成果的更多详细信息，请查阅 Kubeflow 1.3 版本发布博客文章。

加入社区

我们要感谢所有参与调查的人员。正如您可以从调查结果中看到的那样，Kubeflow 社区充满活力且多元化，正在为世界各地的组织解决现实问题。

想帮忙吗？Kubeflow 社区 工作组 举行公开会议、维护公共列表，并一直在寻找更多志愿者和用户来释放机器学习的潜力。如果您有兴趣成为 Kubeflow 的贡献者，请随时查看以下资源。我们期待与您合作！