▍使用Kuasar和WasmEdge在Kubernetes上部署大语言模型

作者：老汪软件技巧
发表时间：2024-09-05 11:01
浏览量：

8月21日-23日，由云原生计算基金会（CNCF）和 Linux 基金会联合主办的KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024 大会在中国香港盛大召开。会上，多位Kuasar社区Maintainer分享了关于云原生容器运行时与大模型等领域前沿技术的案例实践与经验思考。

KubeCon China 2024 主题演讲

Kuasar[1]于2023年4月在KubeCon Europe上由华为云联合多家企业和社区发起，12月正式成为CNCF首个多沙箱容器运行时项目。Kuasar基于 Rust 语言实现，提供基于 MicroVM/App Kernel/WebAssembly / runC类型的沙箱容器，融入了各企业和社区在容器运行时领域的前沿探索、技术积累和生产实践，开源至今受到业界的广泛关注和支持，已收获1200多个GitHub Star和85个Fork，数十位来自外部企业、高校的开源爱好者参与开发贡献和积极落地应用。

Kuasar 社区 Maintainer Burning Zhang（华为云），携手WasmEdge社区创始成员Vivian Hu（Second State）带来了主论坛演讲《使用Kuasar和WasmEdge在Kubernetes上部署大语言模型》。

《使用Kuasar和WasmEdge在Kubernetes上部署大语言模型》

大语言模型（LLM）是强大的人工智能工具，能够理解并生成自然语言。然而，传统运行LLM的方法面临着诸多挑战，包括复杂的软件包安装、GPU设备兼容性问题、不灵活的扩展性、有限的资源监控和统计，以及存在安全漏洞。云原生人工智能（CLOUD NATIVE ARTIFICIAL INTELLIGENCE）白皮书[2]指出：

“WASM is a platform-independent, efficient CN approach to inference.”

“WASM 是一种高效、平台无关的云原生推理方法。”

云原生人工智能（CLOUD NATIVE ARTIFICIAL INTELLIGENCE）白皮书

WasmEdge 提供了一种基于 WebAssembly 运行时的解决方案，使得开发快速、灵活、资源高效且安全的 LLM 应用程序成为可能。Kuasar 作为容器运行时，无缝集成了 WebAssembly 运行时，使应用程序能够在 Kubernetes 集群上顺利运行。

在Kubernetes中集成LLM

借助 Kuasar 和 WasmEdge 在 Kubernetes 集群中运行大模型负载的实践，成功解决了大模型应用开发和部署的两个关键痛点问题。

首先，通过 WebAssembly 技术，解决了传统技术在跨平台兼容性和复杂依赖性方面的挑战。开发者不再需要为不同 CPU 架构之间的编译与运行问题头疼，也无需为不同 GPU 驱动版本的兼容性以及 Python/PyTorch 复杂的依赖包问题而烦恼。WebAssembly 提供了一个统一的运行环境，使得跨平台的应用开发和部署变得更加简洁和高效。

另一方面，Kubernetes 集群本身为 LLM 负载程序提供了强大的容器编排能力，极大地简化了大模型的开发和部署过程。

通过这些能力，Kubernetes 不仅简化了大模型应用的部署和管理，还大幅提升了其运行效率和稳定性，加速云原生技术与 AI 生态的深度融合与发展。

▍基于Containerd的Sandbox API构建容器运行时

华为云云原生团队，Kuasar社区Maintainer Abel Feng和来自DaoCloud的Containerd Committer 蔡威共同分享了《如何基于Containerd的Sandbox API构建容器运行时》。

《如何基于Containerd的Sandbox API构建容器运行时》

随着不同类型的隔离技术（如沙箱）的引入，容器现在更多地是一组API规范，而不是单一技术。目前Containerd社区已经社区围绕Sandbox概念衍生出一套新的数据结构和管理接口Sandbox API, 以便轻松集成不同类型的沙箱技术，使其成为容器运行时。

Containerd中的Sandbox 和Container

基于Sandbox API接口实现，Kuasar 结合了华为云多年生产业务实践以及对沙箱技术发展的思考，在保留传统容器运行时功能的基础上，通过全面Rust化以及优化管理模型和框架等手段，进一步降低管理开销、简化调用链路，灵活扩展对业界主流沙箱技术的支持，实现云原生业务场景全覆盖。此外，通过支持多安全沙箱共节点部署，Kuasar可以充分利用节点资源、降本增效，为用户提供更安全高效的沙箱场景解决方案。

Kuasar全景图

南向沙箱方面，Kuasar已支持基于轻量级虚拟化技术的安全容器沙箱（Cloud Hypervisor、Qemu、StratoVirt），基于新兴的WebAssembly沙箱（WasmEdge、Wasmtime），基于进程级虚拟化的App Kernel沙箱（Quark）以及基于内核的原生普通容器沙箱（runC）；北向引擎方面，Kuasar已与Containerd联合构建最新的沙箱接口标准，并共同推动该标准在Containerd v2.0版本的完整实现。此外，轻量级容器引擎iSulad项目也已经完成与Kuasar项目的深度集成，支持在openEuler 23.09创新版本上一键部署。

Kuasar各 sandbox架构图

应用场景方面，Kuasar 在轻量级安全容器、公有云远程沙箱以及基于 WebAssembly的 LLM 推理场景下展现了其巨大的架构优势。通过 Kuasar，用户能够在轻量级虚拟机中实现高效、安全的资源隔离与管理，甚至可以将远程的IaaS的虚拟机作为沙箱进行灵活管理。此外，在运行 LLM 推理任务时，Kuasar 的架构能够充分利用 WebAssembly技术，实现高效的资源利用和跨平台兼容性，为 AI 应用提供了基础架构支持。

目前，Kuasar社区已经发布v1.0.0版本[3]，这是该项目的一个重要里程碑。此次发布的版本标志着 Kuasar 的 Cloud Hypervisor 沙箱容器已经达到了稳定和成熟的阶段，可为开发者和企业用户提供了更为安全的云原生容器化部署，以提升容器的安全性和隔离性。用户可通过小规模测试，验证其在实际场景中的表现。

▍总结

在本届 KubeCon 大会上，Kuasar社区联合WasmEdge社区分享了对大模型应用在云原生场景的部署，加速AI在云原生领域的落地，和Containerd社区展示了应用最新的Sandbox API构建多沙箱容器运行时的可能，以及Kuasar 社区在这方面的应用案例和探索，旨在帮助开发者和企业用户更好地容器化上云。大会期间带来的新版本v1.0.0性能更加成熟，欢迎大家体验。

展望未来，Kuasar 将继续致力于云原生多沙箱容器领域的深入研发，深入挖掘和满足更多用户场景的需求，不断优化和扩展技术栈，为用户提供更加全面、成熟和高效的解决方案。