大型語言模型 (LLM) 在文字產生、解決問題及遵循指示方面取得了重大進展。隨著企業使用 LLM 開發尖端解決方案,可擴充、安全且有效率的部署平台需求越來越重要。Kubernetes 已成為擴展性、彈性、可攜性及抗逆力的首選選項。
In this demo, we demonstrate how to deploy fine-tuned LLM inference containers on Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE), a managed Kubernetes service that simplifies deployments and operations at scale for enterprises.該服務使他們能夠在自己的租戶內保留自訂模型和資料集,而無需仰賴第三方推論 API。
我們將使用文字產生推論 (TGI) 作為推論架構,以公開 LLM。