BerriAI/litellm

它是做什么的

LiteLLM 是一个开源的 AI 网关，让你用 OpenAI 或各家原生格式统一调用 100 多个 LLM API。它内置成本追踪、护栏、负载均衡和日志记录，可自托管并面向企业级使用。

仓库包含什么

仓库同时提供 Python SDK（litellm 包）和 LiteLLM Proxy Server（AI 网关），并附带 Terraform 部署示例，覆盖 AWS、GCP 等云平台。

技术栈

以 Python 为主语言，核心网关用 Rust 重写以追求速度与轻量；通过 PyPI 分发，支持 Render、Railway、AWS、GCP 等一键部署。

适用场景

• 需要统一接入多家 LLM 并控制成本的 AI 应用开发者
• 希望自托管 AI 网关、做负载均衡与日志审计的平台团队
• 要在企业内落地护栏、配额与成本治理的工程负责人

为什么走红

已积累 60669 颗星，今日再增 95 星并登上 GitHub Trending 日榜第 7 名，反映出多模型接入与统一网关需求持续升温。

当前上榜位置