📫 您如果想联系我，可以直接以下方式

  • 邮箱地址： [email protected]
  • 微信：echo -n 'eGlleWRkX2hhaGEK' | base64 -d
  • 电话：13253537292

欢迎关注我的小红书和微信公众号：东仔 AI Infra

点击展开微信公众号二维码

微信公众号 东仔 AI Infra

💻 截止到 2026 年，拥有超过 8 年云与 AI 基础设施、MLSys、数据库与系统工程经验。目前专注于 AI Agent 的云基础设施与核心运行时，重点解决虚拟化、有状态运行时生命周期、checkpoint/restore、资源隔离与生产可靠性问题。过往经验还覆盖云原生 AI 训练/推理平台、PostgreSQL 与向量数据库托管平台、存储加速和资源调度。热衷于将底层系统能力转化为可靠、可维护的云产品，并通过开源持续分享实践经验。

2026.6.15-至今 Runta

Member of Technical Staff - Cloud Infrastructure & Core Runtime

  • 负责虚拟化与存储子系统的可靠性建设，系统性分析并解决 checkpoint/restore 链路中的数据一致性与故障恢复问题，完善 Guest、VMM 与磁盘状态之间的一致性边界。
  • 负责基于 Kubernetes 的控制面架构改造与核心功能研发，引入声明式状态管理和自动化运维机制，降低集群生命周期管理与故障处置复杂度。
  • 设计面向 Agent Runtime 的旁路调度架构，解耦资源分配与 Kubernetes 原生调度链路，支撑大规模 Agent 任务的高并发调度与弹性资源管理。
  • 设计并研发面向 SRE 与通用软件工程场景的 Agent 系统，建设任务编排、工具调用、上下文与记忆管理、执行状态持久化及可观测性能力，支持长时间任务的可靠执行与人机协作。

2023.5-2026.6 TensorChord（被 Databricks 收购）

  1. 负责在 GCP 上构建无服务器模型推理平台 ModelZ，围绕冷启动、镜像预热、P2P 分发、Lazy Load、模型缓存服务等关键路径优化推理性能：
  • 通过构建缓存模型服务、镜像预热等手段优化模型服务的冷启动时间
  • 基于 vLLM 部署开源模型以及托管用户 LoRA 模型，通过 KVCache、调度等手段提高大模型吞吐，减少 TTFT，降低 tail latency
  1. Cloud Team Leader: 构建向量数据库 VectorChord 的云服务以及客户支持 VectorChord Cloud
  • 在 AWS 上构建基于 PostgreSQL 的向量数据库，实现控制面、数据面分离，BYOC(Bring Your Own Cloud)、BYOD(Bring Your Own Data) 等功能
  • 引入云原生架构，实现 PostgreSQL 存算分离、高可用、Backup、PITR(Point-In-Time Recovery)、In-Place Upgrade 等功能
  1. Agent Harness 与新业务探索：
  • 构建基于 PostgreSQL 的企业级知识库 RAG 系统，作为 Agent 记忆模块的基础设施能力；接入 Linear、Gmail、GitHub 等 15 类办公系统，提供向量、BM25 混合检索能力
  • 研发基于 eBPF 的 Agent 安全项目，通过 CLI 结合 Skill 提供 Prompt Injection 防护、Agent Behavior Detection、Agent Native 等安全能力，并构建 Skill Security SaaS 平台帮助企业提升 Skill 安全性，降低供应链风险

2021.2-2023.5 Tencent Cloud

  1. 构建公有云大规模 AI 平台：
  • 通过腾讯云 EKS（Elastic Kubernetes Service）构建高性能、可伸缩的弹性离线训练平台
  • 结合腾讯云对象存储以及 GooseFS 加速器，构建云上高性能缓存调度系统，提升训练数据访问效率
  1. 构建 FinOps 基础设施帮助公共云中的客户更轻松地管理优化云成本，提升云资源利用率：
  • 通过调度时以及重调度优化，通过高低优任务识别，智能弹性扩缩容
  • 结合腾讯如意内核调度器优化以及可观测性，在保证服务质量的同时进行成本优化
  • 在内部云中大规模推出降低成本计划，通过资源的合理分配，提升资源利用率

2018-2021.2（含实习）Unisound

  1. 在 AI 算法公司 Unisound 负责 Atlas 超算平台的研发和运维，支撑 AI Labs 不同算法团队完成 NLP、TTS、ASR 以及 CV 模型训练任务。主要工作如下：
  • 开发大规模智能调度系统，优化多租户资源分配和训练资源利用效率，MFU 从 15% 提升到 30%
  • 优化高性能分布式文件系统 Lustre 的性能
  • 构建多层缓存的云原生架构以加速 AI 模型训练
  1. 在 Unisound 从事 8 比特训练及推理优化工作，参与视觉模型 8 比特推理优化，在昆仑芯与 NVIDIA Edge Device 上落地优化工作

技能栈：

  • Languages: Rust, Go, Python, SQL
  • Virtualization & Runtime: KVM, Cloud Hypervisor, microVM, QCOW2, cgroup v2
  • Cloud Infrastructure: Kubernetes, Docker, GCP, AWS, Terraform, Ansible
  • Distributed Systems: Control Plane, State Reconciliation, Resource Scheduling, Capacity Management, Fault Recovery
  • Agent Systems & Tooling: Coding Agents, SRE Agents, Agent Harnesses, Tool Orchestration, Long-running Tasks, Context & Memory Management, Evaluation & Observability
  • Databases & Retrieval: PostgreSQL, Vector Databases, Vector Search, RAG
  • Security: eBPF, Runtime Security, Agent Security, Prompt Injection Defense, Software Supply Chain Security
  • Domain Specializations: Stateful Runtime Lifecycle, Storage Consistency, Runtime Relocation, Platform Reliability, Agent Infrastructure

开源项目

🌱 目前专注在 Agent Runtime、虚拟化、分布式系统、PostgreSQL、MLSys、eBPF 以及 FinOps 方向，贡献了一些开源项目：

  1. fluid Fluid, elastic data abstraction and acceleration for BigData/AI applications in cloud. (Project under CNCF)
  2. crane Crane is a FinOps Platform for Cloud Resource Analytics and Economics in Kubernetes clusters. The goal is not only to help users to manage cloud cost easier but also ensure the quality of applications.
  3. crane-scheduler Crane scheduler is a Kubernetes scheduler which can schedule pod based on actual node load.
  4. creator Creator is the brain of crane project, contains crane core algorithm module and evaluation module.
  5. openmodelz One-click machine learning deployment (LLM, text-to-image and so on) at scale on any cluster (GCP, AWS, Lambda labs, your home lab, or even a single machine).
  6. clusternet [CNCF Sandbox Project] Managing your Kubernetes clusters (including public, private, edge, etc.) as easily as visiting the Internet
  7. vectorchord Scalable, fast, and disk-friendly vector search in Postgres, the successor of pgvecto.rs.

推荐博客

Type Author/Company Blog URL
Infra Chris Riccomini https://materializedview.io/
Infra Jack Vanlightly https://jack-vanlightly.com/
Math and Science 苏剑林 https://kexue.fm/
AI Infra Colfax https://research.colfax-intl.com/blog/
Postgres Gabriele Bartolini https://www.gabrielebartolini.it/articles/
AI Sebastian Raschka https://magazine.sebastianraschka.com/archive?sort=new
AI Algorithm Tom Yeh https://www.byhand.ai/
AI Infra Chip Huyen https://huyenchip.com/blog/