hezylo
本站致力于IT相关技术的分享
集成Puppet、Vercel Functions与Loki构建轻量级数据科学工作流 集成Puppet、Vercel Functions与Loki构建轻量级数据科学工作流
数据科学团队面临的一个普遍挑战是工程复杂性与快速迭代需求之间的矛盾。一个全功能的MLOps平台，例如基于Kubernetes和Kubeflow的体系，对于一个三到五人的小团队而言，其维护成本和认知负荷往往超过了它带来的价值。我们需要的是一个
2023-10-27 MLOps
Jupyter AI、数据科学与大数据 Loki Vercel Functions Puppet
构建分布式向量检索系统的深度可观测性：将语义元数据注入Zipkin链路 构建分布式向量检索系统的深度可观测性：将语义元数据注入Zipkin链路
一个常规的Zipkin链路图告诉我们，向量检索服务的P99延迟是300ms。这个数字本身毫无意义。它无法回答我们真正关心的问题：这300ms里，系统是在进行IVF索引的精排，还是因为数据节点间的不平衡导致了长尾查询？是ANN召回率过低，触发
2023-10-27 可观测性
Zipkin 分布式与中间件 Vector OpenTelemetry Golang
集成ActiveMQ与Koa实现Flink端到端Exactly-Once语义的架构复盘 集成ActiveMQ与Koa实现Flink端到端Exactly-Once语义的架构复盘
我们面临一个棘手的需求：一个外部系统通过HTTP API推送关键业务事件，我们的后端系统必须对这些事件进行有状态的流式处理，并且从数据接收到处理完成，整个链路必须保证“精确一次”（Exactly-Once）语义。任何事件的丢失或重复处理都可
2023-10-27 数据工程
Apache Flink Koa ActiveMQ GitHub Actions Babel
构建基于 NestJS 的 Celery 任务代理网关以实现异构解耦 构建基于 NestJS 的 Celery 任务代理网关以实现异构解耦
在维护一个混合技术栈的系统时，一个常见且棘手的问题是如何优雅地让不同语言构建的服务协同工作。当我们的核心后端是基于 NestJS (Node.js) 构建，而大量的数据处理、机器学习或长耗时任务依赖于 Python 生态的 Celery 时
2023-10-27 后端架构
Celery NestJS 网关与代理 分布式系统 异构集成
使用Dart Clojure与Podman构建一个轻量级多语言构建系统的控制平面 使用Dart Clojure与Podman构建一个轻量级多语言构建系统的控制平面
团队内部的构建和测试流程正逐渐演变成一场灾难。每个项目都有一套独特的、由Makefile、package.json脚本和大量bash脚本粘合而成的自动化体系。新成员需要数天时间才能在本地成功运行一次完整的测试，而CI环境则是一个没人敢碰的黑
2023-10-27 DevOps
Dart Podman Clojure IDP CI/CD
构建基于 Google Cloud Functions 与 mTLS 的分布式实时特征存储摄取层 构建基于 Google Cloud Functions 与 mTLS 的分布式实时特征存储摄取层
定义问题：特征工程中的零信任摄取挑战在机器学习系统中，特征存储（Feature Store）是连接数据管道与模型训练/推理的枢纽。一个关键挑战在于如何构建一个安全、低延迟、高可用的实时特征摄取（Ingestion）层。数据源可能来自内部的多
2023-10-27 分布式架构
Google Cloud Functions Feature Store 分布式与中间件 mTLS
5 / 5