更新于 2026-11-05T07:57:30+00:00 · 实际模型:LongCat-2.0(3 个仓库的 18 个阶段降级到 gemini-3.1-pro-preview)
6 个候选任务
SGLang 是由 LMSYS 维护的开源高性能推理/服务框架,面向大语言模型(LLM)、视觉语言模型(VLM),并已扩展到扩散模型(图像/视频生成)、音频 Omni 等模态。它把 RadixAttention 这类早期学术工作工程化为一个生产级 serving stack,核心卖点是:结构化生成(guided decoding / grammar-base…
experimental/sgl-router/ 路由层(Rust 核心 + Python e2e + 与 Python Scheduler 的 load 协议桥接)
★ 37021 · 最近推送 2026-10-12
- 修复 OutputLogprobProcessor 在混合 batch 下返回空 list 导致的 tolist 崩溃
- sgl-router 与 Python Scheduler 之间 LoadStat 序列化合约测试
- 转录端点 multipart 上传无大小限制导致的内存耗尽漏洞
查看任务卡与实施方案 →
3 个候选任务
SGLang-Omni 是 sgl-project 下的多阶段(multi-stage)推理服务运行时,专门面向 omni 模型、语音 / TTS 模型以及统一多模态模型。它把一次生成拆成多个异构阶段——预处理、编码器、自回归引擎、talker、解码器、vocoder、聚合器——分别匹配不同的调度器与传输后端,对外暴露 OpenAI 兼容的 `/v1/aud…
Apple Silicon / MLX 后端负责人(sglang_omni_mlx/ + models/*/mlx/ + Apple Silicon 测试与基准)
★ 1323 · 最近推送 2026-10-08
- [Apple Silicon] 为 Fun-ASR TorchMPS runner 补 request builder 单元测试
- [Apple Silicon] 新增 Apple Silicon runtime_metrics 基准脚本(Qwen3-ASR MLX)
- [RFC] Full-Duplex Recoverable Unit Failures 中「Unit 生命周期状态机」子项
查看任务卡与实施方案 →
4 个候选任务
vLLM 是目前最活跃的开源 LLM 推理与服务引擎之一,起源于 UC Berkeley Sky Computing Lab,由 2000+ 贡献者维护。它围绕 PagedAttention 这一核心内存管理技术构建,解决大语言模型推理中 KV cache 内存浪费与吞吐瓶颈问题,同时提供 continuous batching、chunked prefil…
csrc/cpu/ + benchmarks/kernels/cpu/ + tests/kernels/ 的 CPU 回归测试,长期负责 vLLM CPU 后端的 kernel 优
★ 93192 · 最近推送 2026-10-05
- [CPU] 为 csrc/cpu/ 添加 batch-invariant greedy/top-k/top-p 采样内核
- [CPU] 为 cpu_fused_moe 与 mamba_cpu 添加微基准
- [Tests] 添加 CPU vs CUDA int8 quant / layernorm 精度对照测试
查看任务卡与实施方案 →
5 个候选任务
FlashInfer 是一个面向 LLM serving 的高性能 GPU 内核库与内核生成器,核心卖点是在 attention、GEMM、MoE、采样、通信等推理热点路径上提供统一 API,并在 FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM 等多个后端之间按硬件与负载自动选择最优实现。项目采用 JIT 编译为默…
flashinfer/experimental/ 的 Python 层(含 experimental API 的契约测试、backend 选择逻辑、错误路径、docstring、t
★ 6546 · 最近推送 2026-10-05
- test(cli): 为 flashinfer collect-env / show-config / list-modules 补单元测试
- docs(diffusion_ops): 补全 docstring、类型标注与最小可运行示例
- docs(experimental): 新增 experimental backend 开发 tutorial
查看任务卡与实施方案 →
4 个候选任务
FlashAttention 是 Dao-AILab 维护的高效精确注意力(exact attention)实现,围绕 Tri Dao 等人的 FlashAttention 系列论文演进:FA1(IO-aware exact attention)、FA2(更优并行与工作切分)、FA3(Hopper 优化,beta 版在 hopper/ 目录)、FA4(用 N…
FA4 调度层(flash_attn/cute/tile_scheduler.py + prepare_scheduler.py)与 MLA/稀疏 MLA 路径的“设计契约文档 +
★ 25119 · 最近推送 2026-10-07
- [Docs] 合并稀疏 MLA 精度设计笔记并补回归锚点
- [Tests] 为 #2986 新增 pre-softmax 最大 logit CPU 参考实现与接口契约测试
- [Docs] 新增 FA2/FA3/FA4 行为一致性对照矩阵
查看任务卡与实施方案 →
5 个候选任务
Tile Language(tile-lang)是由 Tile-AI 维护的 Pythonic DSL,目标是让高性能 GPU/CPU/NPU kernel 的开发更接近写 PyTorch,同时仍能做 tile 级别的底层优化。它构建在 Apache TVM 之上,自 TVM 的 TIR 之上发展出 TIRX IR 与一套独立的 pass 管道,并在 IR …
CPU / Metal / WebGPU 后端的 correctness 测试基础设施与调试工具链(transform pass 可视化、IR dump、JIT 缓存可观测性)
★ 8577 · 最近推送 2026-10-12
- [Maint][HostChecks] 新增 dtype 不匹配与 scope 错误的静态检查脚本
- [Test][CPU] 为 LLVM CPU 后端新增 GEMM / GEMV / elementwise correctness 评估
- [Docs][Tools] 为 lower_trace 与 pass_diff 新增端到端使用示例
查看任务卡与实施方案 →
4 个候选任务
🤗 Diffusers 是 Hugging Face 维护的扩散模型推理与训练工具库,定位是「state-of-the-art pretrained diffusion models for image, audio, and even 3D structures」的模块化工具箱。README 明确把设计哲学写成 usability over perform…
src/diffusers/schedulers/ + tests/schedulers/ + scripts/ 的 CPU 可验证层,并横向覆盖 benchmarks/ 的 CP
★ 34702 · 最近推送 2026-10-12
- [tests] 为 FlowMatchEulerDiscreteScheduler 补 CPU 数值回归测试
- [tests] 为 schedulers 在 MPS/CPU 上补 NaN / 越界契约测试(对齐 #15002)
- [models] 审阅 WanCausalConv3d F.pad 优化(#14993)并补 CPU 数值一致性测试
查看任务卡与实施方案 →
5 个候选任务
FastVideo 是一个面向视频生成大模型(如 Wan2.1/2.2, MiniMax-H3 等 DiT 架构)的端到端统一推理与后训练(Post-training)加速框架。它的核心价值在于打破了“训练”与“推理”的壁垒,通过算法层(DMD2 蒸馏、Video Sparse Attention 稀疏注意力、Self-Forcing 因果蒸馏)与系统层(定…
fastvideo/mlx_runtime (Apple Silicon 推理后端) 与 fastvideo/distributed (分布式调度逻辑)
★ 4486 · 最近推送 2026-09-21
- [perf] Reuse cached VAE offload for H3 reference and keyframe encoding
- [Bug] MPS generation fails when multiprocessing worker returns output tensors
- [Feature] Implement batching support for inference (Roadmap Q3)
查看任务卡与实施方案 →
5 个候选任务
TurboDiffusion 是清华大学机器学习组(THU-ML)开源的端到端视频扩散模型(DiT)推理加速框架。其核心目标是通过算法与系统协同设计,在单张消费级或数据中心 GPU 上实现 100-200 倍的生成加速,同时保持视频质量。项目目前处于早期快速迭代阶段(README 明确指出“checkpoints and paper are not fina…
分布式训练调度 (FSDP) 与硬件无关推理管线 (Hardware-Agnostic Inference)
★ 3762 · 最近推送 2026-08-27
- 修复 setup.py 编译参数,支持 Turing/Ampere 等旧架构
- 修复使用 original attention 时加载权重的 Unexpected key 错误
- 调查并修复 14B 480p 模型 local_attn 权重为 0 的问题
查看任务卡与实施方案 →
6 个候选任务
DiffSynth-Engine 是阿里 ModelScope 团队维护的一个面向扩散模型(Diffusion)推理的高性能引擎,核心定位是把 DiT、Wan2.x 系列视频模型、Qwen-Image、Flux 等主流生成模型做成一套自研、低依赖、可跨平台的推理管线。README 明示它“重新实现了 sampler、scheduler 等关键组件”,刻意避免…
diffsynth_engine/utils/ 模块 + algorithm 层的跨平台兼容性与测试覆盖
★ 433 · 最近推送 2026-09-03
- 为 FlowMatchEuler sampler 添加与 diffusers 的数值对齐测试(CPU)
- 修复 utils/parallel.py 对 torch 2.9 的兼容性(纯逻辑层)
- 为 FluxOutpaintingTool / QwenImageUpscalerTool 补充单元测试
查看任务卡与实施方案 →
2 个候选任务
FlexGEMM 是一个基于 Triton 的 3D 稀疏卷积 GEMM 后端,核心目标是在 Submanifold Convolution 与体素稀疏卷积的训练/推理路径上,用 Triton 重写高性能稀疏 GEMM kernel,从而在 A100 等 GPU 上稳定超越 spconv、torchsparse、fvdb 等现有方案。项目名字里的 'Flex…
ops/serialize + ops/utils + 全项目 CPU fallback 路径 + 测试/CI 基础设施
★ 154 · 最近推送 2026-06-25
- fix(autotune): 修复 @triton.heuristics 包裹 kernel 的 cache key 命名空间错误
- Roadmap #23 子任务:为 Triton autotune cache 设计版本化 schema 与校验
查看任务卡与实施方案 →
5 个候选任务
Molt 是 NVIDIA NeMo 实验室维护的一个 agentic-first 强化学习训练框架,定位是研究导向、PyTorch / HuggingFace 原生、面向 1T 级 MoE 规模的全异步 agentic RL。它把整个栈压到三个薄层:Ray 负责 placement 与 rollout↔trainer 之间的异步队列,**v…
molt/agents/ + molt/utils/vlm_utils.py + tests/unit/agent* 与 tests/unit/vlm* 测试簇,长期负责「agen
★ 1167 · 最近推送 2026-10-04
- test(agents): CPU-only conftest fixtures + mark GPU-only agent tests
- test(vlm): unit tests for vlm_utils image placeholder expansion
- test(agents): DistillationEnv / chat_minimal env 单元测试
查看任务卡与实施方案 →
4 个候选任务
AutoKernel 是一个受 Karpathy autoresearch 启发的 GPU 算子自动优化 AI 代理框架。它的核心理念是:给定任意 PyTorch 模型,AI Agent 会自动分析瓶颈、提取算子,并在一个无限循环中(修改代码 -> 编译运行 -> 验证正确性与性能 -> 保留或回滚)不断迭代优化 Triton 或 CUDA C++ 算子…
CUDA 模板架构师与 Agent 优化策略(Prompt)负责人
★ 1564 · 最近推送 2026-03-19
- 修复 fused_mlp.py 中 Triton math.tanh 编译报错
- 添加 DiT 模型所需的 Modulated LayerNorm (AdaLN) 算子模板
- 扩展 Profiler 以识别量化模型 (bitsandbytes) 算子
查看任务卡与实施方案 →
1 个候选任务
edge-dit.cpp 是清华大学 THU-MIG 团队发起的一个开源、DiT-first 的 C/C++ 原生推理引擎,专为在本地和资源受限设备上运行 Diffusion Transformer(DiT)而设计。它基于 ggml 张量/图运行时构建,目标是在没有 Python、没有 PyTorch 依赖的前提下,为 FLUX.1/FLUX.2、SD3/S…
CPU / Metal 验证与工具链质量(覆盖 src/core/runtime CPU 路径、src/core/parallel/backends/cpu、`src/ut
★ 51 · 最近推送 2026-09-01
- proposal: 为 LTX-2.3 补 CPU 路径回归测试与文档对齐(基于 #82 上线后)
查看任务卡与实施方案 →