CV / 简历

下载 PDF 简历

基本信息

• 张昊 / Hao Zhang
• 南开大学计算机学院计算机技术硕士在读
• 研究方向：模型压缩、大模型推理优化、高效部署
• Email: 2120230710@mail.nankai.edu.cn
• Phone: 150-3679-8729
• GitHub: Haozon

教育背景

• 南开大学（985），计算机技术，硕士（保送），2023.09 - 至今
  • 计算机学院，前 10%
• 中国矿业大学（211），电子信息科学与技术，学士，2019.09 - 2023.06
  • 校级优秀毕业生，前 3%

学术成果

Unveiling Super Experts in Mixture-of-Experts Large Language Models

• ICLR 2026（CCF-A），第三作者
• 在 DeepSeek-R1、Qwen3-30B-A3B、Mixtral-8x7B 等 MoE 大模型上完成大规模实验评估
• 实现并运行 Super Expert 剪枝实验，分析其对模型推理能力的影响
• 在 AIME、MATH500、GPQA、HumanEval 等 benchmark 上完成性能评测
• 通过 activation profiling 分析 expert 激活异常与 attention sink 机制

实习经历

北京三快在线科技有限公司（美团）｜M2CA 团队

2025.04 - 2025.08

• LLM_plat：FP8 Block 自动量化业务支持
  • 支持 Friday 平台 LongCat / FlashCat（32K 长上下文）系列模型高效量化转换与部署
  • 采用分块动态 FP8 量化方案并集成至 LLM_plat，实现自动化量化转换
  • 推理吞吐提升 30% - 40%，vLLM 启用 FP8 Block 内核后吞吐提升 25% - 40%，精度损失小于 1%
• Qwen3 / FlashMoE 自动量化部署工具链开发（vLLM / SGLang）
  • 基于 MTPQ 支持 W8A8 INT8 / FP8 / FP8 Block / W4A16 等多种量化模式
  • 集成 GPTQ / Quarot / AWQ / SQ 等主流算法，形成可复用的 MoE 量化工具链
• MoE-Quant 量化验证
  • 对 DeepSeek 类模型进行 MoE 量化与效果验证

项目经历

大语言模型解码阶段 KV Cache 联合压缩优化研究（硕士毕设）

2025.08 - 2026.04

• 在前期 AIDCS 工作基础上，提出 JSQKV 联合压缩方法，包含差分稀疏、双窗口在线执行、Hadamard 稳定化 Per-Token-Tile 量化以及 Bitmap-Based Sparse-Quant 数据格式与解码算子
• 以 Meta-Llama-3-8B 为例，在输入 4096、输出 256、70% KV 稀疏 + 2-bit 配置下，Batch Size 为 2 / 4 / 8 时端到端吞吐达到 27.06 / 47.12 / 75.71 tokens/s
• 其中 Batch Size 为 4 时较 Dense 基线提升约 44.2%，与 AIDCS 联合部署后提升约 44.9%

基于输入特征动态稀疏的大模型解码推理优化研究（横向课题）

2023.11 - 2025.06

• 提出 AIDCS 输入驱动动态稀疏方案，结合核密度估计（KDE）、桥函数、逐块重构、逐层重构与关键 Token 保护机制
• 在总体稀疏度达到 50% 时，精度损失控制在 1% 以内
• 以 Llama2-7B 为例，Batch Size 为 1 / 2 时解码吞吐较 Dense 基线提升约 1.6x / 1.35x
• 基于 Triton 实现高性能稀疏向量-矩阵乘内核，Batch Size 为 1 时端到端加速 1.8 倍

面向 Transformer 类智能模型的高能效计算架构研究（166 工程项目）

2022.11 - 2024.06

• 研究基于硬件感知的多目标优化模型剪枝与混合比特位宽量化方法
• 通过优化实现模型存储空间压缩至全精度网络的 1/6，平均量化位宽不高于 8 bit，精度损失控制在 2% 以内
• 面向国产 FPGA 设计并优化乘累加计算内核与 Softmax 计算内核，提升多头注意力加速效率
• 研究 LayerNorm 算子融合的全整数量化方案，减少数据移动开销并提升板端推理效率

专业技能

• 编程语言：Python、C++
• 异构与系统：CUDA、Triton、Linux
• 框架工具：PyTorch、ONNX、llama.cpp、vLLM、SGLang、Lmdeploy
• 方向经验：模型压缩、量化、动态稀疏、大模型推理优化

荣誉奖项

• 本科：三次校级优秀学生、校级一等奖学金、华为智能基座奖学金、上海能源奖学金
• 研究生：新生奖学金、公能奖学金、昇腾 AI 创新/算子挑战赛等奖项