开卷

美图开拍商业化产品日常实习一面复盘

Wed, 29 Jul 2026 00:00:00 GMT

2026年7月29日美图开拍商业化产品日常实习一面记录。深度复盘滴滴无单赔项目（GMV提升归因、淡旺季差异、补贴策略与ROI、淡季负向复盘与预案）、离职原因与岗位期望、开拍产品理解与商业化优化思路，以及订阅商业化实习生的工作内容。

腾讯企业微信Agent产品经理日常实习一面复盘

Tue, 28 Jul 2026 00:00:00 GMT

2026年7月28日腾讯企业微信Agent产品经理日常实习一面记录。深度复盘滴滴巡航找单与无单赔项目（新司机/次新司机/双开司机定义、双开司机价值、调研方法）、策略转功能的职业规划、朋友圈三天可见与分组可见的功能题，以及企业微信智能体业务介绍。

爱奇艺少儿频道产品经理日常实习一面复盘

Mon, 27 Jul 2026 00:00:00 GMT

2026年7月27日爱奇艺少儿频道产品经理日常实习一面记录。深度复盘滴滴巡航找单与无单赔项目（覆盖率口径、冷热区成因与定义、补贴成本与ROI、匹配逻辑），以及新手引导三件事、链路转化核心指标、勋章激励与等级体系的关系。

快手泛知识财经运营日常实习一面复盘

Tue, 02 Jun 2026 00:00:00 GMT

2026年6月1日快手泛知识财经运营实习一面详细记录。深度复盘京东金融拉新项目细节与策略贡献、跨部门合作方法论、内容运营能力展示（热点栏目策划），系统补充内容运营底层逻辑、创作者增长方法论、财经热点栏目策划框架，以及面试官看重的“跨部门合作”与“内容sense”提升路径。

得物商品推荐策略产品日常实习一面复盘

Wed, 13 May 2026 00:00:00 GMT

2026年5月13日得物商品推荐策略产品实习一面详细记录。深度复盘项目细节追问（拉新活动拆解、增长迭代思路、人群分层与选品逻辑），补充新老客承接策略、电商推荐人货匹配方法论，以及面试官指出的用户理解与商品理解能力提升方向。

面试问题合集 (算法与模型基础)

Wed, 06 May 2026 00:00:00 GMT

整理后的面试问题合集，涵盖算法与模型基础、训练与微调技术、推理优化等方面，适合面试准备和知识回顾。

美团机器学习算法工程师暑期实习三面复盘

Wed, 29 Apr 2026 00:00:00 GMT

2026年4月29日美团机器学习算法工程师三面（HR面）详细复盘。深度复盘项目动机、岗位认知、业务理解、行业洞察以及技术应用启发等问题，针对所有回答不完善之处提供了详细的补充答案。

阿里云瓴羊算法工程师AI Agent暑期实习二面复盘

Tue, 28 Apr 2026 00:00:00 GMT

2026年4月28日阿里云瓴羊算法工程师AI Agent实习二面详细复盘。深入回顾项目细节追问（波前恢复、宠物多模态应用）、传统视觉基础（Max Pooling反向传播）、扩散模型原理（CFG）、AI Agent长时间自主运行策略及大模型前沿技术报告，对所有回答不完善之处提供了详细补充。

联想算法工程师暑期实习三面复盘

Mon, 27 Apr 2026 00:00:00 GMT

2026年4月27日联想算法工程师实习三面（HR面兼技术交叉面）详细记录。重点复盘项目deep dive时对数据与评估体系的回应、个人技术沉淀与分享能力的展示缺失、Agent评估框架的认知不足，以及针对所有回答薄弱环节补充了详尽的改进答案。

面试问题合集 (项目深挖与业务架构设计)

Mon, 27 Apr 2026 00:00:00 GMT

整理后的面试问题合集，涵盖项目深挖与业务架构设计方面的经典面试题，附带详细解答和分析，帮助读者系统复习相关知识点。

美团机器学习算法工程师暑期实习二面复盘

Fri, 24 Apr 2026 00:00:00 GMT

2026年4月23日美团机器学习算法工程师实习二面详细记录。深度复盘项目细节追问（波前恢复、宠物多模态应用）、大模型与Agent基础、训练推理场景问题，以及现场编程与系统设计考核。针对回答不完善之处提供了详细补充答案。

联想算法工程师暑期实习二面复盘

Thu, 23 Apr 2026 00:00:00 GMT

2026年4月23日联想算法工程师实习二面详细复盘。围绕宠物多模态智能伴侣项目深度追问，重点复盘端到端财务分析智能体设计题。针对回答中的模糊点、深度不足处给出完整补充方案。

阿里AI Infra工程师暑期实习三面复盘

Wed, 22 Apr 2026 00:00:00 GMT

2026年4月22日阿里智能引擎侧AI Infra工程师实习三面详细复盘。对项目深度追问、工程能力评估与岗位匹配交流中的薄弱回答进行了全面优化，补充了产品量化评估、多模态融合决策、技术选型理由、风险应对、科研韧性等多个维度的标准答案。

阿里云瓴羊算法工程师AI Agent暑期实习一面复盘

Tue, 21 Apr 2026 00:00:00 GMT

2026年4月21日阿里云瓴羊算法工程师AI Agent实习一面详细记录。深度复盘项目追问（宠物多模态系统设计、产品形态思考）、二分类与逻辑回归基础、优化算法演进、AI Coding实践反思，以及面试官对商业化、Agent编排的行业洞见。针对所有回答不完善之处提供详细补充答案。

面试问题合集 (HR 面与综合素质)

Tue, 21 Apr 2026 00:00:00 GMT

整理后的面试问题合集，涵盖 HR 面与综合素质方面的经典面试题，附带详细解答和分析，帮助读者系统复习相关知识点。

面试问题合集 (后端开发与计算机基础)

Tue, 21 Apr 2026 00:00:00 GMT

整理后的面试问题合集，涵盖后端开发与计算机基础方面的经典面试题，附带详细解答和分析，帮助读者系统复习相关知识点。

面试问题合集 (手撕代码)

Tue, 21 Apr 2026 00:00:00 GMT

整理后的面试问题合集，包含算法、数据结构、系统设计等方面的经典题目，附带详细解法和手撕代码示例，帮助读者系统复习面试知识点。

字节跳动算法开发暑期实习二面复盘

Mon, 20 Apr 2026 00:00:00 GMT

面试时间：2026年04月20日 16:00-17<00> 岗位：字节跳动 - 算法开发实习（多团队共用HC，业务侧为金融/测试开发Agent方向）

整体回顾#

本次面试官风格犀利且擅长深挖技术细节与逻辑矛盾。面试围绕我科研中的波前恢复项目展开，考察了物理背景认知、网络设计逻辑、误差评估标准及商业化落地思考。随后进入通用算法基础与模型训练问题环节，包含对过拟合、时序数据划分的追问，以及MCP与Skills概念辨析。最后要求现场编写一个字符串统计脚本，整体表现平稳。

面试官对我深入项目细节的能力表示认可，但在数据划分的工程逻辑和Python即战力上指出了短板。以下为逐题复盘与详细补充答案。

一、项目深度追问：基于神经网络的端到端波前恢复#

1. 项目背景与难点#

面试官问：

“你这个波前恢复项目的意义是什么？为什么要做这个？”

我的回答：

讲述了光有振幅和相位信息，传统方式只能拍到光强（振幅）。我们的工作是用物理编码（特殊样品）把相位信息编码到光强分布中，再用神经网络解码恢复出波前相位。主要应用在天文自适应光学、显微成像等领域，用以消除大气湍流或系统像差。

问题分析：

回答准确，但可以更简练地用一个“类比”帮助非光学背景的面试官理解。

标准答案补充：波前恢复本质上是一个逆向问题。类比来说，普通相机拍照就像只记录了一首交响乐各声部的“音量大小”（振幅），而丢失了各声部之间的“节拍快慢”（相位）。我们的工作就是通过一个特殊设计的“光学乐谱架”（编码样品），让节拍快慢也体现在音量的变化模式上，再通过神经网络这个“听谱师”，把隐藏的节拍信息解码出来。

面试官追问：

“做类似研究的团队有哪些？你们和他们的区别在哪？”

我的回答：

国内中山大学等有过类似基于仿真的神经网络波前恢复工作。我们的主要区别在于：（1）我们的精度更高（像素级分辨率），传统可能只有几十个像素点的区域波前；（2）我们跑通了完整的物理实验系统，而非纯仿真验证；（3）引入了偏振复用，可同时恢复矢量波前。

补充与细化：

国内团队：浙江大学、中国科学院光电技术研究所（成都光电所）在自适应光学和深度学习波前传感方面有深厚积累，但大多面向闭环校正控制。中山大学周建英教授团队有相位恢复的深度学习工作。
国际团队：UCLA的Aydogan Ozcan教授团队在衍射神经网络方面有大量工作，但侧重于全光学计算；MIT的George Barbastathis组有利用物理模型驱动的深度学习相位恢复。
我们的差异化优势：
1. 双螺旋相位编码：我们将波前斜率信息编码为光斑的旋转角度，这是一种鲁棒的几何编码，比单纯强度变化对噪声更不敏感。
2. 虚实结合：我们不仅在仿真上跑通，更在实际光学平台上完成了闭环验证。这是从“论文模型”到“可用系统”的关键一步，工程复杂度远高于仿真。

2. 网络设计与自校准机制#

面试官问：

“自校准机制具体是怎么做的？参考图是怎么选取的？”

我的回答：

每次拍摄前先拍一张定标背景图作为参考，然后拍测试图。网络输入是两张图，学习它们的光强差值对应的相位信息。

问题分析：

回答过于简略。面试官追问“意义是什么”是想确认是否理解共模噪声抑制的概念。

标准答案补充：参考图的选取与作用可以从以下三个层面理解：

共模噪声抑制：光学实验中的激光漂移、环境杂散光、CMOS暗电流是时变的。如果不拍参考图，这些噪声会被网络误认为是波前相位的一部分。拍摄参考图后，网络做差分处理 (I_test - I_ref) / I_ref，能够硬件级消除共模噪声，只保留由待测样品引入的净变化量。
弱信号放大：波前畸变带来的光强变化极其微弱（通常在 10^-3 量级）。直接输入绝对光强，网络梯度容易被大背景值淹没。输入归一化差分图相当于给网络提供了一个高对比度的特征图。
双编码器逐层融合的归纳偏置：我们采用双路编码器（Siamese-like），每层卷积后都进行特征融合。这种设计强制网络学习“两张图的相对变换关系”，而非单张图的绝对纹理。这本质上是利用卷积的平移等变性来学习光场的微小位移与旋转。

3. 误差评估与商业化限制#

面试官问：

“你说比传统方案误差降低40%，这个对比基准是什么？”

我的回答：

对比的是国内其他团队的仿真结果，我们实测物理系统的精度甚至超过了他们的仿真精度。

问题分析：

这个回答是一个危险的逻辑陷阱。如果对方仿真参数设置不同或模型假设不同，跨项目对比数值没有意义。面试官未深究，但自己需清醒认识。

标准答案重构：在论文或正式报告中，应明确对比的是同平台、同数据下的消融实验：

基准模型A：传统Gerchberg-Saxton迭代算法（需100次迭代以上）。
基准模型B：单输入U-Net（无参考图输入，直接从光强图预测波前）。
我们的模型：双编码器+参考图差分输入。
结果：相较于模型B，我们的RMS波前误差降低了40%（物理量：0.05λ vs. 0.083λ）。

面试官追问：

“为什么这个东西不能做成工业化的商用器件？”

我的回答：

CMOS像素尺寸限制（2μm左右），且光路引入了放大系统导致体积庞大，难以集成。

补充标准答案（更深层的商业化壁垒）：

算力与实时性矛盾：自适应光学要求毫秒级闭环响应（校正大气湍流频率约100Hz）。虽然推理快，但CMOS读出噪声在高速模式下激增，且GPU功耗在望远镜现场受限。
泛化能力瓶颈：神经网络对光学对准极其敏感。换个镜头或环境温度变化导致机械形变，网络可能完全失效。工业产品无法接受“每次开机都需重新采集数万张图微调模型”。
标量衍射极限：我们验证了矢量光场恢复，但对散射介质（如生物组织、浓雾）穿透能力有限，而这恰恰是工业显微成像最需要的场景。
商业护城河：Thorlabs等传统厂商的核心竞争力在于高精度位移台与波前传感器的硬件稳定性。纯软件算法的鲁棒性尚未达到工业6-sigma标准。

二、大模型与算法基础考察#

1. 非线性激活函数的必要性#

面试官问：

“训练神经网络为什么需要使用非线性激活函数？如果不用会怎样？”

我的回答：

多层感知机本质是矩阵乘法加偏置，若不引入非线性，多层网络等价于单层线性变换，表达能力弱。

标准答案补充：回答正确。可以从万能近似定理角度深化：线性变换的复合仍然是线性变换。对于异或问题（XOR）这类线性不可分数据，纯线性网络无论多深都无法拟合决策边界。引入非线性激活（ReLU/Tanh）使得网络具备了任意精度逼近任意连续函数的能力。此外，ReLU带来的稀疏激活性还能缓解梯度消失。

2. 过拟合、数据增强与划分陷阱#

面试官深度追问：

“你通过分析验证集Bad Case去补充数据，会不会造成对验证集的过拟合？”

我的回答：

理论上不会，因为扩充的是训练集，且原始数据是随机采样的，分布一致。

问题分析：

面试官提出的是一个非常高阶的工程陷阱：数据泄露。我的回答忽略了“人工分析验证集趋势”这一动作对超参数选择的影响。

标准答案补充：您提到的是一个经典的信息泄露问题。如果数据科学家反复查看验证集的Bad Case分布（例如发现模型对穿红衣服的人识别不准），然后专门去爬取红衣服的人脸数据加入训练集，那么验证集就已经丧失了评估泛化能力的独立性。

正确的工程闭环做法：

设立三重数据集：Training Set (60%)， Validation Set (20%)， Test Set (20%)。
严禁触碰Test Set：只有最后写论文或发版前跑一次。
新增Holdout验证集：如果发现Validation Set被反复用于指导训练策略（调参、增强方向），应将其降级为训练集的一部分，并从原Training Set中重新随机切分一块作为新的Validation Set。只有从未被模型训练和调参过程“看见”的数据，才能作为真实的泛化能力晴雨表。

3. 时序数据的训练/测试集划分#

面试官问：

“数据是带有时序属性的（1月数据训练，预测2月行为），你怎么划分训练集和测试集？”

我的回答：

没遇到过，可能随机采样就行。

问题分析：

这是一个明显的错误回答，暴露出对金融风控/推荐系统基本常识的缺失。时序数据随机划分会导致严重的未来信息泄露。

标准答案补充：

在信贷风控或用户行为预测场景下，严禁随机打乱。必须采用时间线截止切分：

训练集：2025年01月01日 - 2025年12月31日的数据。
验证集：2026年01月01日 - 2026年01月31日的数据。
测试集：2026年02月01日 - 2026年02月28日的数据。

原因分析：

穿越特征：如果随机打乱，模型可能会学到“用户在3月份的消费金额很高，所以他在2月份是高价值用户”这种未来指示过去的荒谬逻辑。上线后模型表现会断崖式下跌。
概念漂移：金融用户的还款意愿和宏观经济强相关（如失业率变化）。只有用后一个月验证前一个月训练的模型，才能真实反映模型应对时间分布偏移的能力。
评估指标修正：在风控中，更关注时间序列交叉验证，即滚动窗口训练（如每月更新模型），评估多期平均KS值。

三、MCP与Skills概念辨析#

面试官问：

“MCP和Skills有什么区别？固定的流程为什么不能用MCP写死？”

我的回答：

认为MCP是原子工具，Skills是场景化工作流。固定流程虽然能写进MCP，但会很奇怪。

问题分析：

对概念理解准确，但被面试官的“发帖原子性”绕进去了。需要从控制流归属权角度区分。

标准答案补充：

MCP和Skills的本质区别在于：推理循环的控制权在谁手里。

维度	MCP (Model Context Protocol)	Skills (如Claude Skills / OpenAI GPTs Actions)
控制流	模型驱动。模型决定何时调用、传什么参、处理返回值并决定下一步。	确定性工作流。Skill内部定义了严格的执行图（DAG），模型只在特定节点介入（如生成文本）。
粒度	原子API：查天气、搜文件、发SQL。	复合任务：小红书图文生成与发布全流程。
幻觉风险	高。模型可能调错工具顺序。	低。流程由代码/配置写死。

回应面试官的挑战：“发帖流程固定，写在MCP里报掉不行吗？”

不行。原因如下：

MCP Server端的职责单一性：如果我写一个MCP工具叫 publish_xiaohongshu(title, content, images)，这没问题，这是一个原子写操作。
编排逻辑不应下沉至MCP Server：如果我在MCP Server内部强行塞入“先让AI润色标题、再生成摘要、再选图、最后发布”的调度代码，那就违背了MCP设计初衷——MCP Server应是无状态的被动响应者。一旦流程逻辑硬编码在Server端，业务需求变更（例如先审稿再发布）就需要改动Server代码，失去了Agent编排的灵活性。

结论：

MCP：提供手和脚。
Skills：编排一套广播体操的动作顺序。
广播体操的动作是固定的，但如果你把顺序硬塞进手里，那手就变成了一个畸形的专用工具，失去了普适性。

四、算法与工程基础：现场编程考核#

题目：

“输出一个字符串中出现次数最多的字母及其出现次数。”

我的现场代码（记忆重构）：

能够正确遍历字符串，使用字典统计。

问题分析：

题目简单，但实现不够 Pythonic。

标准答案与深度解析：

1
def find_most_frequent_letter(s: str):
2
    # 1. 过滤非字母字符并统一大小写（面试官说包含各种字符，按常规理解只统计字母）
3
    # 使用生成器表达式节省内存
4
    filtered = (char.lower() for char in s if char.isalpha())
5

6
    # 2. 统计频率
7
    freq = {}
8
    for char in filtered:
9
        freq[char] = freq.get(char, 0) + 1
10

11
    if not freq:
12
        return None, 0
13

14
    # 3. 找到最大值 (Pythonic 写法)
15
    # max 的 key 参数指定比较的依据是字典的值
16
    most_char = max(freq, key=lambda k: freq[k])
17

18
    return most_char, freq[most_char]
19

20
# 测试用例
21
s = "Hello, World! 123"
22
char, count = find_most_frequent_letter(s)
23
print(f"'{char}': {count}")  # 预期输出: 'l': 3

展开收起

考点总结：

异常处理：空字符串或无字母字符串的鲁棒性。
时间复杂度：O(n) 单次遍历。
Python惯用法：freq.get() 设置默认值，max 的 key 参数，char.isalpha() 判断。

五、面试总结与反思#

表现亮点#

项目背景扎实：对光学原理和深度学习结合点的阐述逻辑清晰，能够应对跨学科的追问。
概念辨析有见地：对MCP与Skills的异同点分析较为深入，展现了平时对Agent生态的关注。
诚实坦率：对于不了解的时序数据划分问题，没有强行编造，而是坦诚告知。

暴露的问题与改进计划#

工程逻辑需补课（致命伤）：
- 问题：时序数据划分回答错误。这在大厂算法岗面试中是一票否决项，直接关系到模型上线效果。
- 改进：学习《机器学习工程实战》中关于时间序列交叉验证的章节，并在Kaggle的Two Sigma或Jane Street量化比赛数据上实操，理解信息泄露的破坏性。
Python即战力仍需加强：
- 问题：虽然写出了代码，但缺乏Python特有的简洁美。
- 改进：每日一题LeetCode，限定时间且禁用Copilot。重点练习collections.Counter、itertools、lambda高阶函数的肌肉记忆。
技术广度的边界感：
- 问题：在回答波前恢复商业化时，虽然正确，但未能结合面试岗位（金融/测试开发）进行降维类比。
- 改进：面试不仅是回答问题，更是建立连接。若能指出：“这就像金融风控中，模型上线后的特征分布偏移，光学系统的机械漂移类比于用户消费习惯的漂移，都需要持续监控和在线学习”，将极大提升面试官的好感度。

关于字节的认知与反问#

在反问环节，面试官问及“为何想来字节，尽管大模型起步晚”。我的回答聚焦于“技术看重”和“豆包亲民”。复盘思考后，这个回答可以更贴合岗位职责：

“我认同字节在大模型应用层和Agent落地上的激进策略。起步晚不代表应用慢。我所面试的测试开发Agent方向，恰好是我认为AI最能降本增效的领域——用AI去测试AI生成的代码，用AI去模拟复杂的金融交易链路。这不仅是用模型做业务，更是用模型重构研发流程，这是我非常想参与的事。”

六、致谢#

感谢面试官的耐心引导与高质量追问。尤其是关于时序数据划分与过拟合悖论的探讨，让我深刻意识到算法理论落地的鸿沟所在。无论结果如何，这次面试暴露的工程短板是我未来成长最宝贵的路标。我将针对性地强化数据处理直觉与Python工程素养，期待未来能以更强的姿态加入优秀的团队。

美团机器学习算法工程师暑期实习一面复盘

Mon, 20 Apr 2026 00:00:00 GMT

2026年4月20日美团地图搜索算法组一面详细记录。深入复盘波前恢复、宠物多模态项目细节追问，补充Transformer架构演进、ViT位置编码、RAG系统设计等理论盲区，并针对手撕SQL/数据处理题给出完整解析与工程反思。

阿里AI Infra工程师暑期实习二面复盘

Fri, 17 Apr 2026 00:00:00 GMT

2026年4月17日阿里巴巴Agent Infra工程师实习二面详细记录。深度复盘宠物多模态应用项目的数据闭环、模型评测、bad case修复及工程架构设计追问，涵盖AI Infra岗位特有的环境构建与强化学习后训练认知。针对所有回答不完善之处提供了详细的补充答案。

字节跳动算法开发暑期实习一面复盘

Thu, 16 Apr 2026 00:00:00 GMT

2026年4月16日字节跳动算法开发实习一面详细记录。深度复盘项目技术选型与架构、多模态融合Agent设计、LoRA与Transformer原理追问、SQL联合索引设计问题、滑动窗口算法边界测试，并对所有回答不完善之处提供详细补充答案。

阿里AI Infra工程师暑期实习一面复盘

Wed, 15 Apr 2026 00:00:00 GMT

2026年4月14日阿里Agent Infra工程师实习一面详细记录。围绕Agent架构设计、多模态融合、大模型训练范式、Python并发模型、计算机网络基础以及算法编程展开深度复盘，针对回答不完善之处补充详尽的标准答案与扩展分析。

寒武纪AI Infra暑期实习二面复盘

Mon, 13 Apr 2026 00:00:00 GMT

2026年4月13日寒武纪AI Infra实习二面详细记录。深度复盘项目模型结构设计追问（多尺度卷积、空洞卷积对比）、Transformer Block完整计算过程与归一化原理、Softmax梯度特性、MoE负载均衡解决方案，以及岗位认知与反问环节。针对所有回答不完善之处提供了详细的补充答案。

京东算法工程暑期实习三面复盘

Fri, 10 Apr 2026 00:00:00 GMT

2026年4月10日京东集团金融科技变色龙部门算法工程实习三面（HR面）详细记录。深度复盘实习时间规划、求职动机与决策逻辑、岗位理解、个人特质与软技能考察，以及反问环节。针对回答中可优化之处提供了详细的补充答案与策略建议。

京东算法工程暑期实习二面复盘

Thu, 09 Apr 2026 00:00:00 GMT

2026年4月9日京东算法工程实习二面详细记录。聚焦宠物智能养护应用的项目细节（多模态解耦、模型选型、融合策略）、Transformer原理讲解、工程难点与代码设计问题，并对回答不完善之处进行了补充和深度解析。

联想算法工程师暑期实习一面复盘

Thu, 09 Apr 2026 00:00:00 GMT

2026年4月9日联想数字化转型部门AI应用创新中心算法实习一面详细记录。深度复盘宠物多模态项目细节（模态解耦、融合策略、数据缺失处理）、Agent架构设计、AI coding工具体验，以及团队协作与职业规划问题。针对所有可深化之处提供详细的补充答案。

腾讯金融科技-数据科学暑期实习群面复盘

Wed, 08 Apr 2026 00:00:00 GMT

2026年4月7日腾讯金融科技数据科学岗位实习群面详细记录。复盘包括自我介绍环节、开放性讨论（广告投放系统、数据与优化）、以及基于三个平台的数据分析报告考核。针对群面中回答不完善之处提供了详细的补充答案，并总结了群面表现亮点与改进方向。

蚂蚁集团智能体与大模型暑期实习一面复盘

Tue, 07 Apr 2026 00:00:00 GMT

2026年4月7日蚂蚁集团智能体与大模型岗位实习一面详细记录。复盘项目细节追问（波前恢复、宠物多模态应用、开源插件）、大模型与Agent理论基础、工程实践能力评估，以及职业规划与岗位匹配度。针对所有回答不完善之处提供了详细的补充答案。

京东算法工程暑期实习一面复盘

Fri, 03 Apr 2026 00:00:00 GMT

2026年4月3日京东智能算法部算法工程实习一面详细记录。深度复盘项目细节追问（多模态宠物应用、模型部署）、C++基础考察（静态/动态链接、define/const）、以及算法工程岗位认知。针对所有回答不完善之处提供了详细的补充答案。

高德算法工程师暑期实习二面复盘

Fri, 03 Apr 2026 00:00:00 GMT

2026年4月3日高德地图增长算法团队算法实习二面详细记录。深度复盘波前恢复项目的追问、CNN设计原理、传统机器学习盲区、Agent核心组件与记忆机制、如何用Agent自动化科研任务，以及岗位认知。针对所有回答不完善之处提供了详细的补充答案。

字节跳动财经业务算法暑期实习四面复盘

Thu, 02 Apr 2026 00:00:00 GMT

2026年4月2日字节跳动财经业务算法实习四面详细记录。本次面试为综合面，重点考察项目落地经历、团队协作能力、实习动机与职业规划、对业务的了解程度等。针对回答中暴露的不足（如对业务了解浅、职业规划表述不够具体等）提供了详细的补充答案。

百度酒店搜推算法暑期实习三面复盘

Thu, 02 Apr 2026 00:00:00 GMT

2026年4月2日百度酒店搜索推荐算法实习生三面详细记录。复盘项目介绍中的表述问题、大模型与推荐基础理论、最长递增子序列编程题卡壳及概率题解答，针对所有回答不完善之处提供了详细的补充答案。

B站推荐算法暑期实习一面复盘

Wed, 01 Apr 2026 00:00:00 GMT

2026年4月1日B站推荐算法实习一面的详细记录。复盘了自我介绍、项目深挖（波前恢复、宠物多模态应用）、推荐系统基础知识、代码考核（模型结构定义、注意力机制、组合总和编程题）等环节。针对所有回答不完善之处提供了详细的补充答案。

小红书AI全栈开发暑期实习二面复盘

Wed, 01 Apr 2026 00:00:00 GMT

2026年4月1日小红书AI全栈开发实习二面详细记录。复盘了项目细节（宠物多模态应用）、跨端开发实践、技术学习与思考，以及算法考核。针对回答不完善之处提供了详细的补充答案，并总结了全栈岗位的面试要点。

寒武纪AI Infra暑期实习一面复盘

Tue, 31 Mar 2026 00:00:00 GMT

2026年3月31日寒武纪AI Infra（AI解决方案）岗位实习一面详细记录。深度复盘了两个核心项目（波前恢复、宠物多模态应用），对项目细节、工程难点进行了深入追问。考察了Transformer架构的底层理解。面试官详细介绍了AI Infra岗位的工作内容与挑战。针对回答中不够深入或未展开的地方，提供了详细的补充答案。

百度酒店搜推算法暑期实习二面复盘

Tue, 31 Mar 2026 00:00:00 GMT

2026年3月31日百度酒店搜索推荐算法实习二面详细记录。深度复盘多模态宠物应用项目细节、酒店智能体架构设计、多智能体协同、Transformer技术原理、冷启动推荐策略，以及C++编程考核。针对所有回答不完善之处提供了详细的补充答案。

美团搜推算法暑期实习一面复盘

Tue, 31 Mar 2026 00:00:00 GMT

2026年3月31日美团搜推平台部搜索算法组一面详细记录。深度复盘了波前恢复项目（双编码器、物理约束）和宠物智能应用项目（多模态融合、指令遵循），回顾了代码考核（旋转数组查找）中的边界条件问题，并补充了搜推相关知识的理解。针对面试中的所有回答进行了深度补充和优化。

字节跳动财经业务算法暑期实习三面复盘

Mon, 30 Mar 2026 00:00:00 GMT

2026年3月30日字节跳动财经业务算法实习三面详细记录。复盘了自我介绍、项目细节追问（波前恢复效果衡量、多模态融合）、大模型基础理论（长文本处理、模型架构）、以及提示词工程实践。针对所有回答不完善之处提供了详细的补充答案，并系统梳理了分类与生成任务的评价指标。

字节跳动财经业务算法暑期实习二面复盘

Fri, 27 Mar 2026 00:00:00 GMT

2026年3月26日字节跳动财经业务算法实习二面详细记录。深度复盘项目细节追问（波前恢复、宠物多模态应用）、大模型与算法理论基础、训练/推理实操问题，以及Python编程考核。针对所有回答不完善之处提供了详细的补充答案。

百度酒店搜推算法暑期实习一面复盘

Thu, 26 Mar 2026 00:00:00 GMT

2026年3月26日百度酒店搜索与推荐算法实习一面详细记录。深度复盘项目细节（宠物多模态应用）、算法基础（推荐系统认知）、工程能力（数据库与分布式系统）以及C++编程考核（最大分数子序列）。针对所有回答不完善之处提供了详细的补充答案。

高德算法工程师暑期实习一面复盘

Thu, 26 Mar 2026 00:00:00 GMT

2026年3月24日高德地图算法工程师实习一面记录，涵盖项目细节（Pet Mate多模态应用）、大模型与Agent理解、概率题（抛硬币）、算法题（股票最佳买卖时机）等。

腾讯AI应用开发暑期实习二面复盘

Tue, 24 Mar 2026 00:00:00 GMT

2026年3月23日腾讯QQ团队AI应用开发方向实习二面完整复盘，涵盖项目细节追问（智能宠物应用多模态处理）、AI Coding与AI应用实践、Spec-Driven Development模式思考、岗位理解与职业规划。深度剖析面试中的薄弱环节，并提供详细补充答案。

小红书AI全栈开发暑期实习一面复盘

Sat, 21 Mar 2026 00:00:00 GMT

2026年3月20日小红书AI全栈开发实习一面记录，涵盖语言基础（HashMap、GIL）、项目细节（Pet Mate多模态模型选型、后融合策略）、系统设计（QPS优化、极简版小红书架构）以及算法题（LRU Cache实现）。

腾讯AI应用开发暑期实习一面复盘

Sat, 21 Mar 2026 00:00:00 GMT

2026年3月20日腾讯AI应用开发岗位一面详细复盘。涵盖项目细节深挖（波前恢复、宠物智能应用）、计算机基础知识（堆栈、TCP/UDP、HTTPS）、滑动窗口算法题（最小覆盖子串），以及面试官给出的针对性学习建议。

字节跳动财经业务算法暑期实习一面复盘

Wed, 18 Mar 2026 00:00:00 GMT

2026年3月17日字节跳动财经业务算法实习一面超详细复盘，包含项目深度剖析、Transformer 原理与优化（KV Cache、Flash Attention 数学推导）、ViT 细节、多模态融合方案、滑动窗口算法推导与优化、面试表现逐点分析与改进方案。

腾讯TEG技术研究暑期实习一面复盘

Mon, 16 Mar 2026 00:00:00 GMT

2026年3月16日腾讯TEG技术研究部门实习一面记录，涵盖算法（矩阵最长递增路径）、项目架构（Pet Mate多模态后融合、波形恢复多尺度卷积）、深度学习细节（损失函数设计、模型选型）以及反问环节。详细复盘了回答中的不足并给出优化答案。

影石Insta360软件开发暑期实习二面复盘

Fri, 13 Mar 2026 00:00:00 GMT

2026年3月13日影石Insta360软件开发实习二面记录，涵盖项目细节（神经网络波前恢复、宠物智能应用多模态处理）、应用从零设计架构、算法题单词拆分等。

影石Insta360软件开发暑期实习一面复盘

Tue, 10 Mar 2026 00:00:00 GMT

2026年3月9日影石Insta360软件开发实习一面记录，涵盖项目中的前后端分离架构、大模型Agent在崩溃日志分析工作流的设计探讨、操作系统底层原理（进程线程、锁机制与死锁）以及经典数据结构（数组链表、哈希表与红黑树优化）。

字节跳动移动OS开发暑期实习一面复盘

Thu, 12 Feb 2026 00:00:00 GMT

2026年2月12日字节跳动移动OS开发（Camera方向）实习一面记录，深度剖析C++核心机制（虚函数表底层、智能指针原理、数组退化）、操作系统（线程同步六大机制）、数据结构（红黑树细节）及算法题（单词搜索、链表双指针）的完整代码实现。

字节跳动番茄小说后端开发日常实习三面复盘

Fri, 16 Jan 2026 00:00:00 GMT

2026年1月16日字节跳动番茄小说后端开发实习三面记录与复盘。本次面试侧重于算法手撕（下一个排列）、计算机网络（大文件传输协议设计）以及 AI 基础原理（Transformer QKV、ViT 架构）的深度探讨。

字节跳动番茄小说后端开发日常实习二面复盘

Tue, 13 Jan 2026 00:00:00 GMT

2026年1月13日字节跳动番茄小说后端开发实习二面记录，涵盖AI+后端项目深挖（多模态融合、ViT原理）、系统设计思考（前后端分离、压测）、计算机网络（URL流程）及高频算法题（赛马问题、链表排序）。

网易互娱燕云十六声后端日常实习一面复盘

Wed, 07 Jan 2026 00:00:00 GMT

2026年1月7日网易互娱燕云十六声项目组后端开发实习面试记录。面试主要考察了C++与Python语言基础（智能指针、GC、继承）、常用数据结构（红黑树、TopK）、操作系统原理（虚拟内存、内存布局）以及一道经典的图形学/概率论算法题。

字节跳动番茄小说后端开发日常实习一面复盘

Mon, 05 Jan 2026 00:00:00 GMT

2026年1月5日字节跳动番茄小说后端开发实习面试记录与复盘，深度解析算法题（Top K/堆实现）、AI+物理项目（波前恢复、双编码器设计）及后端技术栈问答。

Minimind 手动实操 2: Moe 原理与实现全解析

Sun, 04 Jan 2026 00:00:00 GMT

随着大模型（LLM）参数规模的不断膨胀，如何在有限的算力预算下进一步提升模型智能，成为了学术界和工业界共同面临的挑战。 混合专家模型 (Mixture of Experts, MoE) 应运而生，它打破了传统 Dense 模型“参数量等于计算量”的魔咒，允许模型在拥有万亿级参数的同时，仅激活其中极少部分参与计算。

从 GPT-4 的惊艳亮相，到 Mixtral 8x7B 的开源爆发，再到 DeepSeek-MoE 对架构的精细化改进，MoE 已然成为大模型进化的必经之路。然而，MoE 的训练并不容易，门控崩塌、负载不均等问题始终困扰着开发者。本文将延续“Minimind 手动实操”系列的风格，深入剖析 MoE 的数学原理与工程实现，带你亲手拆解稀疏门控 (Sparse Gating)、负载均衡 (Load Balancing) 以及前沿的 共享专家 (Shared Experts) 架构。

为了保证讲解的清晰性，我们首先定义一套统一的数学符号。

基础符号定义 (Notation)#

假设我们当前的输入是一个 Token 的隐藏状态向量 xxx（在 Transformer 的 FFN 层之前）。

输入向量: x∈Rdx \in \mathbb{R}^dx∈Rd (ddd 为隐藏层维度)。
专家总数 (Total Experts): NNN (例如 8, 64, 160)。
激活专家数 (Active Experts): KKK (Top-K，通常为 2 或 6)。
专家网络: Ei(x)E_i(x)Ei(x)，第 iii 个专家（通常是一个独立的 Feed-Forward Network）。
门控网络 (Router/Gate): G(x)G(x)G(x)，用于计算每个专家的权重。
门控权重矩阵: Wg∈Rd×NW_g \in \mathbb{R}^{d \times N}Wg∈Rd×N。

核心机制 1: 稀疏门控 (Sparse Gating)#

MoE 的核心思想是条件计算 (Conditional Computation)：对于每一个输入 Token，我们不让网络中所有的神经元都参与计算，而是“看人下菜碟”，只激活一小部分最擅长处理该 Token 的“专家”。

数学实现：

计算路由得分 (Routing Logits): 首先，通过一个线性层计算输入 xxx 对每个专家的原始匹配分数：
h(x)=x⋅Wgh(x) = x \cdot W_gh(x)=x⋅Wg
其中 h(x)∈RNh(x) \in \mathbb{R}^Nh(x)∈RN。
Top-K 选择 (Sparse Selection): 我们只保留得分最高的 KKK 个专家，其余专家的权重强制置为 0。
KeepIndices=TopK(h(x),K)\text{KeepIndices} = \text{TopK}(h(x), K)KeepIndices=TopK(h(x),K)
归一化权重 (Softmax): 对选中的 KKK 个得分进行 Softmax 归一化，得到最终的门控权重 g(x)g(x)g(x)。
g(x)i={eh(x)i∑j∈KeepIndiceseh(x)jif i∈KeepIndices0otherwiseg(x)_i = \begin{cases} \frac{e^{h(x)_i}}{\sum_{j \in \text{KeepIndices}} e^{h(x)_j}} & \text{if } i \in \text{KeepIndices} \\ 0 & \text{otherwise} \end{cases}g(x)i=⎩⎨⎧∑j∈KeepIndiceseh(x)jeh(x)i0if i∈KeepIndicesotherwise
最终输出:
y=∑i∈KeepIndicesg(x)i⋅Ei(x)y = \sum_{i \in \text{KeepIndices}} g(x)_i \cdot E_i(x)y=i∈KeepIndices∑g(x)i⋅Ei(x)

代码实现 (PyTorch 风格):

1
import torch
2
import torch.nn.functional as F
3

4
def moe_forward(x, gate_weight, experts, k=2):
5
    # x: [batch_size, seq_len, hidden_dim]
6

7
    # 1. 计算路由得分 (Logits)
8
    router_logits = torch.matmul(x, gate_weight) # [batch, seq, num_experts]
9

10
    # 2. Top-K 选择
11
    # routing_weights: 选中的专家的原始分数 (或经过 softmax 后的概率)
12
    # selected_experts: 选中的专家索引
13
    routing_weights, selected_experts = torch.topk(router_logits, k, dim=-1)
14

15
    # 3. 归一化 (通常在 TopK 之后做 Softmax)
16
    routing_weights = F.softmax(routing_weights, dim=-1)
17

18
    # 4. 专家计算 (这里简化了并行计算的复杂性)
19
    # 实际工程中会使用 Permutation 或 Scatter/Gather 操作
20
    final_output = torch.zeros_like(x)
21
    for i in range(k):
22
        expert_idx = selected_experts[:, :, i]
23
        weight = routing_weights[:, :, i].unsqueeze(-1)
24

25
        # 伪代码：取出对应专家计算并加权
26
        expert_out = run_expert(experts, expert_idx, x)
27
        final_output += weight * expert_out
28

29
    return final_output

展开收起

核心机制 2: 负载均衡 (Load Balancing)#

这是 MoE 训练中最关键、也是最容易被忽视的数学约束。

为什么需要负载均衡？ 如果不加约束，门控网络极易陷入**“马太效应” (Matthew Effect)**：

初始化时，某些专家 EhotE_{hot}Ehot 的得分稍微高了一点点。
EhotE_{hot}Ehot 获得了更多的训练数据，梯度更新更频繁，变得更“聪明”。
Router 发现 EhotE_{hot}Ehot 效果好，于是把更多的 Token 派发给它。
结果 (Collapse): 少数几个专家处理了 99% 的数据（过劳），其余专家从未被激活（坍塌/废弃）。MoE 退化回了一个参数更小的 Dense 模型。

为了解决这个问题，我们需要引入一个辅助损失函数 (Auxiliary Loss)。

数学原理：

我们需要定义两个概率分布向量（维度均为 NNN）：

实际负载分布 (The Fraction Vector, fff): 在一个 Batch 中，每个专家实际被选中的频率。这是一个离散的统计值（不可导，但可以通过 mask 近似）。
fi=1T∑t=1T1(Token t selected Expert i)f_i = \frac{1}{T} \sum_{t=1}^{T} \mathbb{1}(\text{Token } t \text{ selected Expert } i)fi=T1t=1∑T1(Token t selected Expert i)
其中 TTT 是 Batch 中的总 Token 数。
门控概率分布 (The Probability Vector, PPP): 门控网络想要选每个专家的平均概率。这是 Softmax 输出的平均值（平滑可导）。
Pi=1T∑t=1TSoftmax(h(xt))iP_i = \frac{1}{T} \sum_{t=1}^{T} \text{Softmax}(h(x_t))_iPi=T1t=1∑TSoftmax(h(xt))i

损失函数定义: 我们的目标是让 fff 和 PPP 都趋向于均匀分布（Uniform Distribution）。根据柯西-施瓦茨不等式，最小化两个向量的点积可以促使它们均匀。

Laux=α⋅N⋅∑i=1N(fi⋅Pi)\mathcal{L}_{aux} = \alpha \cdot N \cdot \sum_{i=1}^{N} (f_i \cdot P_i)Laux=α⋅N⋅i=1∑N(fi⋅Pi)

α\alphaα: 超参数，通常取 0.01 或 0.001。
NNN: 专家数量（乘上 NNN 是为了让 Loss 的量级不随专家数量变化）。

直观理解

想象有 2 个专家。

极度不均衡: 专家 A 负载 1.0，专家 B 负载 0。f=[1,0],P=[1,0]f=[1, 0], P=[1, 0]f=[1,0],P=[1,0]。点积 1×1+0×0=11\times1 + 0\times0 = 11×1+0×0=1。
绝对均衡: 专家 A 负载 0.5，专家 B 负载 0.5。f=[0.5,0.5],P=[0.5,0.5]f=[0.5, 0.5], P=[0.5, 0.5]f=[0.5,0.5],P=[0.5,0.5]。点积 0.5×0.5+0.5×0.5=0.250.5\times0.5 + 0.5\times0.5 = 0.250.5×0.5+0.5×0.5=0.25。 点积越小，负载越均衡。

代码实现 (关键部分):

1
def compute_aux_loss(router_logits, num_experts, top_k):
2
    # router_logits: [batch_size * seq_len, num_experts]
3

4
    # 1. 计算概率分布 P (Softmax over experts)
5
    probs = F.softmax(router_logits, dim=-1)
6
    # P_i: 门控网络"想"分配给第 i 个专家的平均概率
7
    density_1_proxy = probs.mean(dim=0)
8

9
    # 2. 计算实际负载 f (Hard Selection)
10
    # 这里的实现通常用 Top-K 的 mask
11
    # values, indices = torch.topk(router_logits, k=top_k, dim=-1)
12
    # mask: [batch*seq, num_experts]，选中为 1，否则为 0
13
    mask = torch.zeros_like(router_logits).scatter_(1, indices, 1.0)
14
    # f_i: 第 i 个专家实际被选中的频率
15
    density_1 = mask.mean(dim=0)
16

17
    # 3. 计算点积 Loss
18
    aux_loss = (density_1_proxy * density_1).sum() * num_experts
19

20
    return aux_loss

展开收起

进阶架构: Shared Experts (共享专家)#

在 DeepSeek-MoE 和 Qwen-MoE 等前沿模型中，引入了 Shared Experts 的概念。这是对传统 MoE 的一次重要数学修正。

核心痛点： 传统 MoE 中，所有专家都是“路由专家”，需要竞争上岗。这导致模型很难学习到那些**“放之四海而皆准”的通用知识**（比如基本的语法结构、常用词搭配）。如果每个专家都要重复学习一遍“主语后面接谓语”，不仅浪费参数，还容易导致训练不稳定。

解决方案： 将专家分为两类：

共享专家 (Shared Experts): 不参与竞争，总是被激活。负责拟合数据的“均值”或通用知识。
路由专家 (Routed Experts): 参与 Top-K 竞争。负责拟合数据的“残差”或特定领域的专业知识。

数学表达：

y=∑j=1NsharedEjshared(x)⏟Fixed Path (通用知识)+∑i∈TopKg(x)i⋅Eirouted(x)⏟Conditional Path (专业知识)y = \underbrace{\sum_{j=1}^{N_{shared}} E_j^{shared}(x)}_{\text{Fixed Path (通用知识)}} + \underbrace{\sum_{i \in \text{TopK}} g(x)_i \cdot E_i^{routed}(x)}_{\text{Conditional Path (专业知识)}}y=Fixed Path (通用知识)j=1∑NsharedEjshared(x)+Conditional Path (专业知识)i∈TopK∑g(x)i⋅Eirouted(x)

代码逻辑变化：

1
def deepseek_moe_forward(x, ...):
2
    # 1. 共享专家路径 (直接计算，无需路由)
3
    shared_out = 0
4
    for i in range(num_shared):
5
        shared_out += shared_experts[i](x)
6

7
    # 2. 路由专家路径 (同传统 MoE)
8
    routed_out = moe_forward(x, gate_weight, routed_experts, k=top_k)
9

10
    # 3. 最终融合
11
    return shared_out + routed_out

Shared Experts 的优势：

梯度高速公路 (Gradient Highway): 无论 Router 怎么随机初始化，Shared Experts 始终提供稳定的梯度回传，极大地稳定了训练初期。
知识解耦: 强制让路由专家去卷“长尾知识”，不再在通用知识上浪费参数。
负载均衡: Shared Experts 不参与负载均衡 Loss 计算（因为它们总是 100% 负载），这让 Router 的压力更小，更容易收敛。

总结 (Cheat Sheet)#

概念	核心作用	数学本质	关键代码/参数
Sparse Gating	条件计算，减少 FLOPs	y=∑piEi(x)y = \sum p_i E_i(x)y=∑piEi(x)	`torch.topk`, `softmax`
Load Balancing	防止专家坍塌	min⁡(f⃗⋅P⃗)\min (\vec{f} \cdot \vec{P})min(f⋅P)	`aux_loss`, `scatter_add`
Shared Experts	知识解耦，稳定训练	y=yshared+yroutedy = y_{shared} + y_{routed}y=yshared+yrouted	DeepSeek-MoE / Qwen-MoE

MoE 的魅力在于它打破了“参数量 = 计算量”的魔咒。通过精妙的门控设计和严格的负载均衡数学约束，我们得以在有限的算力下，触碰万亿参数的智能边界。

荣耀大模型算法日常实习二面复盘

Wed, 24 Dec 2025 00:00:00 GMT

2025年12月24日荣耀大模型算法工程师实习综合面试记录与复盘，侧重于项目落地逻辑、数据处理细节及实习时间确认。

Minimind 手动实操 1: RoPE 长度外推全解析

Tue, 23 Dec 2025 00:00:00 GMT

最近一两年，大模型（LLM）如何突破训练长度限制（Length Extrapolation），支持更长文本的讨论非常热烈。在众多方法中，基于RoPE (Rotary Positional Embedding) 的外推技术尤为流行，代表方法包括 Position Interpolation (PI)、NTK-Aware Interpolation、Dynamic NTK、NTK-by-parts 以及 YaRN 等。这些方法各有千秋，但它们的数学原理和工程实现细节往往让人摸不着头脑。本文将从数学推导和工程实现两个角度，系统地讲解这些 RoPE 外推方法，帮助读者彻底理解它们的本质区别和适用场景。

为了保证讲解的清晰和一致性，我们首先定义一套统一的数学符号，后续所有方法都基于这套符号进行推导。

基础符号定义 (Notation)#

假设我们有一个 Query 或 Key 向量 xxx，维度为 ddd。 RoPE (Rotary Positional Embedding) 将向量两两分组，在复平面上旋转。对于第 iii 组分量（其中 i∈[0,d/2)i \in [0, d/2)i∈[0,d/2)），位置为 mmm，基础频率为 θi\theta_iθi。

位置 (Position): mmm (当前 token 的位置索引)。
维度索引: i∈[0,1,...,d/2−1]i \in [0, 1, ..., d/2 - 1]i∈[0,1,...,d/2−1]。
基数 (Base): b=10000b = 10000b=10000 (LLaMA 等模型的默认值)。
频率 (Frequency): θi=b−2i/d\theta_i = b^{-2i/d}θi=b−2i/d。
旋转角度: m⋅θim \cdot \theta_im⋅θi。
训练最大长度: LtrainL_{train}Ltrain (例如 2048 或 4096)。
推理/目标长度: LnewL_{new}Lnew。
扩展倍率 (Scale): s=LnewLtrains = \frac{L_{new}}{L_{train}}s=LtrainLnew。

原始 RoPE (Baseline)#

在讲外推之前，必须先看原始 RoPE 做了什么。

数学实现： RoPE 的核心是对向量 xxx 应用一个旋转矩阵。对于第 iii 对分量 (x2i,x2i+1)(x_{2i}, x_{2i+1})(x2i,x2i+1)，旋转角度为 mθim \theta_imθi：

f(x,m)i=(cos⁡(mθi)−sin⁡(mθi)sin⁡(mθi)cos⁡(mθi))(x2ix2i+1)f(x, m)_i = \begin{pmatrix} \cos(m\theta_i) & -\sin(m\theta_i) \\ \sin(m\theta_i) & \cos(m\theta_i) \end{pmatrix} \begin{pmatrix} x_{2i} \\ x_{2i+1} \end{pmatrix}f(x,m)i=(cos(mθi)sin(mθi)−sin(mθi)cos(mθi))(x2ix2i+1)

注意，这里的 θi\theta_iθi 公式为：

θi=10000−2i/d\theta_i = 10000^{-2i/d}θi=10000−2i/d

高频分量（iii 较小）：旋转速度极快，关注局部位置信息。
低频分量（iii 较大）：旋转速度极慢，关注长距离全局信息。

外推问题： 当 m>Ltrainm > L_{train}m>Ltrain 时，cos⁡(mθi)\cos(m\theta_i)cos(mθi) 会出现训练时从未见过的数值分布，导致注意力机制崩塌（PPL 爆炸）。

PPL 是什么？

PPL (Perplexity)：困惑度，是衡量语言模型预测能力的指标。PPL 越低，模型预测下一个词的能力越强。数学上，PPL 是交叉熵损失的指数形式：

PPL=exp⁡(−1N∑i=1Nlog⁡P(wi∣w<i))\text{PPL} = \exp\left(-\frac{1}{N} \sum_{i=1}^{N} \log P(w_i | w_{<i})\right)PPL=exp(−N1i=1∑NlogP(wi∣w<i))

其中 NNN 是词的数量，P(wi∣w<i)P(w_i | w_{<i})P(wi∣w<i) 是模型预测第 iii 个词的概率。PPL可以理解为模型在预测时的“平均分支数”，PPL 越高，表示模型越不确定。

Position Interpolation (PI, 线性插值)#

核心思想： 既然模型没见过大于 LtrainL_{train}Ltrain 的 mmm，那我们把新的长位置 LnewL_{new}Lnew 硬塞回 [0,Ltrain][0, L_{train}][0,Ltrain] 的范围内。也就是“把尺子刻度变密”。

数学实现： 将位置 mmm 替换为 m′=msm' = \frac{m}{s}m′=sm。新的频率项变为：

Angle=msθi\text{Angle} = \frac{m}{s} \theta_iAngle=smθi

工程实现： 在代码中，不需要改变模型权重，只需要在预计算 cos 和 sin 表（Frequency Buffer）时修改即可。

1
# 伪代码
2
scale = L_new / L_train  # 例如 4096->8192, scale=2
3
t = torch.arange(L_new)
4
t = t / scale  # 将 0~8191 压缩回 0~4095.5
5
freqs = torch.outer(t, inv_freq)

优缺点：

优点： 极其简单，微调(Fine-tune)几百步就能让模型适应长文本。
缺点： “高频分辨率丢失”。
- 对于高频部分（iii 很小），相邻 token 的旋转角度差值变小了（被除以了 sss），导致模型无法精确区分相邻的词（例如 “cats” 和 “cat” 的区别）。这就是所谓的“分辨率（Resolution）分辨率”。

NTK-Aware Interpolation#

核心思想： PI 简单粗暴地对所有频率都除以 sss，这伤害了高频部分。根据 Neural Tangent Kernel (NTK) 理论，高频特征学习快，低频特征学习慢。 我们不应该改变位置 mmm（保持分辨率），而应该改变“基数”bbb。 通过改变 bbb，我们可以让高频部分保持不变（不插值），只对低频部分进行插值。

数学实现： 我们要寻找一个新的基数 b′b'b′，使得最低频（i=d/2−1i=d/2-1i=d/2−1）的效果等同于 PI 插值，而高频变化最小。 PI 的低频项是：ms⋅b−2i/d\frac{m}{s} \cdot b^{-2i/d}sm⋅b−2i/d。 NTK-Aware 保持 mmm 不变，改变 bbb 为 b′b'b′：m⋅(b′)−2i/dm \cdot (b')^{-2i/d}m⋅(b′)−2i/d。

令两者在最低频处相等（iii 最大时）：

1sb−1=(b′)−1 ⟹ b′=b⋅s\frac{1}{s} b^{-1} = (b')^{-1} \implies b' = b \cdot ss1b−1=(b′)−1⟹b′=b⋅s

注：推导细节为了简化忽略了2i/d2i/d2i/d，实际公式考虑所有维度，推导出的修正基数如下：

最终公式：

b′=b⋅sdd−2b' = b \cdot s^{\frac{d}{d-2}}b′=b⋅sd−2d

通常 dd−2≈1\frac{d}{d-2} \approx 1d−2d≈1，所以很多实现里直接近似 b′≈b⋅sb' \approx b \cdot sb′≈b⋅s。

工程实现： 不用改 mmm（位置索引），只改计算频率时的 base。

1
# 伪代码
2
alpha = L_new / L_train
3
# 计算新的 base
4
new_base = 10000 * (alpha ** (dim / (dim - 2)))
5
# 重新计算 inv_freq
6
inv_freq = 1.0 / (new_base ** (torch.arange(0, dim, 2) / dim))
7
# 生成 cos/sin 表

优缺点：

优点： 解决了 PI 在高频部分分辨率丢失的问题。无需微调也能获得比 PI 更好的 PPL，微调后效果更佳。

Dynamic NTK Interpolation#

核心思想： 前面两种方法 sss 是固定的。如果你设 Lnew=16kL_{new}=16kLnew=16k，但在推理时只输入了 1k 个词，模型性能反而会下降，因为它被不必要地“压缩”了。 Dynamic NTK 根据当前生成的序列长度 LcurrL_{curr}Lcurr 动态计算 sss。

数学实现： 在每一步推理（或者每隔一段）：

获取当前序列长度 LcurrL_{curr}Lcurr。
如果 Lcurr≤LtrainL_{curr} \le L_{train}Lcurr≤Ltrain，使用原始 RoPE (scale=1scale=1scale=1)。
如果 Lcurr>LtrainL_{curr} > L_{train}Lcurr>Ltrain，计算 s=LcurrLtrains = \frac{L_{curr}}{L_{train}}s=LtrainLcurr。
使用 NTK-Aware 重新计算 b′b'b′ 和频率表。

工程实现： 这对 KV Cache 系统提出了挑战，因为 RoPE 以前是静态的，现在变成了动态的。如果 RoPE 是在 Attention 之前做的（通常是），意味着以前存进 KV Cache 的 Key 向量是基于旧的 sss 旋转的。当 sss 变化时，之前的 KV Cache 失效了？

实际上： 大多数实现为了性能，在推理时如果采用 Dynamic NTK，通常不重算 KV Cache，这会导致一定的误差，但在 RoPE 的语境下，模型往往能容忍这种渐变。或者采用“不旋转存 KV，取出时旋转”的策略（但计算量大）。

优缺点：

优点： 在短文本上保持原始性能，随着长度增加平滑过渡到外推模式。

NTK-by-parts Interpolation (分段 NTK)#

核心思想： NTK-Aware 即使改变了 base，对高频部分还是有微小的影响。 “By-parts” 提出一个更激进的假设：波长（Wavelength，λ=2π/θi\lambda = 2\pi / \theta_iλ=2π/θi）。

如果波长 λ\lambdaλ 很短（远小于训练长度）：这是高频，包含局部信息。绝对不要插值（保持原始 RoPE）。
如果波长 λ\lambdaλ 很长（大于训练长度）：这是低频，包含长距离信息。必须插值（类似 PI）。
中间部分：过渡。

数学实现： 定义波长 λi=2π⋅b2i/d\lambda_i = 2\pi \cdot b^{2i/d}λi=2π⋅b2i/d。定义两个阈值 α,β\alpha, \betaα,β（例如 α=1,β=32\alpha=1, \beta=32α=1,β=32）。对于每个维度 iii：

如果 λi/Ltrain<α\lambda_i / L_{train} < \alphaλi/Ltrain<α：不插值（m→mm \to mm→m）。
如果 λi/Ltrain>β\lambda_i / L_{train} > \betaλi/Ltrain>β：全量插值（m→m/sm \to m/sm→m/s）。
中间：线性混合。

由于直接对 mmm 混合比较麻烦，通常会将这个逻辑转换为改变频率 θi\theta_iθi：

θi′=(1−γi)θi+γiθis\theta_i' = (1 - \gamma_i) \theta_i + \gamma_i \frac{\theta_i}{s}θi′=(1−γi)θi+γisθi

其中 γi\gamma_iγi 是根据波长计算出的 ramp 函数（0 到 1）。

工程实现： 需要为每个维度 iii 计算一个缩放因子。

1
# CodeLLaMA 采用的就是类似思路
2
# 计算每个维度的波长
3
wavelen = 2 * math.pi / inv_freq
4
# 这种方法不改 base，而是直接改 freq
5
# 对 wavelen 小的不变，大的除以 scale

YaRN (Yet another RoPE extensioN)#

这是目前的集大成者（CodeLlama 等模型深受其影响）。

核心思想： YaRN 结合了 NTK-by-parts 的分段思想，并解决了一个隐藏问题：熵（Entropy）的变化。当我们将所有 token 的 RoPE 距离拉开（或压缩）时，Attention 矩阵中的点积数值分布会发生变化（通常变得更“平”或更“尖”），这会导致 Softmax 后的分布熵变大，模型困惑度增加。 YaRN 引入了 temperature scaling 来修正注意力分布。

数学实现（三大步骤）：

NTK-by-parts: 使用分段策略（高频不转，低频转，中间插值）。
- 不像原始 NTK 改 base，YaRN 直接通过修正 frequency 来实现。
Length Scaling (注意力修正): 在计算 Attention Score q⋅kTd\frac{q \cdot k^T}{\sqrt{d}}dq⋅kT 时，乘上一个额外的因子 t\sqrt{t}t。或者简单地理解为，在 RoPE 之后，把 q,kq, kq,k 向量本身乘以 t\sqrt{\sqrt{t}}t（即 t0.25t^{0.25}t0.25）。因子 ttt 通常取值： t≈0.1ln⁡(s)+1\sqrt{t} \approx 0.1 \ln(s) + 1t≈0.1ln(s)+1 如果不加这个修正，长文本外推时，注意力分布会因为上下文变长而变得过于“平坦”，模型不知道该关注谁。

工程实现： YaRN 的实现通常包含两个部分：

Get_Rotary_Embedding: 生成修改后的 cos/sin 表（基于分段逻辑）。
Model Forward: 在应用 FlashAttention 之前或之后，对 Logits 进行 scaling，或者直接对 RoPE 后的 output 进行 scaling。

1
# YaRN 简易逻辑
2
# 1. 计算 ramp function (ramp) 基于波长
3
# 2. inv_freq_new = inv_freq * (1 - ramp) + (inv_freq / scale) * ramp
4
# 3. 还有一个 scale factor
5
sqrt_t = 0.1 * math.log(scale) + 1
6
# 在应用 RoPE 后，将 q, k 乘以 sqrt(sqrt_t) (或者在 attention socre 乘 1/t)
7
q = apply_rope(q, inv_freq_new) * t_correction
8
k = apply_rope(k, inv_freq_new) * t_correction

总结与对比 (Cheat Sheet)#

方法	核心手段	mmm (位置)	θ\thetaθ (频率/基数)	xxx (向量值)	评价
RoPE	旋转	不变	默认 b=10000b=10000b=10000	不变	基础，无法直接外推
PI	线性压缩位置	m→m/sm \to m/sm→m/s	不变	不变	简单，但高频分辨率差，微调必须
NTK-Aware	拉伸基数	不变	b→b⋅sdd−2b \to b \cdot s^\frac{d}{d-2}b→b⋅sd−2d	不变	数学优雅，高频无损，微调效果好
Dynamic NTK	动态拉伸	不变	bbb 动态变化	不变	推理时自适应长度，无需微调即可用
NTK-by-parts	分频段处理	混合	高频不变，低频插值	不变	CodeLlama 基础，保留局部能力
YaRN	分段 + 修改熵	混合	同上	乘以 t\sqrt{t}t	目前最强，最稳定的长文本方案

荣耀大模型算法日常实习一面复盘

Mon, 22 Dec 2025 00:00:00 GMT

2025年12月22日荣耀大模型算法工程师实习面试记录与复盘，包含项目经历问答、大模型基础知识（RoPE、训练流程、微调与Prompt）及面试官建议。