LLM 学习笔记——扩散模型学习 TODO
Created|Updated|llm
|Word Count:165|Reading Time:1mins
目前的深度学习笔记只覆盖了 RNN、LSTM 这种循环神经网络和 Transformer 模型, 还可以加上扩散模型部分,毕竟 Transformer 和扩散模型算是大模型领域最著名的两个基石了,前者是主流大语言模型的基础,后者则是主流图片和视频生成模型的基础。
刷了一些短课程,但是目前没空整理笔记,有时间再说。
参考资料:
Author: Shun Li
Copyright Notice: All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles

2026-01-17
LLM 代码练习——MCP demo
两个文件,对应一个 MCP server 和一个调用者(需要第三方依赖 httpx),用于展示 MCP 的基本原理。 mcp-server.py123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126import sysimport jsonimport subprocess# --- 安全白名单配置 ---# 仅允许执行以下键对应的命令SAFE_WHITELIST = {"list_files": "dir", "who_am_i":...

2026-02-24
LLM 代码练习——从零实现一个迷你 Agent
现在的 Coding Agent 看起来功能复杂,但核心循环并不神秘:把用户消息发给模型,模型决定是否调用工具,程序执行工具并把结果送回模型,直到模型给出最终回答。 toycode.py 是用 Python 标准库写的一个迷你 Agent。它支持 OpenAI 兼容的 Chat Completions API,可以读写工作区文件、执行 shell、加载项目 Skill,还实现了工具确认、路径限制、命令超时、上下文压缩和 Ctrl+C 中断处理。整个脚本只有一个文件,适合用来观察 Agent 的基本结构。 整体结构flowchart TD A[命令行交互] --> B[Agent 循环] B --> C[OpenAI 兼容 API] C -->|普通回复| D[输出给用户] C -->|tool_calls| E[参数校验与人工确认] E --> F[文件 / Shell / Skill 工具] F -->|tool result| B B -. 上下文过长 .-> G[历史压缩] ...

2026-02-01
LLM 学习笔记——理论基础
Some content in this article was created with AI assistance. Please verify as needed.这份笔记关注大模型的理论基础。 毫无疑问的是,在大模型领域,实践是远远走在理论前面的,但是基础理论的缺乏并不是致命的阻碍。一个历史上的例子是:“在蒸汽机已经大规模应用的年代,热力学的重要定理一条都还没搞出来,工程师完全凭借的是经验或错误的热质说。等到这些热力学定理终于写出来时,蒸汽机已经跑了几十年甚至上百年。” 为什么大语言模型能够成功近年来,大语言模型(Large Language Models, LLM)在自然语言处理领域取得了显著进展。相比早期的机器学习方法,大语言模型能够在统一模型框架下完成多种语言任务,并在多个基准测试中取得较好的性能。 这种成功通常被认为是多个因素共同作用的结果,包括: Transformer 架构提供了可扩展的序列建模方式。 预训练语言模型范式让模型可以先学通用能力,再适配具体任务。 海量文本和代码数据提供了足够丰富的训练数据。 自监督学习让数据规模可以大到互联网级别。 ...

2025-12-17
LLM 代码练习——在 shell 中询问大模型
一个简单的代码练习,解决编程实践中的痛点问题:直接在 shell 中询问大模型具体的 shell 命令。 类似的项目: https://github.com/TheR1D/shell_gpt https://github.com/ChenZiHong-Gavin/easy-shell 完整源码(无任何非标准库的依赖) 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714...

2025-10-17
LLM 代码练习——调用 API 进行简单聊天
一个简单的调用 LLM API 的大模型单次对话脚本,通过 --input 和 --prompt 参数提供输入文件和系统提示文件,输出到标准输出流。 脚本调用 LLM 的方式不依赖 openai 等提供的第三方库,完全使用 Python 标准库实现。 chat-with-prompt.py1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051061071081091101111121131141151161171181191201211221231241251261271281291301311321331341351361371381391401411421431441451461471481491501511521531...

2026-03-01
纯 Python 实现深度学习代码
microgpt.py 是 Andrej Karpathy 写的一个教学项目,几百行纯 Python 实现完整的 GPT 训练和推理流程,不依赖 PyTorch,甚至不依赖 Numpy! 受到这个项目的启发,我们在原有代码的基础上进一步扩展,从标量自动求导框架开始,依次实现 MLP、RNN、LSTM 和 Transformer 模型,仍然保持纯 Python 的风格,当然代价就是比基于 PyTorch 等的实现慢很多。由于这里只是作为演示项目,训练得到的模型看起来还是在胡言乱语。 自动求导由于不依赖 PyTorch 和 Numpy,首先需要一个 Value 类来实现自动求导,为后续的训练和推理提供基础。 训练神经网络的核心是知道损失函数 $L$ 对每个参数 $\theta$ 的梯度 $\partial L/\partial\theta$,再沿梯度反方向更新参数。手工推导每一层的梯度既繁琐又容易出错,自动求导则把前向计算记录成一张计算图,然后从损失节点开始反向应用链式法则。 例如 $y=f(g(x))$,链式法则为 $$ \frac{\partial y}{\p...