Transformer 架构图解：Attention Is All You Need
Transformer 架构是当前几乎所有大语言模型的基础。理解它对于深入 AI 领域至关重要。 ## 为什么需要 Transformer？ 在 Transformer 出现之前，RNN 和 LSTM 是序列建模的主流方案。但它们有两个致命问题： – 无法并行计算 – 长距离依赖建模困难 ## 核心组件 ### […]
AI思考
编程开发
反向传播算法入门：从零理解神经网络训练
反向传播（Backpropagation）是深度学习中最核心的算法之一。本文将用直观的方式解释其工作原理。 ## 问题背景 训练神经网络的本质是：给定大量样本，通过调整网络参数（权重和偏置）使得模型输出尽可能接近真实值。 ## 核心思想 ### 前向传播 输入数据从输入层经过隐藏层逐层计算，最终得到输出。这个过程称为前向传播。 ### 损失函数 计算模型输出与真实标签之间的差距（损失值）。常见的有均方误差（MSE）和交叉熵（Cross-Entropy）。 ### 反向传播 从输出层开始，利用链式法则逐层计算损失对每个参数的梯度。 ## 直观理解 可以把反向传播想象成一种错误信息反馈机制： 1. 模型做出预测（前向传播）
AI思考
AI 编程助手实测：Cursor vs Copilot 深度对比
作为开发者，选对 AI 编程助手能显著提升开发效率。本文基于一个月的深度使用，对比两款主流工具。 ## Cursor ### 优势 – AI Native 编辑器，不需要额外安装插件 – 强大的代码理解和上下文感知 – Composer 模式支持批量文件编辑 – 内置 Terminal 集成
技术笔记
Zettelkasten 卡片笔记法在数字时代的实践
Zettelkasten（卡片盒笔记法）是德国社会学家尼克拉斯·卢曼发展出的一套笔记方法，他正是靠这套方法完成了 70 多本书和数百篇学术论文。 ## 核心原则 ### 原子化（Atomicity） 每张卡片只记录一个想法。这迫使我们把复杂概念拆解为最小可理解的单元。 ### 自主性（Autonomy） 每张卡片自成一体，不依赖上下文也能被理解。 ### 连接（Connection） 核心价值在于卡片之间的连接。新的卡片要主动与已有卡片建立关联。 ## 数字时代的实现 在 Obsidian 中实践 Zettelkasten
AI思考
大模型微调实战：用 LoRA 训练自己的模型
大语言模型的微调（Fine-tuning）是将通用模型适配到特定任务的关键技术。本文将介绍最流行的微调方法之一：LoRA。 ## 什么是 LoRA？ LoRA（Low-Rank Adaptation）是一种高效的微调技术，通过在原有权重矩阵旁添加低秩矩阵来适配下游任务。 ### LoRA 的优势 – 参数量仅为完整微调的 0.1%-1% – 训练速度快数倍 – 显存占用大幅降低 – 多个 LoRA 权重可动态切换
AI思考
如何用 AI 工具将工作效率提升 10 倍
这一年来我深度使用各种 AI 工具，工作效率确实提升了不止一个量级。 ## 日常使用的 AI 工具链 ### 编程助手 – **GitHub Copilot** – 写代码时的最佳搭档 – **Cursor** – AI 原生编辑器，重构代码神器 –
编程开发
Python 异步编程从入门到实践
异步编程是现代 Python 开发者的必备技能。本文从基础概念讲起，带你掌握 asyncio。 ## 什么是异步编程？ 传统同步编程中，遇到 I/O 操作时程序会阻塞等待。而异步编程允许在等待 I/O 的同时执行其他任务。 ## 核心概念 ### 协程 (Coroutine) 用 `async def` 定义的函数返回一个协程对象，需要用
技术笔记
用 Obsidian 搭建个人知识库的完整指南
Obsidian 是我目前最依赖的笔记工具，本文分享我的完整搭建流程。 ## 为什么选择 Obsidian？ – 本地存储，数据完全由自己掌控 – 基于 Markdown，不依赖任何专有格式 – 强大的双链功能，构建知识网络 – 丰富的插件生态 ## 我的目录结构 “` 📂 知识库 ├──
AI思考
ChatGPT 与 Claude 实测对比：哪个更适合编程？
最近深度使用了 ChatGPT 和 Claude 两款 AI 助手来完成编程任务，分享一下真实感受。 ## 代码生成能力 ### ChatGPT (GPT-4) – 擅长 Python、JavaScript 等主流语言 – 代码解释详细，适合学习 – 对第三方库的掌握比较全面
Uncategorized
AI 时代的个人知识管理方法
在信息爆炸的时代，如何有效地管理和利用知识成为每个技术工作者的必修课。 ## 为什么要做知识管理？ 每天我们接触的信息量远超大脑能处理的范围。如果不加以管理，这些信息只会成为噪音，而非真正的知识。 ### 核心原则 1. **收集而非收藏** – 看到有价值的信息时，立刻用笔记工具记录要点，而不是简单地收藏链接 2. **定期回顾** – 每周花 30 分钟回顾本周记录的笔记，加深理解 3. **建立连接** – 将新知识与已有知识建立关联，形成知识网络