AI 探路者
冯若航 @Vonng / Agent, LLM, Database
关于 AI、Agent、LLM、AI 编程，以及 AI 与数据库之间的一切。
概率论基本概念
概率论基础知识笔记，公理化基础，概率演算，计数，条件概率，随机变量与分布函数
信息论基础知识：熵
《信息论基础》读书笔记：什么是熵？熵是随机变量不确定度的度量，也是平均意义上描述随机变量所需的信息的度量。
人、社会与神经网络
神经网络受人脑启发而出现，人类社会的运作机制与神经网络训练也有着各种相似关联。读维纳《人有人的用途——控制论与社会》的一些感想。
线性代数基本概念
用一条主线将线性代数中的所有概念串联起来
概率论基本概念
1. 集合论 样本空间和样本点是概率论中无定义的基本概念，如同几何中的点和直线的概念一般。 定义：事件 事件：事件是样本点的 集合。 $A=0$表示事件A不含任何样本点，即A是不可能事件。 $A=0$是一个代数表达式而不是算术表达式，0在这里是一个符号。 样本空间中一切不属于事件A的点所构成的事件称为A的补事件。或称非事件。并以$A^C$记之，$S^C=0$ 事件A、B、C的交，用$A\cap B \cap C$表示，并用$A \cup B \cup C$表示事件的并 $A\subset B$ …
1. 集合论 样本空间和样本点是概率论中无定义的基本概念，如同几何中的点和直线的概念一般。 定义：事件 事件：事件是样本点的 集合。 $A=0$表示事件A不含任何样本点，即A是不可能事件。 $A=0$是一个代数表达式而不是算术表达式，0在这里是一个符号。 样本空间中一切不属于事件A的点所构成的事件称为A的补事件。或称非事件。并以$A^C$记之，$S^C=0$ 事件A、B、C的交，用$A\cap B \cap C$表示，并用$A \cup B \cup C$表示事件的并 $A\subset B$ …
信息论基础知识：熵
信息论回答了通信理论中的两个基本问题： 数据压缩的临界值：熵 HHH 通信传输速率的临界值：信道容量 CCC 但信息论的内容远不止于此，我们会在许许多多的领域中看见它的身影：通信理论，计算机科学，物理学（热力学），概率论与统计学，科学哲学，经济学等等……。 熵（entropy） 信息是一个相当宽泛的概念，很难用一个简单的定义将其完全准确地把握。然而对于 任意一个概率分布，可以定义一个称为 熵（entropy） 的量，它具有许多符合信息度量的直观要求。 熵是随机变量不确定度的度量，也是平均意义上描 …
信息论回答了通信理论中的两个基本问题： 数据压缩的临界值：熵 HHH 通信传输速率的临界值：信道容量 CCC 但信息论的内容远不止于此，我们会在许许多多的领域中看见它的身影：通信理论，计算机科学，物理学（热力学），概率论与统计学，科学哲学，经济学等等……。 熵（entropy） 信息是一个相当宽泛的概念，很难用一个简单的定义将其完全准确地把握。然而对于 任意一个概率分布，可以定义一个称为 熵（entropy） 的量，它具有许多符合信息度量的直观要求。 熵是随机变量不确定度的度量，也是平均意义上描 …
人、社会与神经网络
神经网络受人脑启发而出现，因此人类社会的运作机制与神经网络训练也有着各种相似和关联。 这一年，涉猎了不少别的学科。大多浅尝辄止，但还是收获巨大。每挖一个新坑，我就会习惯性地找到新学科与旧学科之间的关联。特别的，我更偏好于使用本专业的视角去看待这些知识。例如，人类社会的运作机制与训练神经网络之间的关联。 每一个人，都可以被想象成一台计算机： 他有着作为中央处理器与存储器的大脑；有着作为外围处理机的小脑；跳动的心脏则是整个机器的动力来源——电源；他有着各种输入器件：作为摄像头的眼睛、作为麦克风的耳 …
神经网络受人脑启发而出现，因此人类社会的运作机制与神经网络训练也有着各种相似和关联。 这一年，涉猎了不少别的学科。大多浅尝辄止，但还是收获巨大。每挖一个新坑，我就会习惯性地找到新学科与旧学科之间的关联。特别的，我更偏好于使用本专业的视角去看待这些知识。例如，人类社会的运作机制与训练神经网络之间的关联。 每一个人，都可以被想象成一台计算机： 他有着作为中央处理器与存储器的大脑；有着作为外围处理机的小脑；跳动的心脏则是整个机器的动力来源——电源；他有着各种输入器件：作为摄像头的眼睛、作为麦克风的耳 …
线性代数基本概念
用一条主线将线性代数中的所有概念串联起来 向量 向量有三种视角 物理学视角：向量是一个有方向和大小的箭头 计算机视角：向量是一个有序列表 数学视角：向量是一个有序列表，可以容纳任何东西，只要向量加法与向量倍乘有意义。 线性空间，张成的空间与基 $\mathbb{R}^2$中，两个不共线的向量可以组合出任何想要的向量。 而两个共线的向量只能组合出这条线上的向量。 更进一步， 两个零向量只能张出0向量。 将这两个向量并在一起，写成矩阵的形式。矩阵在这里就代表对空间的变换。 某个变换，将 …
用一条主线将线性代数中的所有概念串联起来 向量 向量有三种视角 物理学视角：向量是一个有方向和大小的箭头 计算机视角：向量是一个有序列表 数学视角：向量是一个有序列表，可以容纳任何东西，只要向量加法与向量倍乘有意义。 线性空间，张成的空间与基 $\mathbb{R}^2$中，两个不共线的向量可以组合出任何想要的向量。 而两个共线的向量只能组合出这条线上的向量。 更进一步， 两个零向量只能张出0向量。 将这两个向量并在一起，写成矩阵的形式。矩阵在这里就代表对空间的变换。 某个变换，将 …