1我们希望能够将来结合线性代数和微积分等等相关的数学分支来更好地理解随机过程和模式识别等等学科。因为我们要做的建模需要很好地理解这些思想才能有好的算法,如动态规划以及之后用于序列匹配的bla算法就是我们的目标,从公式和定理到具体的应用。概率论的公理化的前置条件,测度论是一种基本前提假设和共同认知,毕竟数学要严谨。概率是基于测度的一组度量,就如同度量衡需要提前定义然后才能各种描述。借助概率论,我们能够通过把握很小一部分信息就能够把握整体,毕竟整体的运动很复杂,我们很难也没有必要全部把握,我们只需要把握其中的不动点就足够以局部指代整体。这就有点类似于信号与系统的傅里叶变换,把复杂的时域变化变换为简单明了的频域。这是一种升维的角度,我们没有办法掌握具体的变化,这需要的运算量太大了,但我们可以通过把握高维的一些变量来理解底层的变化。统计和概率是一家。
概率的本质,有两方面的解释,一个是频率(根据过去的统计数据得出的频率),一个是可能性(将来发生的可能性的度量)。如果我们认为不存在时间的差异的话可以认为是等同的。根据不同事件的组合,其发生的概率最后会形成一定的概率分布。通过对这些信息的把握,我们可以把握不同事件发生的相对比例,从而为我们的选择提供很好的指导。毕竟新的信息加入总会减少不确定性,使得我们的决策在统计水平上会比随机决策好一点,这堆积起来就构成如今复杂的高度有序的世界。
集合论的使用本质上是对各种关系的描述(抽象的表述),而概率论则是定量化这些关系。我们构建一个系统来建模,其存在很多变量可以影响系统的运行,我们要全部把握是不可能的。但通过理论的推导和经验的积累,我们还是可以做出比较优化的选择的。
使用函数的概念,就有概率函数(本质上是一种映射,从事件到概率值),自变量是特定的事件(本质是集合,因此需要考虑相关的性质:全集,空集,补集,交集),因变量就是发生该事件的概率(值域范围0-1)。其中德摩根定律就是很好的例子。a并集b的补集等于a的补集交集b的补集,这在韦恩图上很容易观察到其是成立的。而这种等价关系的确立是数理逻辑常用的,即求真值表。一般来说其证明方法都是使用排中律/反证法。
样本空间,是概率实验所有可能的结果的集合(可以视为集合的集合)。这是统计的结果,而具体每一次的事件是固定的排他的,我们很难把握,但可以把握统计层次的相对比例。
系统具有不确定性,我们需要把握具有确定性的量,即概率是对整体的一组提炼。因此建立概率模型能够使得我们更好地理解复杂系统,毕竟随机事件发生的比例即概率已经知道。
2概率的公理体系:1任何一个事件发生的概率一定都是大于等于零的2样本空间的事件概率之和为一3互斥事件的并集发生的概率等于各自概率加和
通过底层的假设构建的系统,如同欧几里得几何公理体系就是从有限的5条公理推导出各种复杂的几何关系,而改变第五公设形成的黎曼几何和洛巴切夫斯基几何。不同的假设可以导出不同的公理体系,从而可以形成更加复杂的定理及其性质。这是大厦的基底,只要公理在特定领域也成立,那么后续的定理以及性质是不证自明的,可以直接拿来用。
同样,一个足够复杂的事件其实也是可以逐步分解,直到最基本的满足公理的事件。这种还原论的思路在微积分发挥过巨大的作用,还有程序设计语言需要顺序,分支,循环三种语句来表示各种复杂的逻辑。c.boopini,“floionruleay1966,pp366-371。因此本质上公理体系是一种重言式的推断。而各种定理的提出则是一种有意义的线性组合。
当然,这种组合是指数级爆炸的,我们要从中提取出有意义的定理就如同海底捞针,但这是可行,也可以视为一种层次的涌现。参考其衍生的各种性质:空集发生的概率为0;任何一个事件a发生的概率会等于1减掉a的补集发生的概率。
概率是对信息的掌握程度的度量。条件概率(p(x|y)=p(xy)/p(y))是特定事件发生后概率发生的更新,本质上是样本空间的更新,使得原有的事件发生概率变化。通过对事件的变换可以得出不同的事件组合发生的概率。
性质一p(x|y)条件概率一定大于等于0;性质二在y发生的情况之下p(y|y)的概率会等于1;性质三如果a、b互斥,在y已经发生的情况之下a并集b的概率等于他们两个各自的条件概率相加;类似于概率的公理体系,实际上就是其延伸到条件概率的性质。
totalprobability定理,全概率公式(p(a)=∑p(a|ci)*p(ci)),对任意事件a我们都有p(a)=p(a|c1)p(c1)+p(a|c2)p(c2)+...+p(a|cn)p(cn)。这是一种分解。然后其逆运算就是贝叶斯定理bayesrule,考虑的是发生特定事件的前提下,其他事件发生的概率即p(cj|a)=p(cja)/p(a)=p(a|cj)*p(cj)/∑p(a|ci)*p(ci)。这些事件的变换就可以形成复杂的关系,能够对应与现实发生的特定事件。
3概率独立性:a跟b这两个事件同时发生的概率等于它们个别发生的概率相乘,则a跟b是独立的事件