概率论历史上第一个极限定理属于伯努利，后人称之为“大数定律”。概率论中讨论随机变量序列的算术平均值向随机变量各数学期望的算术平均值收敛的定律。
在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。通俗地说，这个定理就是，在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种必然。
大数定律分为弱大数定律和强大数定律。
大数定律是概率论中的一个重要概念，它描述了在独立随机变量的序列中，样本的平均值会趋向于其期望值。这个定律在实际应用中有着广泛的应用，特别是在统计学、科学、工程等领域。
大数定律可以用以下形式来描述：对于独立同分布的随机变量序列 X1, X2, ..., Xn，若其期望值为 E(Xi) = μ，方差为 Var(Xi) = σ^2，则样本平均值 S_n = (X1 + X2 + ... + Xn) / n 以概率趋近于其期望值μ，即：
lim P(|S_n - μ| > ε) = 0 (n ∞)
其中，ε为一个任意正数。
这个定律的实际意义是，当我们针对同样的问题进行多次试验并取平均数时，总体平均值将会越来越接近真实的期望值。举个例子，如果我们想估计某家公司员工的平均薪资，我们可以随机选取一些员工进行调查，然后计算他们的平均薪资。按照大数定律，当我们采集的样本数量足够多时（即n足够大时），我们得到的平均值将会越来越接近真实的平均值。
需要注意的是，这个定律不是对所有情况都适用的。例如，当随机变量的方差无限大时，大数定律就不再适用了。此外，在实际应用中，我们也需要考虑到样本容量、样本抽样的方式、样本分布等因素对定律的影响。
在统计学领域，大数定律是建立在中心极限定理之上的重要概念。它为我们提供了一种有效的方式来估计一个总体的参数，而不需要观察所有的样本数据。由于其重要性和广泛应用，大数定律已经成为了现代统计学的基石之一。
