Ftools命令组之fegen命令介绍

本文作者：周宏杰

文字编辑：张馨月

基本语法结构：

fegen命令用于在大数据集中代替egen命令来加快函数运行速度。从语法中可以看出，fegen命令和egen命令一样，可以指定生成变量的类型（int、long、float等）。虽然fegen处理速度有了极大的提升，但是目前fegen支持的函数不多，只能运行group函数（为数据进行分组编码）

为了展示fegen命令的效果，需要先生成一个大数据集。本文使用Stata自带数据集nlsw88.dta,重复生成该数据集10次之后，将这些数据纵向拼接起来得到一个大数据集tmp.dta，具体代码如下所示：

（1）egen命令和fegen命令速度对比

接下来对比egen命令生成group函数计算结果的耗费时间，展示fegen 命令的运行速度，为了使对比结果有更好的可信度，这里对tmp.dta数据集中的race变量运行egen命令和fegen命令各五次，然后对所耗时间取均值。具体命令如下所示：

具体结果如下所示：

从这个结果看出，各运行fegen命令和egen命令五次后，两个命令的运行时间均值有着显著差距，很明显，fegen命令运行速度比egen命令快2倍以上。

（2）展示missing选项效果

当不带missing选项时，fegen group命令（即使用fegen命令运行group函数，为了简便，下面都称为fegen group命令）不会对缺失值进行分组，仍然生成缺失值；当使用missing选项时，fegen group命令将缺失值另外分成一个组。这里对tmp.dta数据集里面的occupation变量分别使用带有或者不带有missing选项的fegen group命令。具体命令如下所示：

具体结果如下所示：

从结果看出，带有missing选项的fegen group命令运行结果比不带有missing选项的fegen group命令多了一组，而且没有缺失值，说明带有missing选项的fegen group命令将缺失值编成了一组。

（3）对比带missing和不带missing选项的fegen group命令的运行速度

这里需要注意的一点是，使用或者不使用missing选项，fegen group命令的运行速度是有显著区别的。这里还是对occupation变量使用不同的方法分别来处理。具体代码如下所示：

具体结果如下所示：

从结果看出，使用missing选项的fegen group命令运行速度明显慢于不使用missing选项的fegen group命令。小朋友，你是否有很多的问号？那接下来就探索它的原因。这里会使用到fegen group命令的另一个选项verbose来查看分组编码的具体信息。具体代码如下所示：

具体结果如下所示：

从verbose所产生的详细信息来看，当fegen group命令不使用missing命令时，采用的方法是hash0也就是处理大数据集时采取的改进方法，但是当fegen group命令使用missing命令时，这里显示的方法是stata，也就是说没有采取改进方法，还是依旧是使用传统的stata处理方式来处理大数据集，所以速度是慢很多的。因此，当在大数据集中，使用fegen group命令时，尽量别使用missing选项。

至此，本文已经介绍完了fegen命令。虽然目前fegen命令支持的函数比较少，但是它的运行速度是令人惊喜的，在特定情况下能发挥奇效，并且由于fegen只是一个新开发的命令，相信以后会支持越来越多的函数，所以各位可以继续关注这个命令的发展。

基于贝叶斯定理的算法——朴素贝叶斯分类

爬取东方财富网当日股票交易情况

stata调用python爬取时间数据——借他山之石以攻玉