🔥 热搜 🔥
百度今日热点微信公众平台贴吧opggdnf私服百度贴吧知乎dnf公益服百度傻逼
分类
社会娱乐国际人权科技经济其它
🔥 热搜 🔥
百度今日热点微信公众平台贴吧opggdnf私服百度贴吧知乎dnf公益服百度傻逼
分类
社会娱乐国际人权科技经济其它
查看原文
其他

Filter(过滤)|Project(映射)|Pushdowns(谓词下推)

大数据技术与架构 2021-10-21
1. Filter（过滤） 和 Project（映射） 
在传统的 OLAP 系统中，在进行 Join 的时候使用过滤和映射会极大的提高性能。同样的，在 Hadoop 中使用 Filter 和 Projection 同样可以提高效率，由于减少了一个管道需要处理的数据量。在Hadoop中减少处理的数据量是至关重要的，尤其当需要通过网络和本地磁盘进行处理的时候。我们都知道，MapReduce 的shuffle 过程会将数据通过网络写入到磁盘中，所以拥有更少的数据就意味着Job 和 MapReduce  框架的工作量也就越少，这样Job的数据传输也会更快，CPU、磁盘、网络设备的压力也会减少。

使用 filters 和 projection 来减少数据大小

Filter 和 projections 最后靠近数据源进行执行；在MapReduce中，最好在mapper中执行。以下代码显示了一个排除30岁以下的用户，并且只映射他们的姓名和状态：

public static class JoinMap extends Mapper<LongWritable, Text, Text, Text> { @Override protected void map(LongWritable offset, Text value, Context context) throws IOException, InterruptedException {
 User user = User.fromText(value); if (user.getAge() >= 30) { context.write(new Text(user.getName()), new Text(user.getState())); } }  }
在 Join 中使用 filter 需要注意的是，并不是所有连接的数据集都包含你需要过滤的字段。对于这种情况，你需要使用Bloom filter 方法。
2. Pushdowns
谓词下推（predicate pushdown）属于逻辑优化。优化器可以将谓词过滤下推到数据源，从而使物理执行跳过无关数据。在使用Parquet的情况下，更可能存在文件被整块跳过的情况，同时系统还通过字典编码把字符串对比转换为开销更小的整数对比。在关系型数据库中，谓词则被下推到外部数据库用以减少数据传输。
通过以下这张图，我们可以发现，谓词下推在逻辑层面可以理解为利用where 条件中的过滤条件将无用的数据进行筛选掉最终得到需要的行列。
投影和谓词下推通过对存储格式的映射和谓词的推送而进一步来进行过滤。针对 Parquet 这样的存储格式，我们可以直接跳过整个记录或者整个块，这样极大的提高了 Job 的性能并且减少了不必要的开销。
这里需要注意的是，Avro 是基于行列的存储格式。

需要知道的：
1. 对 Inner Join 来说，Hive 只支持等值连接，不支持不等值连接。因为不等值连接在 MapReduce Job 转换起来很麻烦。
2. 虽然 Hive 不支持等值连接，但是在 Cross Join 和 Where条件中仍然可以使用。下面是 Cross Join发生的条件：

  • 使用 Cross Join 关键词

  • 只有 Join 关键词，没有 On 条件

  • 有 Join 关键词，On 后面跟着绝对为 Ture (例如 1=1) 的情况 


欢迎点赞+收藏+转发朋友圈素质三连


文章不错？点个【在看】吧！ 👇

: ， . Video Mini Program Like ，轻点两下取消赞 Wow ，轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题？点此查看未经处理的缓存