查看原文
其他

PHP7:反序列化漏洞案例及分析

安全客 计算机与网络安全 2022-06-01

信息安全公益宣传,信息安全知识启蒙。

加微信群回复公众号:微信群;QQ群:16004488

加微信群或QQ群可免费索取:学习教程



1、漏洞历史


对于黑客来说,如果能够利用服务器端错误,那简直相当于中了头彩。因为用户倾向于将他们的数据保存在服务器中,如果黑客能够利用这个错误,就能针对某一个目标,从而获取更大的收益。PHP脚本语言是时下最流行的web服务器端语言之一。为了消除PHP开发过程中不同类型的漏洞,人们采用了多种安全编码方案。


然而,安全编码方案不能掩盖语言本身的缺陷。PHP是用相对低级的语言写成的,其中常见的漏洞有内存损坏漏洞,而use-after-free漏洞最为普遍。


这些年来,PHP语言得到了不断的改进,在2015年12月,一个重要的新版本——PHP7被公布出来。这个版本的内部结构与PHP5有很大不同,分配器已经发生了改变,而变量的内部表示(zvals)也完全不同了。


通过一个反序列化漏洞,Check Point研究小组成功演示了一项对PHP7的利用。在这篇报告中,我们将会一步步解释这是如何完成的。


 2、技术背景


为了更好地解释这项利用,我们首先要回顾一些关键的技术细节。


(1)值和对象


在PHP-7中,用来保存值的结构与php-5有所不同。


在内部保存值的结构是zval(_zval_struct)。这个结构的第一个字段是zend_value,其中包含指向PHP基本类型的指针和结构,而主要类型有Boolean、integer、double、string、object和array 等。


我们需要关注的类型是String、Object和Array,它们在内部中被表示为zend_string、zend_object和zend_array结构。


zend_string是用于保存字符串的结构。当引擎创建了一个新的字符串后,它会分配足够的字节给zend_string结构,对字符串的大小进行扩充。然后,它会用字符串的数据填补这个结构的字段,并在结构的末尾添加上字符串的内容。因此,字符串创建为我们提供了一种在不同的尺寸中进行分配的方法:sizeof(zend_string)+ strlen(str)= 16 + strlen(str)。这样,我们就没法再伪造一个字符串zval,并让它指向我们想要的地方了,这和使用PHP-5时有所不同。


zend_object用来表示对象的基本结构。它通常被嵌入在一个代表着不同类型对象的结构中。当zval保存了一个对象时,它的value 字段是一个指向zend_object的指针。


zend_array(又名HashTable)是保存键值存储的结构。这是一个对哈希表数据结构的直接应用,其中的arData字段指向Bucket结构内的一个数组。


总体来说,我们可以看到,PHP-7值系统更倾向于嵌入结构(PHP-5相比)。这种改变可以提高代码的效率(减少分配),让我们难以利用与内存相关的bug(更少的引用)。


(2)PHP-7内存分配器


在PHP-7中,内存分配器的工作原理不同于PHP-5。小的分配(slot)由一个free list完成。每个分配大小都有一个对应的free list。free list通过一个或多个连续页(bin)进行初始化,而free list的初始化使得每一个slot指向下一个slot。一旦free list耗尽,一个新的bin会被分配出来。


重点:


  • 一个slot的元数据是基于所在页面进行检索的。(地址对齐到最近的chunk)

  • 下一个分配的位置可能是当前分配的位置+分配的大小。例如,如果分配器以0 

  • x28的大小返回到地址0xf7e10000,那么下一个大小为0 x28的分配就位于0 xf7e10028。为了简单起见,我们假定这是真实的。注意,在最后一个primitive(下文Writing Memory / 64中会提到),我们设计了一个不依赖这一假设,但仍能触发错误的方法。

  • 分配大小被四舍五入成了某个预定义的大小。

 

(3)反序列化


unserialize函数被用于将格式化字符串内的对象进行实例化,在反序列化期间,每个解析元素都有一个索引号,号码从1开始。


在内部,每个解析值都被放到了php_unserialize_data_t的两个数组中。第一个数组是values-array,第二个是destructor-array。在反序列化期间,值可以重新定义,即在stdClass(最基本的PHP的对象——一个键值存储)中,同一个key可以用不同的值反序列化两次。如果是这样的话,第一个定义会被覆盖,引用也会从数值数组中被移除。然而引用会被保存在destructor-array中。当反序列化结束时,destructor-array中每个值的引用数都会被减少,如果减少到零,它就会被释放。


所以请记住,在反序列化过程中,值不能被释放,只有最后的过程中才可以。


3、BUG (# 71311)


这里的bug是一个Use-After-Free bug,培训存在于标准php库内ArrayObject的反序列化函数中。


ArrayObject是一个SPL对象,它允许对象以数组的形式工作。在内部,它被表示为spl_array_object。这是该对象的序列化形式:


spacer.gif


C:11:"ArrayObject":37:{x:i:0;a:2:{i:0;i:0;i:1;i:1;};m:a:0:{}}


  • 37是括号内的字符数

  • x:i:0;对应于结构中的nr_flags字段

  • a:2:{i:0;i:0;i:1;i:1;}对应于结构中的数组字段(从这个角度,它被称为internal数组以区别于对象本身)

  • m:a:0:{}对应于zend_object std字段内的properties字段(从这个角度,称为members数组)。


当对ArrayObject进行反序列化时,引擎首先会将一个默认的、拥有内部数组的ArrayObject实例化,然后解析ArrayObject的字段。当它解析到与内部数组相关的部分时,会释放初始的内部数组,然后通过引用,调用php_var_unserialize,并指向内部数组,目的是想让函数将它变成已经解析过的内部数组。内部数组可以是一个已经解析的数组的引用,在这种情况下,内部数组被修改为指向引用的数组,同时引用计数会有所增加。


在内部数组对自身进行引用时,错误出现了。这导致内部指针被分配给自己(即无操作),并指向释放了的数组,然后,数组的引用计数会增加。


 4、有漏洞的代码


我们利用的代码常被用于反序列化开发。我们建立了一个运行以下PHP脚本的apache服务器:

 


这个脚本给了我们一个反馈。尽管我们对远程可利用性的要求有所降低,但在每一个情境中,反映到客户端的反序列化数据都是适合的。


我们通过向data参数内的脚本发送字符串进行了利用。在利用过程中,我们从返回的序列化字符串中推断出了一些内部信息。


5、触发这个错误


为了触发这个错误,ArrayObject的内部数组必须引用自身。如前所述,每个解析值会分配到一个索引值。


这是我们最初的字符串: 




反序列化这个字符串会触发错误,并导致ArrayObject::unserializ 内的intern→array 指针指向一个被释放了的slot,然后返回到再分配堆。然而,当对members数组进行反序列化时,这个slot被立即分配了(第1798行)。


如前所述,错误导致了堆的损坏。如果我们立即分配相同的slot,损坏的堆不能被修复。在这种情况下,我们没有办法安全地分配新对象。


 一个更好的解决方法是,将members数组引用到已经反序列化的数组中,避免它被分配到一个新的数组。


反序列化: 



现在,ArrayObject的内部数组正在引用自身, 错误已经引发。Members数组是对一个空数组(在stdClass中实例化的第一个对象)的引用。因此, free slot仍然在堆中,可以由我们分配。


接下来,我们需要修复损坏的堆。当我们引发错误时,内部数组的refcount增加了两次:第一次是在反序列化这个引用的时候,第二次是在引用destructors-array的时候。


zend_array的refcount是整个结构中的前面四个字节。当slot在进行去分配时,分配器会使用slot的前四个字节作为指针,指向bin 的free list内的下一个对象。所以,refcount的增量实际上是由于指针增加了2。


为了解决这个问题,我们需要通过引用让count / free list指向一个有效的已释放的slot。zend_array的大小为44个字节,因此它属于48字节大小的bin。可以假定下一个free slot在内部数组后面48字节处(在损坏之前)。为了解决这个问题,我们需要将refcount /指针增加46(2 + 46 = 48)。随着每个反序列化引用的增加,refcount 都会增加2,我们需要再添加23个对已释放数组的引用 (2 + 23 * 2 = 48)。


由此产生的字符串是这样的:




现在我们可以对48-bin内的任何对象——即大小为41-48字节的对象进行反序列化,从而分配已释放的对象。


当我们用自己的对象占用已释放的slot后,还有一件事需要担心:当反序列化过程结束后, destructor-array中的所有引用都减少了。这意味着refcount将下降23。所以在分配后,我们至少要将引用计数增加23。如果我们增加的数量小于23,对象会被释放,这会导致它变成free list内的指针,然后降低更多,从而导致堆的损毁。


因此,稳定的触发器是以下的字符串:



在这种情况下,我们仍然有一个分配给使用着的slot的空数组对象。当然,它不是很有用,但是很稳定,不会让引擎崩溃。如果我们少引用了一次数组,数组和其中所有对象都将被释放。我们可以利用这个性质来获得代码执行。


重点:


  • ArrayObject认为内部数组的任何指向都是指向zend_array结构的指针。这意味着,我们选择分配给已释放slot的任何对象都必须与这个结构类似,即拥有有效的指针等。(在我们的触发字符串中,我们分配了一个真正的数组来避免这个问题)

  • 在反序列化后,PHP脚本本身可能需要分配一些对象,它可能会分配已释放的对象。为了避免这种情况,我们需要分配和释放几个适当大小的对象。


6、泄漏指针


在典型的PHP-5反序列化利用中,我们会使用分配器来覆盖一个指向字符串内容的指针,从而阅读下一个堆slot的内容。然而在PHP-7中,内部字符串的表示是截然不同的。


在PHP-7中, 基本结构struct zval在内部指向结构zend_string,从而引用字符串。zend_string转而使用member数组,将字符串嵌入到结构的末尾。因此,直接指向字符串内容的指针不可以被覆盖。


然而, PHP-5的技术可能会让指针发生泄漏。如果一个结构的第一个字段指向了一些我们可以阅读的内容,我们可以对该结构进行分配和释放,随后分配器会让它指向先前已经释放的slot,这会允许我们读取一些内存。


幸运的是, 在内部表示为php_interval_obj结构的DateInterval对象非常有用。这是定义:



timelib_rel_time就是一种简单的结构,没有指针或其他复杂的数据类型,只有integer类型。这是定义:



让有效载荷发生内存泄漏:


结果是:


如果我们做一些格式化的工作,就能看到我们已经读取到了一些内存。在取得了struct timelib_rel_time字段的偏移量后,我们读到了以下的值:



所以,我们可以推断出内存是这样的(注意,在序列化过程中,timelib_slll字段被int取整了):



7、泄漏指针( 64位)


在64位版本中,我们泄漏初始信息的方法和在32位版本中是一样的。但在64位中,这种方法更有用,因为我们将整个内存都转换成了int型,并且没有截断。

因此,我们需要创建两个DateInterval对象,然后用第一个对象读取第二个对象的内存(而不是读取无用的字符串)。


8、读取内存( 64位)


在前面的内容中,我们泄露了堆和代码的地址。我们现在需要做的是读取内存地址,从而获取足够的数据来构建一


现在,读取任意内存变得有点棘手了,因为我们既不能伪造一个数组,也没法控制它的字段(我们不能控制arData)。幸运的是,我们可以使用另一个对象:DatePeriod。


DatePeriod在内部表示为php_period_obj结构。下面是定义:



注意第一个字段,这是一个指向timelib_time结构的指针。当这个对象被释放时, 结构的第一个字段会被分配器覆盖,从而变成相同大小的指向已释放的结构的指针。因此,在分配之后,引擎会读取timelib_time。下面是timelib_time的定义:



我们看到,tz_abbr字段一个是指向char(一个字符串)的指针。在对DatePeriod对象进行序列化时,如果zone_type 是TIMELIB_ZONETYPE_ABBR(2),那么tz_abbr指向的字符串会被strdup复制,然后进行序列化。这对读取primitive施加了一些限制,我们每次只能读取一个NULL字节。


现在,我们需要找到哪一个对象是在DatePeriod之前被释放的。


假如我们想读取0 x7f711384a000,就需要发送这个:



我们可以看到,timelib_rel_time 内days字段的偏移量和timelib_time内的tz_abbr是一样的。


DatePeriod填充是最后一步,同时这也是最复杂的。当DatePeriod对象被序列化时,date_object_get_properties_period函数会被调用,并返回properties HashTable进行序列化。这个HashTable 就是zend_object properties字段(嵌入在php_period_obj结构内),它会在DatePeriod对象创建时被分配。在将这个HashTable返回给调用者之前,函数会用php_period_obj内每个字段的值来更新这个哈希表。这听上去很简单,但试想一下, 在释放DatePeriod对象时,这个HashTable已经被释放了,这意味着它的第一个字节是指向free list的指针。为了了解这个损坏造成的影响,我们需要明白PHP是如何应用哈希表的。


当一个新的哈希表分配进来,一个zend_array类型的结构会被初始化。这个数组使用arData字段指向实际的数据,其他字段则作用于table capacity和负载。


数据分为两部分:


1、哈希散列数组,它将哈希(被nTableMask掩盖)映射到各个索引号。

2、数据数组, 它是Buckets内的数组,包含哈希表内实际数据的key和值。


在对zend_array进行初始化时,将要存储的元素数量会被四舍五入为最接近的2的幂数,然后一个新的内存slot数据会被分配给这些数据。分配数据的大小为size * sizeof(uint32_t) + size * sizeof(Bucket)。然后,arData字段会被设置为指向Bucket数组的开头。当一个值被插入到表中时,zend_hash_find_bucket函数会被调用来找到正确的bucket。这个函数会对key进行散列,然后生成的散列会被nTableMask表掩盖。结果是一个负数,这代表着散列数组内拥有bucket索引号的元素的数量(即在arData之前,拥有bucket索引号的uint32_t元素的数量)。

现在,当散列表被释放时, slot分配给arData的前8个字节会被覆盖,这会破坏散列数组内的前两个索引号。不幸的是,其中的一个索引号是我们需要的!在被nTableMask 掩盖的时候,“current” key的散列值为-8,表明这是一个损坏的元素(第一个单元)。


为了解决这个问题,我们需要让表增大,从而避免任何key使用前两个单元。令人惊讶的是,反序列化源为我们提供了一个非常简洁的方法:它能扩展properties哈希表的大小,而这大小为提供给对象的元素的数量。所以,如果我们把更多无用的元素放到DatePeriod字符串的key-value哈希表内, properties哈希表就能得到扩展。初始化给定哈希表内DatePeriod的函数只会关注预定义的key (如“start”, “current”等) ,它不会检查哈希表的大小,所以这些没用的值不会产生任何影响。因此,我们可以对哈希表的散列数组的大小进行扩充,并确保所有的key都不会落在第一个单元格。


3、读取内存和代码执行(64位)


在分配UAF对象之前,我们需要修复损坏的堆。为了解决这个问题,我们可以增加内部数组的值,直到它指向free list中的下一个空闲对象。这个对象已经经过了bin的两次分配。在第二次分配后, 通过返回的slot,free list能够保存指针指向的值。因此,如果我们可以在错误被触发之前控制free list中的内容,就能控制free list的指针。控制了这个指针后,我们就能把对象分配到这个地址。


我们应当如何控制free list内slot的内容?我们曾经提到过,在反序列化过程中值不能被释放,这是事实,但不是全部的事实。我们不能释放值,是因为它们被放进了destructor数组,然而key没有被放进这个数组。所以,这里有一种在反序列化过程中释放一个字符串的方法:如果一个字符串被作为key使用了两次,第二次使用就是返回到堆。通常情况下,如果一个key只被使用了一次,这个key的引用计数会增加两次(被创建并插入到哈希表),减少一次(在循环解析嵌套数据的最后)。然而,如果这个key已经存在于哈希表中,只会各增加和减少一次,然后被释放。


这意味着,我们可以控制返回给free list的最后一个slot的内容。然而,这个slot会被即将释放的对象使用(即覆盖)。因此,我们需要找到一种方法来控制两个返回到堆的slot,这可以通过嵌套完成。如果我们使用同一个key两次,且第二次的值是一个两次使用相同key的stdClass,那么这些key会一个接一个地进行去分配。这样,我们就可以把尽可能多的字符串放到free list内了。


这很容易,我们只需要增加22个损坏的指针(22 + 2 = 24——zend_string内val字段的偏移量),这恰好是释放了的字符串的值。这个字符串的值指向php_interval_obj之前的一个已分配的字符串。这个字符串的末尾被设置为0,目的是让分配器以为free list已经耗尽(如果不是NULL,那它必须得是一个指向free list的有效指针,这太难找了)。这样做之后, 大小为56的第三次分配 (sizeof(zend_array)) 会覆盖php_interval_obj之前的字符串末尾,还有php_interval_obj对象的开头。这让我们得以覆盖php_interval_obj 内zend_object部分的ce字段。ce字段是一个指向zend_class_entry的指针,而zend_class_entry拥有指向各种功能的指针。因此,覆盖这个值意味着控制了RIP。


这是我们的利用(分配0 x0000414141414141到ce):



在我们将调试器附加到apache,并发送上面的字符串时,我们得到了一个段错误:

Program received signal SIGSEGV, Segmentation fault. php_var_serialize_intern (buf=0x7ffcd3cc10e0, struc=0x7f710e667b60, var_ hash=0x7f710e6772c0) at /build/php7.0-7.0.2/ext/standard/var.c:840   840 if (ce->serialize != NULL) {   (gdb) print ce   $1 = (zend_class_entry *) 0x414141414141

我们可以看到,ce包含着我们预期的值。


这个堆的写入能力为其他的primitive提供了机会,例如任意读取primitive或其他的执行primitive。注意,这不仅仅局限于64位的情况——它在每一个架构中都适用。


现在,我们现在控制了free list中的内容。在引发这个错误之前,我们不需要再假设在UAF指针之后,下一个空闲slot刚好是56字节(在32位中是48)。

我们已经有了一个泄漏primitive,读取primitive和代码执行primitive,这样,我们的工作就算就完成了。下面的内容就交给读者了。


9、结语


反序列化实际上是一个危险的功能。这一点在过去的几年已被反复证实,但仍然有人在使用它。


相比之下,序列化格式要复杂得多,而且在被传递进行解析之前很难验证。复杂的格式需要用复杂的机器来解析,为了保证安全,我们需要避免使用这种复杂的格式。



PHP 7革新与性能优化


一、新增特性和改变


1、标量类型和返回类型声明(Scalar Type Declarations & Scalar Type Declarations)


PHP语言一个非常重要的特点就是“弱类型”,它让PHP的程序变得非常容易编写,新手接触PHP能够快速上手,不过,它也伴随着一些争议。支持变量类型的定义,可以说是革新性质的变化,PHP开始以可选的方式支持类型定义。除此之外,还引入了一个开关指令declare(strict_type=1);,当这个指令一旦开启,将会强制当前文件下的程序遵循严格的函数传参类型和返回类型。


例如一个add函数加上类型定义,可以写成这样:


如果配合强制类型开关指令,则可以变为这样:


如果不开启strict_type,PHP将会尝试帮你转换成要求的类型,而开启之后,会改变PHP就不再做类型转换,类型不匹配就会抛出错误。对于喜欢“强类型”语言的同学来说,这是一大福音。


更为详细的介绍:

PHP7标量类型声明RFC[翻译]


2、更多的Error变为可捕获的Exception


PHP7实现了一个全局的throwable接口,原来的Exception和部分Error都实现了这个接口(interface), 以接口的方式定义了异常的继承结构。于是,PHP7中更多的Error变为可捕获的Exception返回给开发者,如果不进行捕获则为Error,如果捕获就变为一个可在程序内处理的Exception。这些可被捕获的Error通常都是不会对程序造成致命伤害的Error,例如函数不存。PHP7进一步方便开发者处理,让开发者对程序的掌控能力更强。因为在默认情况下,Error会直接导致程序中断,而PHP7则提供捕获并且处理的能力,让程序继续执行下去,为程序员提供更灵活的选择。


例如,执行一个我们不确定是否存在的函数,PHP5兼容的做法是在函数被调用之前追加的判断function_exist,而PHP7则支持捕获Exception的处理方式。


如下图中的例子(截图来源于PPT内):


3、AST(Abstract Syntax Tree,抽象语法树)


AST在PHP编译过程作为一个中间件的角色,替换原来直接从解释器吐出opcode的方式,让解释器(parser)和编译器(compliler)解耦,可以减少一些Hack代码,同时,让实现更容易理解和可维护。

PHP5:

PHP7:


更多AST信息:

https://wiki.php.net/rfc/abstract_syntax_tree


4、Native TLS(Native Thread local storage,原生线程本地存储)


PHP在多线程模式下(例如,Web服务器Apache的woker和event模式,就是多线程),需要解决“线程安全”(TS,Thread Safe)的问题,因为线程是共享进程的内存空间的,所以每个线程本身需要通过某种方式,构建私有的空间来保存自己的私有数据,避免和其他线程相互污染。而PHP5采用的方式,就是维护一个全局大数组,为每一个线程分配一份独立的存储空间,线程通过各自拥有的key值来访问这个全局数据组。


而这个独有的key值在PHP5中需要传递给每一个需要用到全局变量的函数,PHP7认为这种传递的方式并不友好,并且存在一些问题。因而,尝试采用一个全局的线程特定变量来保存这个key值。


相关的Native TLS问题:

https://wiki.php.net/rfc/native-tls


5、其他新特性


PHP7新特性和变化不少,我们这里并不全部展开来细说哈。


(1) Int64支持,统一不同平台下的整型长度,字符串和文件上传都支持大于2GB。

(2) 统一变量语法(Uniform variable syntax)。

(3) foreach表现行为一致(Consistently foreach behaviors)

(4) 新的操作符 <=>, ??

(5) Unicode字符格式支持(\u{xxxxx})

(6) 匿名类支持(Anonymous Class)

… …


二、跨越式的性能突破:全速前进


1、JIT与性能


Just In Time(即时编译)是一种软件优化技术,指在运行时才会去编译字节码为机器码。从直觉出发,我们都很容易认为,机器码是计算机能够直接识别和执行的,比起Zend读取opcode逐条执行效率会更高。其中,HHVM(HipHop Virtual Machine,HHVM是一个Facebook开源的PHP虚拟机)就采用JIT,让他们的PHP性能测试提升了一个数量级,放出一个令人震惊的测试结果,也让我们直观地认为JIT是一项点石成金的强大技术。


而实际上,在2013年的时候,鸟哥和Dmitry(PHP语言内核开发者之一)就曾经在PHP5.5的版本上做过一个JIT的尝试(并没有发布)。PHP5.5的原来的执行流程,是将PHP代码通过词法和语法分析,编译成opcode字节码(格式和汇编有点像),然后,Zend引擎读取这些opcode指令,逐条解析执行。



而他们在opcode环节后引入了类型推断(TypeInf),然后通过JIT生成ByteCodes,然后再执行。



于是,在benchmark(测试程序)中得到令人兴奋的结果,实现JIT后性能比PHP5.5提升了8倍。然而,当他们把这个优化放入到实际的项目WordPress(一个开源博客项目)中,却几乎看不见性能的提升,得到了一个令人费解的测试结果。


于是,他们使用Linux下的profile类型工具,对程序执行进行CPU耗时占用分析。


执行100次WordPress的CPU消耗的分布(截图来自PPT):


注解:

21%CPU时间花费在内存管理。

12%CPU时间花费在hash table操作,主要是PHP数组的增删改查。

30%CPU时间花费在内置函数,例如strlen。

25%CPU时间花费在VM(Zend引擎)。


经过分析之后,得到了两个结论:


(1)JIT生成的ByteCodes如果太大,会引起CPU缓存命中率下降(CPU Cache Miss)


在PHP5.5的代码里,因为并没有明显类型定义,只能靠类型推断。尽可能将可以推断出来的变量类型,定义出来,然后,结合类型推断,将非该类型的分支代码去掉,生成直接可执行的机器码。然而,类型推断不能推断出全部类型,在WordPress中,能够推断出来的类型信息只有不到30%,能够减少的分支代码有限。导致JIT以后,直接生成机器码,生成的ByteCodes太大,最终引起CPU缓存命中大幅度下降(CPU Cache Miss)。


CPU缓存命中是指,CPU在读取并执行指令的过程中,如果需要的数据在CPU一级缓存(L1)中读取不到,就不得不往下继续寻找,一直到二级缓存(L2)和三级缓存(L3),最终会尝试到内存区域里寻找所需要的指令数据,而内存和CPU缓存之间的读取耗时差距可以达到100倍级别。所以,ByteCodes如果过大,执行指令数量过多,导致多级缓存无法容纳如此之多的数据,部分指令将不得不被存放到内存区域。



CPU的各级缓存的大小也是有限的,下图是Intel i7 920的配置信息:


因此,CPU缓存命中率下降会带来严重的耗时增加,另一方面,JIT带来的性能提升,也被它所抵消掉了。


通过JIT,可以降低VM的开销,同时,通过指令优化,可以间接降低内存管理的开发,因为可以减少内存分配的次数。然而,对于真实的WordPress项目来说,CPU耗时只有25%在VM上,主要的问题和瓶颈实际上并不在VM上。因此,JIT的优化计划,最后没有被列入该版本的PHP7特性中。不过,它很可能会在更后面的版本中实现,这点也非常值得我们期待哈。


(2)JIT性能的提升效果取决于项目的实际瓶颈


JIT在benchmark中有大幅度的提升,是因为代码量比较少,最终生成的ByteCodes也比较小,同时主要的开销是在VM中。而应用在WordPress实际项目中并没有明显的性能提升,原因WordPress的代码量要比benchmark大得多,虽然JIT降低了VM的开销,但是因为ByteCodes太大而又引起CPU缓存命中下降和额外的内存开销,最终变成没有提升。


不同类型的项目会有不同的CPU开销比例,也会得到不同的结果,脱离实际项目的性能测试,并不具有很好的代表性。


2、Zval的改变


PHP的各种类型的变量,其实,真正存储的载体就是Zval,它特点是海纳百川,有容乃大。从本质上看,它是C语言实现的一个结构体(struct)。对于写PHP的同学,可以将它粗略理解为是一个类似array数组的东西。


PHP5的Zval,内存占据24个字节(截图来自PPT):


PHP7的Zval,内存占据16个字节(截图来自PPT):


Zval从24个字节下降到16个字节,为什么会下降呢,这里需要补一点点的C语言基础,辅助不熟悉C的同学理解。struct和union(联合体)有点不同,Struct的每一个成员变量要各自占据一块独立的内存空间,而union里的成员变量是共用一块内存空间(也就是说修改其中一个成员变量,公有空间就被修改了,其他成员变量的记录也就没有了)。因此,虽然成员变量看起来多了不少,但是实际占据的内存空间却下降了。


除此之外,还有被明显改变的特性,部分简单类型不再使用引用。


Zval结构图(来源于PPT中):


图中Zval的由2个64bits(1字节=8bit,bit是“位”)组成,如果变量类型是long、bealoon这些长度不超过64bit的,则直接存储到value中,就没有下面的引用了。当变量类型是array、objec、string等超过64bit的,value存储的就是一个指针,指向真实的存储结构地址。


对于简单的变量类型来说,Zval的存储变得非常简单和高效。


不需要引用的类型:NULL、Boolean、Long、Double

需要引用的类型:String、Array、Object、Resource、Reference


3、内部类型zend_string


Zend_string是实际存储字符串的结构体,实际的内容会存储在val(char,字符型)中,而val是一个char数组,长度为1(方便成员变量占位)。



结构体最后一个成员变量采用char数组,而不是使用char*,这里有一个小优化技巧,可以降低CPU的cache miss。


如果使用char数组,当malloc申请上述结构体内存,是申请在同一片区域的,通常是长度是sizeof(_zend_string) + 实际char存储空间。但是,如果使用char*,那个这个位置存储的只是一个指针,真实的存储又在另外一片独立的内存区域内。


使用char[1]和char*的内存分配对比:


从逻辑实现的角度来看,两者其实也没有多大区别,效果很类似。而实际上,当这些内存块被载入到CPU的中,就显得非常不一样。前者因为是连续分配在一起的同一块内存,在CPU读取时,通常都可以一同获得(因为会在同一级缓存中)。而后者,因为是两块内存的数据,CPU读取第一块内存的时候,很可能第二块内存数据不在同一级缓存中,使CPU不得不往L2(二级缓存)以下寻找,甚至到内存区域查到想要的第二块内存数据。这里就会引起CPU Cache Miss,而两者的耗时最高可以相差100倍。


另外,在字符串复制的时候,采用引用赋值,zend_string可以避免的内存拷贝。


6、PHP数组的变化(HashTable和Zend Array)


在编写PHP程序过程中,使用最频繁的类型莫过于数组,PHP5的数组采用HashTable实现。如果用比较粗略的概括方式来说,它算是一个支持双向链表的HashTable,不仅支持通过数组的key来做hash映射访问元素,也能通过foreach以访问双向链表的方式遍历数组元素。


PHP5的HashTable(截图来自于PPT):


这个图看起来很复杂,各种指针跳来跳去,当我们通过key值访问一个元素内容的时候,有时需要3次的指针跳跃才能找对需要的内容。而最重要的一点,就在于这些数组元素存储,都是分散在各个不同的内存区域的。同理可得,在CPU读取的时候,因为它们就很可能不在同一级缓存中,会导致CPU不得不到下级缓存甚至内存区域查找,也就是引起CPU缓存命中下降,进而增加更多的耗时。


PHP7的Zend Array(截图来源于PPT):


新版本的数组结构,非常简洁,让人眼前一亮。最大的特点是,整块的数组元素和hash映射表全部连接在一起,被分配在同一块内存内。如果是遍历一个整型的简单类型数组,效率会非常快,因为,数组元素(Bucket)本身是连续分配在同一块内存里,并且,数组元素的zval会把整型元素存储在内部,也不再有指针外链,全部数据都存储在当前内存区域内。当然,最重要的是,它能够避免CPU Cache Miss(CPU缓存命中率下降)。


Zend Array的变化:


(1) 数组的value默认为zval。

(2) HashTable的大小从72下降到56字节,减少22%。

(3) Buckets的大小从72下降到32字节,减少50%。

(4) 数组元素的Buckets的内存空间是一同分配的。

(5) 数组元素的key(Bucket.key)指向zend_string。

(6) 数组元素的value被嵌入到Bucket中。

(7) 降低CPU Cache Miss。


7、函数调用机制(Function Calling Convention)


PHP7改进了函数的调用机制,通过优化参数传递的环节,减少了一些指令,提高执行效率。


PHP5的函数调用机制(截图来自于PPT):


图中,在vm栈中的指令send_val和recv参数的指令是相同,PHP7通过减少这两条重复,来达到对函数调用机制的底层优化。


PHP7的函数调用机制(截图来自于PPT):


8、通过宏定义和内联函数(inline),让编译器提前完成部分工作


C语言的宏定义会被在预处理阶段(编译阶段)执行,提前将部分工作完成,无需在程序运行时分配内存,能够实现类似函数的功能,却没有函数调用的压栈、弹栈开销,效率会比较高。内联函数也类似,在预处理阶段,将程序中的函数替换为函数体,真实运行的程序执行到这里,就不会产生函数调用的开销。


PHP7在这方面做了不少的优化,将不少需要在运行阶段要执行的工作,放到了编译阶段。例如参数类型的判断(Parameters Parsing),因为这里涉及的都是固定的字符常量,因此,可以放到到编译阶段来完成,进而提升后续的执行效率。


例如下图中处理传递参数类型的方式,从左边的写法,优化为右边宏的写法。



三、小结


鸟哥的PPT里放出过一组对比数据,就是WordPress在PHP5.6执行100次会产生70亿次的CPU指令执行数目,而在PHP7中只需要25亿次,减少64.2%,这是一个令人震撼的数据。


在鸟哥的整个分享中,给我最深刻的一个观点是:要注意细节,很多个细小的优化,一点点持续地积累,积少成多,最终汇聚为惊艳的成果。为山九仞,岂一日之功,我想大概也是这个道理。


毫无疑问,PHP7在性能方面实现跨越式的提升,如果能够将这些成果应用在PHP的Web系统中,也许我们只需要更少的机器,就可以支撑起更高请求量的服务。PHP7正式版的发布,令人充满无限憧憬。



PHP7的十大禁忌

1不要使用 mysql_ 函数


这一天终于来了,从此你不仅仅“不应该”使用mysql_函数。PHP 7 已经把它们从核心中全部移除了,也就是说你需要迁移到好得多的mysqli_函数,或者更灵活的 PDO 实现。

2不要编写垃圾代码


这一条可能易于理解,但是会变得越来越重要,因为 PHP 7 的速度提升可能会隐藏你的一些问题。不要仅仅满足于你的站点速度,因为迁移到 PHP 7 才让它变快。

为了理解速度有多重要,以及如何把事情做得更好,请看一看我们的文章速度优化入门指南。

作为一名开发者,你应该总是确保按需加载脚本,尽可能连接它们,编写高效的数据库查询,尽可能使用缓存,以及其它。

3不要在文件末尾使用 PHP 闭合标签


你可以看一看,当一个文件以 PHP 代码结尾时,WordPress 多数核心代码都把末尾的 PHP 标签去掉了。实际上,Zend 框架特别禁止了它。PHP 并不需要文件末尾的闭合标签,并且我们可以通过去掉它来保证不会在后面添加任何的空白字符。

4不要做不必要的引用传递


我个人不喜欢引用传递。我知道有时候它很实用,但是其它情况下它使代码变得难懂,并且更难预测结果。

据说一些人认为它使代码运行更快,但是根据一些 PHP 高级程序员所说,这并不正确。

说明引用为什么不好的一个例子是,PHP 内建了shuffle()和sort()。它们修改原始数组,而不是返回处理后的数组,这很不合逻辑。

5不要在循环中执行查询


在循环中执行查询非常浪费。它给你的系统施加不必要的压力,并且可能能够在循环外部更快获得相同结果。当我遇到需要这样的情况时,我通常会使用两个分离的查询来解决问题,我会使用它们来构建数据数组。之后我会遍历数组,并不需要在这个过程中执行查询。

由于 WordPress 适用于这里,它可能有一些例外。虽然get_post_meta() 会从数据库获取大量数据,如果你正在遍历某个特殊博文的元数据你可以在循环中使用它。这是因为当你第一次调用它的时候,WordPress实际上会获取所有元数据并缓存它们。后续的调用使用这些缓存数据,没有数据库的调用。

弄懂这些的最佳方式是阅读函数文档,以及使用类似 Query Monitor 的工具。

6不要在 SQL 查询中使用 *


当然,这个更像 MySQL 的问题,但是我们习惯在 PHP 中编写 SQL 代码,所以都差不多。无论如何,如果可以避免的话,不要在 SQL 查询里使用通配符,尤其是数据库有很多列的时候。

你应该明确指定需要哪些行,并且仅仅获取它们。这有助于减少所用资源,保护数据,以及让事情变得尽可能清晰。

对于 SQL,你需要了解所有可用的函数,并且尽可能测试其速度。在计算均值、求和或计算类似数值时,要使用 SQL 函数而不是 PHP 函数。如果你不确定某个查询的速度,测试它并且尝试一些其它的编译—之后使用最好的那个。

7不要信任用户输入


信任用户输入是不明智的。始终校验、过滤、转义、检查并留好退路。用户数据存在三个问题:我们开发者并没有考虑每种可能性,它通常不正确,以及它可能是蓄意破坏。

经过周密考虑的系统可以防护这些威胁。要确保使用类似filter_var()的内建函数检查适当的值,以及在处理数据库时转义(或预编译)。

WordPress 拥有一些函数来解决问题。详见文章校验、转义和过滤用户数据。

8不要故作聪明


你的目标应该是编写优雅的代码,来更清晰地表达你的意图。你可能能够通过将任何东西缩短为一个单词的变量,使用多层的三元逻辑,以及其它手段,从每个页面中优化 0.01 秒。但这只会给你和你周围的人产生大麻烦。

合理命名变量,为代码编写文档,优先选择清晰而不是简洁。甚至还可以更好,使用标准的面向对象代码,它本身或多或少就是文档,不需要一大堆内联数值。

9不要重新发明轮子


PHP 到现在为止有很长时间了,网站被造出来的时间更长。很可能无论你需要造出什么,一些人之前早就造出来了。不要害怕向他人寻求支持,Github是你的好朋友,Composer也是,Packagist也是。

从日志工具到调色工具,从性能分析器到单元测试框架,从 Mailchimp API 到 Twitter Bootstrap,每个东西都可以通过按下按键(或者敲下命令)来获取,使用它们吧!

10不要忽略其它语言

如果你是个 PHP 程序员,现在有个好机会去至少了解 HTML、CSS、JavaScript 和 MySQL。当你能够更好地处理这些语言时,就是重新学习 JavaScript 的时机了。JavaScript 并不是 jQuery,你应该合理地学习 JavaScript 来更高效地使用它。

当你使用它们出色完成任务时,学习 Ruby、RoR、Android、iPhone 和 Windows Phone 应用开发如何?你可能会认为这毫无意义,因为它们在你的舒适区和工作所需范围之外,但是这就是它们的意义。每种语言都有一些要学习的实用的东西,以及从没碰到的新知识。所有 PHP 顶级开发者都懂得很多其它编程语言,这并非偶然。

伴随着大数据时代的逐渐发展,新的语言都会都得到升级。一如新的PHP7就拥有很多新的特性,但我们在掌握这些新特性的同时,也要明白一些禁忌,这些,能让你在开发的道路上,越走越远。


▼ 点击阅读原文,查看更多精彩文章。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存