在SQL Server中,索引是一种增强式的存在,这意味着,即使没有索引,SQL Server仍然可以实现应有的功能。但索引可以在大多数情况下大大提升查询性能,在OLAP中尤其明显.要完全理解索引的概念,需要了解大量原理性的知识,包括B树,堆,数据库页,区,填充因子,碎片,文件组等等一系列相关知识,这些知识写一本小书也不为过。所以本文并不会深入讨论这些主题。
索引是什么
索引是对数据库表中一列或多列的值进行排序的一种结构,使用索引可快速访问数据库表中的特定信息。
精简来说,索引是一种结构.在SQL Server中,索引和表(这里指的是加了聚集索引的表)的存储结构是一样的,都是B树,B树是一种用于查找的平衡多叉树.理解B树的概念如下图:
理解为什么使用B树作为索引和表(有聚集索引)的结构,首先需要理解sql Server存储数据的原理.
在sql SERVER中,存储的单位最小是页(PAGE),页是不可再分的。就像细胞是生物学中不可再分的,或是原子是化学中不可再分的最小单位一样.这意味着,sql SERVER对于页的读取,要么整个读取,要么完全不读取,没有折中.
在数据库检索来说,对于磁盘IO扫描是最消耗时间的.因为磁盘扫描涉及很多物理特性,这些是相当消耗时间的。所以B树设计的初衷是为了减少对于磁盘的扫描次数。如果一个表或索引没有使用B树(对于没有聚集索引的表是使用堆heap存储),那么查找一个数据,需要在整个表包含的数据库页中全盘扫描。这无疑会大大加重IO负担.而在sql SERVER中使用B树进行存储,则仅仅需要将B树的根节点存入内存,经过几次查找后就可以找到存放所需数据的被叶子节点包含的页!进而避免的全盘扫描从而提高了性能.
下面,通过一个例子来证明:
在sql SERVER中,表上如果没有建立聚集索引,则是按照堆(HEAP)存放的,假设我有这样一张表:
现在这张表上没有任何索引,也就是以堆存放,我通过在其上加上聚集索引(以B树存放)来展现对IO的减少:
理解聚集和聚集索引
在
sql SERVER中,最主要的两类索引是聚集索引和非聚集索引。可以看到,这两个
分类是围绕
聚集这个关键字进行的.那么首先要理解什么是聚集.
聚集在索引中的定义:
为了提高某个属性(或属性组)的查询速度,把这个或这些属性(称为聚集码)上具有相同值的元组集中存放在连续的物理块称为聚集。
简单来说,聚集索引就是:
在sql SERVER中,聚集的作用就是将某一列(或是多列)的物理顺序改变为和逻辑顺序相一致,比如,我从adventureworks数据库的employee中抽取5条数据:
当我在ContactID上建立聚集索引时,再次查询:
在sql SERVER中,聚集索引的存储是以B树存储,B树的叶子直接存储聚集索引的数据:
因为聚集索引改变的是其所在表的物理存储顺序,所以每个表只能有一个聚集索引.
非聚集索引
因为每个表只能有一个聚集索引,如果我们对一个表的查询不仅仅限于在聚集索引上的字段。我们又对聚集索引列之外还有索引的要求,那么就需要非聚集索引了.
非聚集索引,本质上来说也是聚集索引的一种.非聚集索引并不改变其所在表的物理结构,而是额外生成一个聚集索引的B树结构,但叶子节点是对于其所在表的引用,这个引用分为两种,如果其所在表上没有聚集索引,则引用行号。如果其所在表上已经有了聚集索引,则引用聚集索引的页.
一个简单的非聚集索引概念如下:
可以看到,非聚集索引需要额外的空间进行存储,按照被索引列进行聚集索引,并在B树的叶子节点包含指向非聚集索引所在表的指针.
MSDN中,对于非聚集索引描述图是:
可以看到,非聚集索引也是一个B树结构,与聚集索引不同的是,B树的叶子节点存的是指向堆或聚集索引的指针.
通过非聚集索引的原理可以看出,如果其所在表的物理结构改变后,比如加上或是删除聚集索引,那么所有非聚集索引都需要被重建,这个对于性能的损耗是相当大的。所以最好要先建立聚集索引,再建立对应的非聚集索引.
聚集索引 VS 非聚集索引
前面通过对于聚集索引和非聚集索引的原理解释.我们不难发现,大多数情况下,聚集索引的速度比非聚集索引要略快一些.因为聚集索引的B树叶子节点直接存储数据,而非聚集索引还需要额外通过叶子节点的指针找到数据.
还有,对于大量连续数据查找,非聚集索引十分乏力,因为非聚集索引需要在非聚集索引的B树中找到每一行的指针,再去其所在表上找数据,性能因此会大打折扣.有时甚至不如不加非聚集索引.
因此,大多数情况下聚集索引都要快于非聚集索引。但聚集索引只能有一个,因此选对聚集索引所施加的列对于查询性能提升至关紧要.
索引的使用
索引的使用并不需要显式使用,建立索引后
查询分析器会
自动找出最短路径使用索引.
但是有这种情况.当随着数据量的增长,产生了索引碎片后,很多存储的数据进行了不适当的跨页,会造成碎片(关于跨页和碎片以及填充因子的介绍,我会在后续文章中说到)我们需要重新建立索引以加快性能:
比如前面的test_tb2上建立的一个聚集索引和非聚集索引,可以通过DMV语句查询其索引的情况:
SELECT index_type_desc,alloc_unit_type_desc,avg_fragmentation_in_percent,fragment_count,avg_fragment_size_in_pages,page_count,record_count,avg_page_space_used_in_percent
FROM sys.dm_db_index_physical_stats(DB_ID('AdventureWorks'),OBJECT_ID('test_tb2'),NULL,'Sampled')
我们可以通过重建索引来提高速度:
还有一种情况是,当随着表数据量的增大,有时候需要更新表上的统计信息,让查询分析器根据这些信息选择路径,使用:
那么什么时候知道需要更新这些统计信息呢,就是当执行计划中估计行数和实际表的行数有出入时:
使用索引的代价
我最喜欢的一句话是”everything has price”。我们通过索引获得的任何
性能提升并不是不需要付出代价。这个代价来自几方面.
1.通过聚集索引的原理我们知道,当表建立索引后,就以B树来存储数据.所以当对其进行更新插入删除时,就需要页在物理上的移动以调整B树.因此当更新插入删除数据时,会带来性能的下降。而对于聚集索引,当更新表后,非聚集索引也需要进行更新,相当于多更新了N(N=非聚集索引数量)个表。因此也下降了性能.
2.通过上面对非聚集索引原理的介绍,可以看到,非聚集索引需要额外的磁盘空间。
3.前文提过,不恰当的非聚集索引反而会降低性能.
所以使用索引需要根据实际情况进行权衡.通常我都会将非聚集索引全部放到另外一个独立硬盘上,这样可以分散IO,从而使查询并行.
总结
本文从索引的原理和概念对
sql SERVER中索引进行介绍,索引是
一个很强大的工具,也是一把双刃剑.对于恰当使用索引需要对索引的原理以及
数据库存储的相关原理进行系统的学习.
一、存储结构
在sql Server中,有许多不同的可用排列规则选项。
二进制:按字符的数字表示形式排序(ASCII码中,用数字32表示空格,用68表示字母"D")。因为所有内容都表示为数字,所以处理起来速度最快,遗憾的是,它并不总是如人们所想象,在WHERE子句中进行比较时,使用该选项会造成严重的混乱。
字典顺序:这种排序方式与在字典中看到的排序方式一样,但是少有不同,可以设置大量不同的额外选项来决定是否区分大小写、音调和字符集。
1、平衡树(B-树)
平衡树或B-树仅是提供了一种以一致且相对低成本的方式查找特定信息的方法。其名称中的"平衡"是自说明的。平衡树是自平衡的,这意味着每次树进行分支时都有接近一半的数据在一边,而另一半数据在另一边。树命名的由来是因为,如果绘制该结构,再倒过来,发现很像一棵树,因此称树。
平衡树始于根节点。如果有少量的数据,这个根节点可以直接指向数据的实际位置。
结构图:
因此,从根节点开始并浏览记录,直到找到以小于查找值的值开始的最后一页。然后获得指向该节点的一个指针并且浏览它。直到找到想要的行。
当数据很多时,根节点中指向中间的节点(非页级节点)。非页级节点是位于根节点和说明数据的物理存储位置的节点之间的节点
根节点->中间节点(非叶级节点)[n个]->存储位置节点(叶级节点)
非叶级节点可以指向其他非叶级节点或叶级节点。叶级节点是从中可获得实际物理数据的引用的节点。
从上图可以看出,查找开始于根节点,然后移动到以等于或小于查找值的最高值开始的同时也在下一级节点中的节点。然后重复这个过程-查找具有等于或者小于查找值的最高起始值节点。继续沿着树一级一级往下,直到二级节点-从而知道数据的物理位置。
2、页拆分
所有这些页在读取方面工作良好-但在插入时会有点麻烦。前面提到B-树结构,每次遇到树中的分支时,因为每一边都大约有一半的数据,所以B-树是平衡的。另外,由于添加新数据到树的方法一般可避免出现不平衡,所以B-树有时被认为是自平衡的。
通过将数据添加到树上,节点最终将变满,并且将需要拆分。因为在 sql Server中,一个节点相当于一个页-所以这被称为页拆分。如图所示:
当发生页拆分时,数据自动地四处移动以保持平衡,数据的前半部分保留在旧页上,而数据的剩余部分添加到新页 - 这样就形成了对半拆分,使得树保持平衡。
如果考虑下这个拆分过程,将认识到它在拆分时增加了大量的系统开销。不只是插入一页还将进行下列操作:
- 创建新页
- 将行从现有数据页移动到新页上
- 将新行添加到其中一页上
- 在父节点中添加另一个记录项
注意最后一条,如果在父节点中添加记录时,父页也满了引起拆分,整个过程会重新开始。甚至会影响到根节点。并且,如果根节点拆分,那么实际最终会创建两个额外的页,因此只能有一个根节点,所以之前的根节点的页被拆分成两个页,而且称为树的新中间级别节点。然后创建全新的根节点,并且将有两个记录项,指向刚刚由根节点分拆出来的两个中间节点。
由上面的原理可以知道,当向树的上层移动时,页拆分的数量变得越来越少。因为下级的一个页拆分对上级来说是一条记录。
虽然sql Server有许多不同类型的索引,但是所有这些索引都以某种方式利用这种平衡树方法。事实上由于平衡树的灵活特性,所有索引在结构上都非常类似,不过他们实际上还有一点点区别,并且这些区别会对系统的性能产生影响。
3、sql Server中访问数据的方式
从广义上讲,sql Server检索所需数据的方法只有两种:
1、使用全表扫描
表扫描是相当直观。当执行表扫描时,sql Server从表的物理起点处开始,浏览表中的每一行。当发现和查询条件匹配的行时,就在结果集中包含它们。关于表扫描很多说法都是效率低,但是如果表数据减少的情况下,实际上使用表扫描却是最快的。
2、使用索引
在查询优化过程中,优化器查看所有可用的索引结构并且选择最好的一个(这主要基于在连接和WHERE子句中所指定的信息,以及sql Server在索引结构中保存的统计信息)。一旦选择了索引,sql Server将在树结构中导航至与条件匹配的数据位置,并且只提取它所需的记录。与表扫描的区别在于,因为数据时排序的,所以查询引擎知道它何时到达正在查找的当前范围的下界。然后它可以结束查询,或者根据需要移至下一数据范围。EXISTS的工作方式是查到匹配的记录sql Server就立即停止。使用索引所获得的性能与使用EXISTS类似甚至更好,因为查找数据的过程的工作方式是类似的;也就是说,服务器可能使用某种索引知道何时没有相关内容,并且立即停止。此外,可以对数据执行非常快速的查找(称为SEEK),而不是在整个表中查找。
3、索引类型和索引导航
尽管表面上在sql Server中有两种索引结构(聚集索引和非聚集索引),但就内部而言,有3种不同的索引类型。
- 聚集索引
- 非聚集索引,其中非聚集索引又包括以下两种:
- 堆上的非聚集索引
- 聚集表上的非聚集索引
物理数据的存储方式在聚集索引和非聚集索引中是不同的。而sql Server遍历平衡树以到达末端数据的方式在所有3种索引类型中也是不同的。
所有的sql Server索引都有叶级和非叶级页,叶级是保存标识记录的“键”的级别,非叶级是叶级的引导者。
索引在聚集表(如果表有聚集索引)或者堆(用于没有聚集索引的表)上创建。
(1)、聚集表
聚集表是在其上具有聚集索引的任意表。但是它们对于表而言意味着以指定顺序物理存储数据。通过使用聚集索引键唯一地标志独立的行-聚集键即定义聚集索引的列。
如果聚集索引不是唯一的,那将怎样?如果索引不是唯一索引,那么聚集索引如何用于唯一地标志一行?sql Server会在内部添加一个后缀到键上,以保证行具有唯一的标识符。
(2)、堆
堆是在其上没有聚集索引的一个表。在这种情况下,基于行的区段、页以及行偏移量(偏移页顶部的位置)的组合创建唯一的标识符,或者称为行ID(RID)。如果没有可用的聚集键(没有聚集索引),那么RID是唯一必要的内容。堆表并不是B树结构。
4、聚集索引
聚集索引对于任意给定的表而言是唯一的,一个表只能有一个聚集索引。不一定非要有聚集索引。聚集索引特殊的方面是:聚集索引的叶级是实际的数据-也就是说,数据重新排序,按照和聚集索引排序条件声明的相同物理顺序存储。这意味着,一旦到达索引的叶级,就到达了数据。而非聚集索引,到达了叶级只是找到了数据的引用。
任何新记录都根据聚集列正确的物理顺序插入到聚集索引中。创建新页的方式随需要插入记录的位置而变化。如果新记录需要插入到索引结构中间,就会发生正常的页拆分。来自旧页的后一半记录被移到新页,并且在适当的时候,将新记录插入到新页或旧页。如果新记录在逻辑上位于索引结构的末端,那么创建新页,但是只将新记录添加到新页。
从数据插入的角度看,这里应该能看到用int类型作为聚集索引的好处。
为了说明索引是表的顺序,请看一下表:
然后在Id列建立聚集索引:
CREATE CLUSTERED
INDEX Index_Name ON Person(Id) --建立Id列聚集索引
执行查询语句:
select top 3 * from Person
DROP
INDEX Person.Index_Name
--删除索引
CREATE ON Person(Name)
--再在重建Name列聚集索引
再执行查询语句:
输出结果如下:
留意到同样的语句,返回已经改变。可以聚集索引是表的顺序,会影响到top语句。
5、导航树
在sql Server中甚至索引也是存储在平衡树中,在理论上,平衡树在作为树分支的每个可能方向上总是具有一般的剩余信息。聚集索引的平衡树形式如下图所示。
在这里,执行对数字158-400的范围查询(聚集索引非常擅长的事情),只需要导航到第一个记录,并且包含在该页上的所有剩余记录。之所以知道需要该页的剩余部分,是因为来自于上一级节点的信息也需要来自一些其他页的数据。因为这是有序表,所以可以确信它是连续的-这意味着如果下一页有符合条件的记录,那么这个页的剩余部分必须被包含。无需任何验证。
首先导航到根节点。sql Server能够给予Sys.indexes系统元数据视图中保存记录项定位根节点。
光说不练,纯属诈骗,下面以一个1万行的PersonTenThousand表来说明B树结构对数据页读取的提升。
表的内容大致如下:
一开始这张表并没有任何索引:
由于此表上没有索引,因此只能够通过堆表扫描获得所需数据,因此,无论是检索Id,还是Name列,都要整张表扫描一次。因此预读,逻辑读都要读取所有的数据页。
下面在该表的Id列建立一个聚集索引:
CLUSTERED INDEX index1 ON PersonTenThousand(ID)
再来执行相同的查询:
我们看到,由于ID列是聚集索引,因此根据ID查找,B树结构的优点就充分发挥了出来,只需要2次物理读就能够定位到数据。
而Name列上没有索引,因此还是需要预读838次(还是聚集表扫描)才能定位到数据。
以上例子充分说明了B-树结构的优点。
6、非聚集索引
6.1 非聚集索引优点:
1、因为在sql Server中一页只是8K,页面空间有限,所以一行所包含的列数越少,它能保存的行就越多。非聚集索引通常不包含表中所有的列,它一般只包含非常少数的列。因此,一个页上将能包含比表行(所有的列)更多行的非聚集索引。因此,同样读取一页,在非聚集索引中可能包含200行,但是在表中可能只有10行,具体数据有表行的大小以及非聚集列的大小确定。
2、非聚集索引的另一个好处是,它有一个独立于数据表的结构,所以可以被放置在不同的文件组,使用不同的I/O路径,这意味着sql Server可以并行访问索引和表,使查找更快速。
下面说明一下,非聚集索引的好处:
假设有一个单列的表,共有27行,每一页上存了3行。没有顺序,假如我们要从中查找值为5的行,那么需要的读次数为9,因为它必须扫描到最后一页,才能够确定所有页都不存在值为5的行了。
假如建立了非聚集索引:
再次查找值为5的行,那么需要的读次数为2,为什么?因为非聚集索引是有顺序的,当sql Server读取到值为6的那一行时,就知道不必再读下去了。那么如果要读取值为25的页呢?还是需要9个读操作。因为它刚巧就在最后一页。恰好这个东西,可以通过B树结构来优化。B树算法最小化了定位所需的键值访问的页面数量,从而加速了数据访问过程。
6.2 非聚集索引的开销
索引给性能带来的好处有一定的代价。有索引的表需要更多的存储和内存空间容纳数据页面之外的索引页面。数据的增删改可能会花费更长的时间,需要更多的处理时间以维护不断变化的表的索引。如果一个INSERT语句添加一行到表中,那么它也必须添加一行到索引结构中。如果索引是一个聚集索引,开销可能会更大,因为行必须以正确的顺序添加到数据页面(当然分int聚集列和string聚集列会不同)。UPDATE和DELETE类似。
虽然索引对增删改有一定的影响,但是别忘了,要UPDATE或DELETE一行的前提是必须找到一行,因此索引实际上对于有复杂WHERE条件的UPDATE或DELETE也是有帮助的。在使用索引定位一行的有效性通常能弥补更新索引所带来的额外开销。除非索引设计不合理。
7、堆上的非聚集索引
在这里要说明一点,无论是在堆上还是在聚集列上,非聚集索引都是排序后存储的。按非聚集索引列排序。
堆上的非聚集索引和聚集索引在大多数方面以类似的方式工具。其差别如下:
叶级不是数据-相反,它是一个可从中获得指向该数据的指针的级别。该指针以RID的形式出现(堆上一RID出现,聚集表上以聚集键出现),这种RID由索引指向的特定行的区段、页以及行偏移量构成。即叶级不是实际的数据,使用叶级也仅仅比使用聚集索引多一个步骤。因为RID具有行的位置的全部信息,所以可以直接到达数据。
差了一个步骤,实际上差别的系统开销是很大的。
使用聚集索引,数据在物理上是按照聚集索引的顺序排列的。这意味着,对于一定范围的数据,当找到在其上具有数据范围起点的行时,那么很可能有其他行在同一页上(也就是说,因为他们存储在一起,所以在物理上已几乎到达下一个记录)。
使用堆,数据并未通过除索引外的其他方法连接在一起。从物理上看,绝对没有任意种类的排序。这意味着从物理读取的角度看,系统不得不从整个文件中检索记录。实际上,很可能最终多次从同样的页中取出数据。sql Server没有方法指导它将需要回到该物理位置,因为在数据之间没有连接。因此,堆上的非聚集索引的工作方式是:通过扫描堆上的非聚集索引,找到(Row_Number行号),每找到一个RID,再通过RID取得数据。如果搜索是返回多个记录,则性能可能比不上扫描全表。下图显示用堆上的非聚集索引执行与上面聚集索引相同的查询:
主要通过索引导航,一切都按以前的方式工作,以相同的根节点开始,,并且遍历数,处理越来越集中的页。直到到达索引的叶级。这里有了区别。以聚集索引的方式,能够正好在这里停止,而以非聚集索引的方式,则需要做更多的工作。如果索引是在堆上,那么只要在进入一个级别,获得来自叶级页的RID,并且定位到该RID-直到这时才可以直接获得实际的数据。
8、聚集表上的非聚集索引
使用聚集表上的非集群索引时,还有一些类似性-但同样也有区别。和堆上的非集群索引一样,索引的非叶级及诶单的工作与使用聚集索引时几乎一样。区别出现在叶级。
在叶级,与使用其他两种索引结构所看到的内容有相当明显的区别。聚集表上的非集群索引有另外一个索引来查找。使用聚集索引,当到达叶级时,可以找到实际的数据,当使用堆上的非集群索引,不能找到实际的数据,但是可以找到能够直接获得数据的标识符(仅仅多了一步)。使用聚集表上的非聚集索引,可以找到聚集键。也就是说,找到足够的信息继续并利用聚集索引。
以上理解,说白了就是,当使用非聚集索引时,就是遍历非聚集索引找到聚集索引,最后多次采用聚集索引找到数据。
最终结果如下图所示:
首先是一个范围搜索。在索引中执行一次单独的查找,并且可以浏览非聚集索引以找到满足条件(T%)的连续数据范围。这种能够直接到达索引中的特定位置的查找被称为seek。
然后第二个查找-使用聚集索引查找,第二种查找非常迅速:问题在于它必须执行多次。可以看到。sql Server从第一个索引中查找检索列表(所有名字以"T"开始的列表),但是该列表在逻辑上并没有以任意连续的方式与聚集键相匹配-每个记录单独地查找。图下图所示:
自然,这种多个查找的情况比一开始仅能使用聚集索引引入了更多的系统开销。第一个索引查找-通过非聚集索引的方法-只需要非常少的逻辑读操作。
注意上图,使用聚集表上的非聚集索引,找到的是一个聚集索引键的列表。然后用这个列表,逐个使用聚集索引查找到所需的数据。
注意,如果表没有聚集索引,建立了非聚集索引,那么非聚集索引使用的是行号,如果此时你又添加了聚集索引,那么所有的非聚集索引引用的RID都要改为聚集索引键。这对性能的消耗是非常大的,因此最好先建立聚集索引,在建立非聚集索引。
关于索引的几个要点:
- 群集索引通常比非群集索引快(书签)。
- 仅在将得到高级别选择性的列(90%以上)上放置非群集索引。
- 所有的数据操作语言(DML:INSERT、UPDATE、DELETE、SELECT)语句可以通过索引获益,但是插入、删除和更新会因为索引而变慢。
- 索引会占用空间。
- 仅当索引中的第一列和查询相关时才使用索引。
- 索引的负面影响和它的正面影响一样多 - 因此只建立需要的索引。
- 索引可为非结构化XML数据提供结构化的数据性能,但是要记住,和其他索引一样,会涉及到系统开销。
上文来自:http://www.cnblogs.com/kissdodog/archive/2013/06/12/3132380.html