SQLServer 2005 海量数据解决方案 分区表

        Csdn Blog在2007年,由于访问量和数据量的大幅度增长,使得我们原有的在.text 0.96版本上修改的代码基本不堪重负。

在数据库方面主要表现为,单单文章表,2007年1年的数据已经达到了30G的量(最后的解决方案是对把文章表分为两个表,分别存放文章相关信息和专门存放文章内容的表,然后对两个表作分区)。熟悉.Text得朋友可能知道,有一个专门记录流量的表,页面内的每一次点击,直接记录到数据库里面,反映到页面上就是单个用户的博客流量,分别是EntryID,BlogID,DateTime,表名称叫做blog_viewcount,这个表我们现在已经到了4亿的数据,之前仅仅是优化索引和索引试图来在真实的环境中查看到底sql2005单表能负载多大的量。
最后得出结论,在sql2005中,单表的量最多不能超过200w数据。

而文章表和blog_viewcount这个表,我们现在采用2005得新特性,分区表来实现。事实上,反映还不错。以下写出创建分区表的步鄹(我们用blog_viewcount来做实例):

先根据表数据的量大小,来拆分每一个分区,保证分区之间在200w以下的数据

CREATE PARTITION FUNCTION OneYearDateRangePFN(datetime)

 
AS RANGE LEFT FORVALUES 


'20070131 23:59:59.997',

20070228 23:59:59.997

20070331 23:59:59.99720070430 23:59:59.99720070531 23:59:59.99720070630 23:59:59.99720070731 23:59:59.99720070831 23:59:59.99720070930 23:59:59.99720071031 23:59:59.99720071130 23:59:59.99720071231 23:59:59.997



然后我们需要添加相应的文件组

ALTERDATABASE newcsdnblog ADD FILEGROUP [ViewCount200701]

ViewCount200702ViewCount200703ViewCount200704ViewCount200705ViewCount200706ViewCount200707ViewCount200708ViewCount200709ViewCount200710ViewCount200711ViewCount200712]



第三步,我们需要在服务器上建立出单独的文件(涉及到的朋友可能知道,我们如果把文件分布在不同的磁盘上,可以最大限度的提高磁头的读写能力;另:这里微软建议数据库服务器最好作Raid0 + Raid1)
 newcsdnblog

FILE 

(NAME 
= Nf:SmallTableViewCount200701.ndf 5MB,MAXSIZE  100MB,FILEGROWTH  5MB)

TO


f:SmallTableViewCount200702.ndff:SmallTableViewCount200703.ndff:SmallTableViewCount200704.ndff:SmallTableViewCount200705.ndff:SmallTableViewCount200706.ndff:SmallTableViewCount200707.ndff:SmallTableViewCount200708.ndff:SmallTableViewCount200709.ndff:SmallTableViewCount200710.ndff:SmallTableViewCount200711.ndff:SmallTableViewCount200712.ndf]

第四步,创建关联
 PARTITION SCHEME OneYearDateRangePScheme 


PARTITION OneYearDateRangePFN 

ALL (PRIMARY)

第五步,创建表和索引(我这里只列出如何创建表)
TABLE dbo.Blog_ViewCount2  

(

EntryIDint NOTNULL

BlogIDViewDatedatetime

)

ON OneYearDateRangePScheme (ViewDate)

GO

如果大家希望查询此表中的相关数据,可以使用如下语句
select $partition.OneYearDateRangePFN(ViewDate) from a orderby a.ViewDate asc

关于增量问题,我会在下一篇文章中,和大家分享。

参考资料:
http://www.microsoft.com/china/msdn/library/data/sqlserver/sql2k5partition.mspx?mfr=true
http://www.builder.com.cn/2007/0724/436577.shtml
http://www.agilelabs.cn/blogs/woody/archive/2006/08/24/1574.aspxhttp://net.stuun.cn/database/Mssql/jiqiao/39408.html

相关文章

本篇内容主要讲解“sqlalchemy的常用数据类型怎么使用”,感...
今天小编给大家分享一下sqlServer实现分页查询的方式有哪些的...
这篇文章主要介绍“sqlmap之osshell怎么使用”,在日常操作中...
本篇内容介绍了“SQL注入的知识点有哪些”的有关知识,在实际...
1. mssql权限sa权限:数据库操作,文件管理,命令执行,注册...
sql执行计划如何查看?在SPL庞大的数据中我们不知道如何查看...