锐客网

  1. 首页 > 睿知 > it技术 > >

php大数据优化 php如何处理大数据( 五 )

IT技术数据


102，032????910，257????3,450,000
234，423????321，001????4，000 ， 000
……
下面的查询将在这些表上定期运行，并产生关于所有零件数量的报表：
SELECT part_desc ， vendor_name ， part_amount
FROM part ， vendor，parven
WHERE part.part_num=parven.part_num
AND parven.vendor_num = vendor.vendor_num
ORDER BY part.part_num
如果不建立索引，上述查询代码的开销将十分巨大 。为此 ， 我们在零件号和厂商号上建立索引 。索引的建立避免了在嵌套中反复扫描 。关于表与索引的统计信息如下：
表?????行尺寸???行数量?????每页行数量???数据页数量
（table）?(row size)?（Row count）?（Rows/Pages）?（Data Pages）
part????150?????10 ， 000????25???????400
Vendor???150?????1，000???? 25???????40
Parven???13????? 15，000????300?????? 50
索引?????键尺寸???每页键数量???页面数量
（Indexes）?(Key Size)?（Keys/Page)???(Leaf Pages）
part?????4??????500???????20
Vendor????4??????500???????2
Parven????8??????250???????60
看起来是个相对简单的3表连接 ， 但是其查询开销是很大的 。通过查看系统表可以看到，在part_num上和vendor_num上有簇索引，因此索引是按照物理顺序存放的 。parven表没有特定的存放次序 。这些表的大小说明从缓冲页中非顺序存取的成功率很小 。此语句的优化查询规划是：首先从part中顺序读取400页，然后再对parven表非顺序存取1万次 ， 每次2页（一个索引页、一个数据页），总计2万个磁盘页，最后对vendor表非顺序存取1.5万次，合3万个磁盘页 。可以看出在这个索引好的连接上花费的磁盘存取为5.04万次 。
hibernate如何优化大数据量操作？
建议你直接用Jdbc好了，用batch，这样是最快的 。
如何实现大数据量数据库的历史数据归档
打开数据库
con.Open();
读取数据
OdbcDataReader reader = cmd.ExecuteReader();
把数据加载到临时表
dt.Load(reader);
在使用完毕之后，一定要关闭，要不然会出问题
reader.Close();
这个问题是这样的：
首先你要明确你的插入是正常业务需求么？如果是，那么只能接受这样的数据插入量 。
其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize
最后有个方法可以使用 ， 如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库 。
注意平时对数据库的维护 定期整理索引碎片
时间维度分区表 ， 然后定情按照规则将属于历史的分区数据迁移到，历史库上，写个存储自动维护分区表 。
如何用java jdbc 向数据库表插入大数据量
一次性插入大量数据，只能使用循环，
如：游标，while 循环语句
下面介绍While 循环插入数据，
SQL 代码如下：
IF OBJECT_ID('dbo.Nums') IS NOT NULL
DROP TABLE dbo.Nums;
GO
CREATE TABLE dbo.Nums(n INT NOT NULL PRIMARY KEY);
DECLARE @max AS INT, @rc AS INT;
SET @max = 5000000;
SET @rc = 1;
INSERT INTO Nums VALUES(1);
WHILE @rc * 2 = @max
BEGIN
INSERT INTO dbo.Nums SELECT n + @rc FROM dbo.Nums;
SET @rc = @rc * 2;
END
INSERT INTO dbo.Nums SELECT n + @rc FROM dbo.Nums WHERE n + @rc = @max;
--以上函数取自Inside SQL Server 2005: T-SQL Query一书 。
INSERT dbo.Sample SELECT n, RAND(CAST(NEWID() AS BINARY(16))) FROM Nums
php 怎么解决 大数据量 插入数据库
ini_set('max_execution_time','0');

推荐阅读


上一篇：常山如何做好品牌推广工作，如何做好品牌宣传推广

下一篇：无人直播商场图片大全，无人直播带货是真的吗