锐客网

  1. 首页 > 睿知 > it技术 > >

php大数据解决方案 php 大数据

并发IT技术

php采集大数据的方案1、建议你读写数据和下载图片分开，各用不同的进程完成 。
比如说，取数据用get-data.php，下载图片用get-image.php 。
2、多进程的话，php可以简单的用pcntl_fork() 。这样可以并发多个子进程 。
但是我不建议你用fork，我建议你安装一个gearman worker 。这样你要并发几个，就启几个worker，写代码简单，根本不用在代码里考虑thread啊，process等等 。
3、综上，解决方案这样：
（1）安装gearman worker 。
（2）写一个get-data.php，在crontab里设置它每5分钟执行一次，只负责读数据，然后把读回来的数据一条一条的扔到 gearman worker的队列里；
然后再写一个处理数据的脚本作为worker ， 例如叫process-data.php ， 这个脚本常驻内存 。它作为worker从geraman 队列里读出一条一条的数据，然后跟你的数据库老数据比较，进行你的业务逻辑 。如果你要10个并发，那就启动10个process-data.php好了 。处理完后，如果图片地址有变动需要下载图片，就把图片地址扔到 gearman worker的另一个队列里 。
（3）再写一个download-data.php，作为下载图片的worker，同样 ， 你启动10个20个并发随便你 。这个进程也常驻内存运行，从gearman worker的图片数据队列里取数据出来，下载图片
4、常驻进程的话，就是在代码里写个while(true)死循环，让它一直运行好了 。如果怕内存泄露啥的，你可以每循环10万次退出一下 。然后在crontab里设置，每分钟检查一下进程有没有启动 ， 比如说这样启动3个process-data worker进程：
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php/dev/null 21'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php/dev/null 21'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php/dev/null 21'
不知道你明白了没有
php 高并发解决思路解决方案 php 高并发解决思路解决方案，如何应对网站大流量高并发情况 。本文为大家总结了常用的处理方式，但不是细节 ， 后续一系列细节教程给出 。希望大家喜欢 。
一 高并发的概念
在互联网时代，并发，高并发通常是指并发访问 。也就是在某个时间点 ， 有多少个访问同时到来 。
二 高并发架构相关概念
1、QPS (每秒查询率) : 每秒钟请求或者查询的数量 ， 在互联网领域，指每秒响应请求数(指 HTTP 请求)
2、PV（Page View）：综合浏览量，即页面浏览量或者点击量 ， 一个访客在 24 小时内访问的页面数量
--注：同一个人浏览你的网站的同一页面，只记做一次 pv
3、吞吐量（fetches/sec） ：单位时间内处理的请求数量 （通常由 QPS 和并发数决定）
4、响应时间：从请求发出到收到响应花费的时间
5、独立访客（UV）：一定时间范围内 ， 相同访客多次访问网站 ， 只计算为 1 个独立访客
6、带宽：计算带宽需关注两个指标 ， 峰值流量和页面的平均大小
7、日网站带宽： PV/统计时间（换算到秒） * 平均页面大?。╧b）* 8
三 需要注意点：
1、QPS 不等于并发连接数（QPS 是每秒 HTTP 请求数量 ， 并发连接数是系统同时处理的请求数量）
2、峰值每秒请求数（QPS）= （总 PV 数*80%）/ （六小时秒数*20%）【代表 80%的访问量都集中在 20%的时间内】
3、压力测试： 测试能承受的最大并发数 以及测试最大承受的 QPS 值
4、常用的性能测试工具【ab，wrk，httpload ， Web Bench ， Siege，Apache JMeter】
四 优化
1、当 QPS 小于 50 时
优化方案:为一般小型网站,不用考虑优化
2、当 QPS 达到 100 时,遇到数据查询瓶颈
优化方案: 数据库缓存层,数据库的负载均衡
3、当 QPS 达到 800 时, 遇到带宽瓶颈
优化方案:CDN 加速,负载均衡
4、当 QPS 达到 1000 时
优化方案: 做 html 静态缓存
5、当 QPS 达到 2000 时
优化方案: 做业务分离,分布式存储
五、高并发解决方案案例:
1、流量优化
防盗链处理(去除恶意请求)
2、前端优化
(1) 减少 HTTP 请求[将 css,js 等合并]
(2) 添加异步请求(先不将所有数据都展示给用户,用户触发某个事件,才会异步请求数据)
(3) 启用浏览器缓存和文件压缩
(4) CDN 加速
(5) 建立独立的图片服务器(减少 I/O)
3、服务端优化
(1) 页面静态化
(2) 并发处理
【php大数据解决方案 php 大数据】 (3) 队列处理
4、数据库优化
(1) 数据库缓存
(2) 分库分表,分区
(3) 读写分离
(4) 负载均衡
5、web 服务器优化
(1) nginx 反向代理实现负载均衡
(2) lvs 实现负载均衡
PHP如何解决网站的大数据大流量与高并发使用缓存，比如memcache,redis,因为它们是在内存中运行，所以处理数据，返回数据非常快 ， 所以可以应对高并发 。
2.增加带宽和机器性能，1M的带宽同时处理的流量肯定有限，所以在资源允许的情况下，大带宽 ， 多核cpu,高内存是一个解决方案 。
3.分布式，让多个访问分到不同的机器上去处理，每个机器处理的请求就相对减少了 。
简单说些常用技术，负载均衡，限流 ， 加速器等
关于php大数据解决方案和php 大数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：如何查看考勤机服务器的端口号？ 考勤机服务器端口号怎么看

    下一篇：mysql驱动器 mysql驱动依赖