锐客网

  1. 首页 > 睿知 > it技术 > >

流式数据计算php 流式数据处理

计算IT技术

php处理字节流字节流是由字节组成的,
字节流是最基本的，所有的InputStrem和OutputStream的子类都是，主要用在处理二进制数据，它是按字节来处理的
字符流和字节流都是什么
流就是stream.一个连续的字节队列 。
流是程序输入或输出的一个连续的字节序列，设备（例如鼠标，键盘，磁盘，屏幕和打印机）的输入和输出都是用流来处理的 。在C语言中，所有的流均以文件的形式出现---不一定是物理磁盘文件，还可以是对应与某个输入/输出源的逻辑文件
流(streams)在I/O系统中是一种I/O机制和功能 ， 或者称为streams子系统 。它本身并不是一个物理设备的概念 。
引入流的目的：
传统的字符设备驱动程序框架有许多缺点 ， 这表现在：
。内核与字符设备驱动程序间接口的抽象层次太高
。内核没有为字符设备提供可靠的缓冲区分配和管理功能
。许多系统对字符设备的界面是把数据看成是FIFO（先进先出）的字节流，因此没有识别消息边界，区分普通设备和控制信息，以及判定不同消息优先级的能力，也没有字节流流量控制
。在网络数据传输设备中这些问题更突出 。网络中数据传输是基于消息或数据分组的 。
流的概念：
用通讯中的术语来说 ， 流是全双工的处理过程，它是内核中驱动程序和用户进程之间的数据传输通道 。
从流的构造上来说 ， 它由一个流头，一个流驱动程序尾，以及其间的零个或若干个可选模块构成。流头是一个用户级接口，它允许用户应用程序通过系统调用接口来访问流 。驱动程序尾与底层设备通信 。在流的中间的模块是处理数据的 。
字节流与字符流主要的区别是他们的的处理对象
字节流是由字节组成的,字符流是由字符组成的.Java里字符由两个字节组成.
字节流是最基本的，所有的InputStrem和OutputStream的子类都是 ， 主要用在处理二进制数据，它是按字节来处理的
但实际中很多的数据是文本，又提出了字符流的概念，它是按虚拟机的encode来处理 ， 也就是要进行字符集的转化 。在从字节流转化为字符流时 ， 实际上就是byte[]转化为String时，
public String(byte bytes[] ，  String charsetName)
有一个关键的参数字符集编码，通常我们都省略了，那系统就用操作系统默认的lang
流式传输主要指将整个音频和视频及三维媒体等多媒体文件经过特定的压缩方式解析成一个个压缩包，由视频服务器向用户计算机顺序或实时传送 。在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备对压缩的A/V、3D等多媒体文件解压后进行播放和观看 。此时多媒体文件的剩余部分将在后台的服务器内继续下载 。
php + mysql 的网站 几百万数据一次性计算统计总和php(做为现在的主流开发语言)实例教程：网站在线人数的程序代码，后台有MySQL(和PHP搭配之最佳组合)数据库支持 。可以直接统计出网站当前的在线人数 。
首先是创建MySQL(和PHP搭配之最佳组合)数据库表 。
以下是引用片段：
CREATE TABLE tablename (
field type(max_length) DEFAULT default_value (NOT) NULL
}
可以使用的SQL语句 。
以下是引用片段：
CREATE TABLE useronline (
timestamp int(15) DEFAULT 0 NOT NULL,
ip varchar(40) NOT NULL,
file varchar(100) NOT NULL,
Prima(最完善的虚拟主机管理系统)RY KEY (timestamp),
KEY ip (ip),
KEY file (file)
);
下面开始使用php(做为现在的主流开发语言)脚本 ， 首先定义MySQL(和PHP搭配之最佳组合)的信息 。
以下是引用片段：
$server = "localhost"; //你的服务器
$db_user = "root"; //你的MySQL(和PHP搭配之最佳组合)的用户名
$db_pass = "password"; //你的MySQL(和PHP搭配之最佳组合)的密码
$database = "users"; //表的名字
设置统计的时间(多少秒内在线人数)
以下是引用片段：
$timeoutseconds = 300;
取当前时间 。
以下是引用片段：
$timestamp = time();
上面的完整代码：
以下是引用片段：
?php(做为现在的主流开发语言)
$server = "localhost"; //your server
$db_user = "root"; //your MySQL(和PHP搭配之最佳组合) database username
$db_pass = "password"; //your MySQL(和PHP搭配之最佳组合) database password if any
$database = "users"; //the db name
$timeoutseconds = 300;//timeoutseconds limit
//get the current time
$timestamp = time();
//calculate the lowest timestamp allowed
$timeout = $timestamp-$timeoutseconds;
?
连接MySQL(和PHP搭配之最佳组合)
以下是引用片段：
MySQL(和PHP搭配之最佳组合)_connect(localhost, username, password);
也允许使用变量形式 。
以下是引用片段：
MySQL(和PHP搭配之最佳组合)_connect($server, $db_user, $db_pass);
如果MySQL(和PHP搭配之最佳组合)数据库没有密码的话可以使用下面代码连接（当然建议大家一定要设置好自己的密码，这样起码黑客得要解密?。?
以下是引用片段：
MySQL(和PHP搭配之最佳组合)_connect($server, $db_user);
查询数据库的代码：
以下是引用片段：
MySQL(和PHP搭配之最佳组合)_db_query(database, query);
只要有访客就要增加一条记录 。
以下是引用片段：
$insert = MySQL(和PHP搭配之最佳组合)_db_query($
流式计算与批量计算有什么区别?大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等 。其中，流式计算和批量计算是两种主要的大数据计算模式，分别适用于不同的大数据应用场景 。
流数据（或数据流）是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此必须实时计算给出秒级响应 。流式计算 ， 顾名思义，就是对数据流进行处理，是实时计算 。
批量计算则统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式 。主要体现在以下几个方面：
1、数据时效性不同：流式计算实时、低延迟，批量计算非实时、高延迟 。
2、数据特征不同：流式计算的数据一般是动态的、没有边界的，而批处理的数据一般则是静态数据 。
3、应用场景不同：流式计算应用在实时场景，时效性要求比较高的场景，如实时推荐、业务监控...批量计算一般说批处理 ， 应用在实时性要求不高、离线计算的场景下，数据分析、离线报表等 。
4、运行方式不同，流式计算的任务持续进行的，批量计算的任务则一次性完成 。
PHP流（Stream）的概述与使用详解 在现代 PHP 特性中，流或许是最出色但使用率最低的 。虽然 PHP 4.3 就引入了流，但是很多开发者并不知道流的存在，因为人们很少提及流，而且流的文档也很匮乏 。PHP 官方文档对流的解释如下：
可能看完这段解释后还是云里雾里 ， 我们简化一下，流的作用是在出发地和目的地之间传输数据 。出发地和目的地可以是文件、命令行进程、网络连接、ZIP 或 TAR 压缩文件、临时内存、标准输入或输出，或者是通过 PHP 流封装协议实现的任何其他资源 。
如果你读写过文件，就用过流；如果你从php://stdin读取过数据，或者把输入写入php://stdout，也用过流 。流为 PHP 的很多 IO 函数提供了底层实现，如 file_get_contents、fopn、fread 和 fwrite 等 。PHP 的流函数提供了不同资源的统一接口 。
我们可以把流比作管道，把水（资源数据）从一个地方引到另一个地方 。在水从出发地到目的地的过程中，我们可以过滤水，可以改变水质，可以添加水，也可以排出水 。
流式数据的种类各异，每种类型需要独特的协议，以便读写数据，我们称这些协议为 流封装协议。例如 ， 我们可以读写文件系统，可以通过 HTTP、HTTPS 或 SSH 与远程 Web 服务器通信，还可以打开并读写 ZIP、RAR 或 PHAR 压缩文件 。这些通信方式都包含下述相同的过程：
1.开始通信
2.读取数据
3.写入数据
4.结束通信
虽然过程是一样的 ， 但是读写文件系统中文件的方式与收发 HTTP 消息的方式有所不同，流封装协议的作用是使用通用的接口封装这种差异 。
每个流都有一个协议和一个目标 。指定协议和目标的方法是使用流标识符：scheme://target，其中 scheme 是流的封装协议，target 是流的数据源 。
http://流封装协议
下面使用 HTTP 流封装协议创建了一个与 Flicker API 通信的 PHP 流：
不要以为这是普通的网页 URL ， file_get_contents() 函数的字符串参数其实是一个流标识符 。http 协议会让 PHP 使用 HTTP 流封装协议，在这个参数中，http 之后是流的目标 。
我们通常使用 file_get_contents()、fopen()、fwrite() 和 fclose() 等函数读写文件系统，因为 PHP 默认使用的流封装协议是 file://，所以我们很少认为这些函数使用的是 PHP 流 。下面的示例演示了使用 file:// 流封装协议创建一个读写 /etc/hosts 文件的流：
我们通常会省略掉 file:// 协议，因为这是 PHP 使用的默认值 。
php://流封装协议
编写命令行脚本的 PHP 开发者会感激 php:// 流封装协议，这个流封装协议的作用是与 PHP 脚本的标准输入、标准输出和标准错误文件描述符通信 。我们可以使用 PHP 提供的文件系统函数打开、读取或写入下面四个流：
1. php://stdin ：这是个只读 PHP 流 ， 其中的数据来自标准输入 。PHP 脚本可以使用这个流接收命令行传入脚本的信息；
2. php://stdout ：把数据写入当前的输出缓冲区 ， 这个流只能写 ， 无法读或寻址；
【流式数据计算php 流式数据处理】3. php://memory ：从系统内存中读取数据 ， 或者把数据写入系统内存 。缺点是系统内存有限，所有使用php://temp更安全；
4. php://temp ：和php://memory类似，不过 ， 没有可用内存时 ， PHP 会把数据写入这个临时文件 。
其他流封装协议
PHP 和 PHP 扩展还提供了很多其他流封装协议，例如 ， 与 ZIP 和 TAR 压缩文件、FTP 服务器、数据压缩库、Amazon API、Dropbox API 等通信的流封装协议 。需要注意的是，PHP 中的 fopen()、fgets()、fputs()、feof() 以及 fclose() 等函数不仅可以用来处理文件系统中的文件，还可以在所有支持这些函数的流封装协议中使用 。
自定义流封装协议
我们还可以自己编写 PHP 流封装协议 。PHP 提供了一个示例 StreamWrapper 类，演示如何编写自定义的流封装协议 ， 支持部分或全部 PHP 文件系统函数 。关于如何编写 ， 具体请参考以下文档：
有些 PHP 流能够接受一系列可选的参数 ， 这些参数叫流上下文 ， 用于定制流的行为 。不同的流封装协议使用的流上下文有所不同，流上下文使用 stream_context_create() 函数创建，这个函数返回的上下文对象可以传入大多数文件系统函数 。
例如，你知道可以使用 file_get_contents() 发送 HTTP POST 请求吗？使用一个流上下文对象即可实现：
流过滤器
目前为止我们讨论了如何打开流 ， 读取流中的数据，以及把数据写入流 。不过，PHP 流真正强大的地方在于过滤、转换、添加或删除流中传输的数据 ， 例如 ， 我们可以打开一个流处理 Markdown 文件，在把文件内容读入内存的过程中自动将其转化为 HTML 。
运行该脚本，输出的都是大写字母：
我们还可以使用php://filter流封装协议把过滤器附加到流上 ， 不过，使用这种方式之前必须先打开 PHP 流：
这个方式实现效果和 stream_filter_append() 函数一样，但是相比之下更为繁琐 。不过，PHP 的某些文件系统函数在调用后无法附加过滤器，例如 file() 和 fpassthru()，使用这些函数时只能使用php://filter流封装协议附加流过滤器 。
自定义流过滤器
我们还可以编写自定义的流过滤器 。其实，大多数情况下都要使用自定义的流过滤器，自定义的流过滤器是个 PHP 类，继承内置的 php_user_filter 类（），且必须实现 filter()、onCreate() 和 onClose() 方法，最后，必须使用 stream_filter_register() 函数注册自定义的流过滤器 。
然后 ， 我们必须使用 stream_filter_register() 函数注册这个自定义的 DirtyWordsFilter 流过滤器：
第一个参数用于标识这个自定义过滤器的过滤器名，第二个参数是这个自定义过滤器的类名 。接下来就可以使用这个自定义的流过滤器了：
修改 test.txt 内容如下：
运行上面的自定义过滤器脚本，结果如下：
stream_bucket_append函数：为队列添加数据
stream_bucket_make_writeable函数：从操作的队列中返回一个数据对象
stream_bucket_new函数：为当前队列创建一个新的数据
stream_bucket_prepend函数：预备数据到队列
stream_context_create函数：创建数据流上下文
stream_context_get_default函数：获取默认的数据流上下文
stream_context_get_options函数：获取数据流的设置
stream_context_set_option函数：对数据流、数据包或者上下文进行设置
stream_context_set_params函数：为数据流、数据包或者上下文设置参数
stream_copy_to_stream函数：在数据流之间进行复制操作
stream_filter_append函数：为数据流添加过滤器
stream_filter_prepend函数：为数据流预备添加过滤器
stream_filter_register函数：注册一个数据流的过滤器并作为PHP类执行
stream_filter_remove函数：从一个数据流中移除过滤器
stream_get_contents函数：读取数据流中的剩余数据到字符串
stream_get_filters函数：返回已经注册的数据流过滤器列表
stream_get_line函数：按照给定的定界符从数据流资源中获取行
stream_get_meta_data函数：从封装协议文件指针中获取报头/元数据
stream_get_transports函数：返回注册的Socket传输列表
stream_get_wrappers函数：返回注册的数据流列表
stream_register_wrapper函数：注册一个用PHP类实现的URL封装协议
stream_select函数：接收数据流数组并等待它们状态的改变
stream_set_blocking函数：将一个数据流设置为堵塞或者非堵塞状态
stream_set_timeout函数：对数据流进行超时设置
stream_set_write_buffer函数：为数据流设置缓冲区
stream_socket_accept函数：接受由函数stream_ socket_server()创建的Socket连接
stream_socket_client函数：打开网络或者UNIX主机的Socket连接
stream_socket_enable_crypto函数：为一个已经连接的Socket打开或者关闭数据加密
stream_socket_get_name函数：获取本地或者网络Socket的名称
stream_socket_pair函数：创建两个无区别的Socket数据流连接
stream_socket_recvfrom函数：从Socket获取数据，不管其连接与否
stream_socket_sendto函数：向Socket发送数据，不管其连接与否
stream_socket_server函数：创建一个网络或者UNIX Socket服务端
stream_wrapper_restore函数：恢复一个事先注销的数据包
stream_wrapper_unregister函数：注销一个URL地址包
整合资料
本文整合于以下两篇文章
PHP 和 GO语言在处理数据计算时，哪个性能更单纯数据运算的话,Go语言执行效率要跟高于PHP.Go语言更偏向于工程学,体积大, 逻辑简单, 有一定运算量, 不适合处理业务.php适合做逻辑.
关于流式数据计算php和流式数据处理的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：如何选择适合自己的托拉姆物语服务器？ 托拉姆物语怎么选服务器

    下一篇：如何在使命召唤8中连接服务器？ 使命召唤8怎么连接服务器