系统程序员成长计划-管道过滤器（Pipe-And-Filter）模式系统程序员成长计划

系统程序员成长计划-文本处理（三） Sunday, June 28th, 2009 | Author: admin | ? Edit ?
转载时请注明出处和作者联系方式
文章出处：http://www.limodev.cn/blog
作者联系方式：李先静
系统程序员成长计划-文本处理（三）
【系统程序员成长计划-管道过滤器（Pipe-And-Filter）模式】管道过滤器（Pipe-And-Filter）模式
按照《POSA(面向模式的软件架构)》里的说法，管道过滤器（Pipe-And-Filter）应该属于架构模式，因为它通常决定了一个系统的基本架构。管道过滤器和生产流水线类似，在生产流水线上，原材料在流水线上经一道一道的工序，最后形成某种有用的产品。在管道过滤器中，数据经过一个一个的过滤器，最后得到需要的数据。
o 基本的管道过滤器：

管道负责数据的传递，它把原始数据传递给第一个过滤器，把一个过滤器的输出传递给下一个过滤器，作为下一个过滤器的输入，重复这个过程直到处理结束。要注意的是，管道只是对数据传输的抽象，它可能是管道，也可能是其它通信方式，甚至什么都没有(所有过滤器都在原始数据基础上进行处理)。
过滤器负责数据的处理，过滤器可以有多个，每个过滤器对数据做特定的处理，它们之间没有依赖关系，一个过滤器不必知道其它过滤器的存在。这种松耦合的设计，使得过滤器只需要实现单一的功能，从而降低了系统的复杂度，也使得过滤器之间依赖最小，从而以更加灵活的组合来实现新的功能。
编译器就是基于管道过滤器模式设计的：

输入：源程序
预处理：负责宏展开和去掉注释等工作。
编译：进行词法分析、语法分析、语义分析、代码优化和代码产生。
汇编：负责把汇编代码转换成机器指令，生成目标文件。
链接：负责把多个目标文件、静态库和共享库链接成可执行文件/共享库。
输出：可执行文件/共享库。
o 复合过滤器
过滤器可以由多个其它过滤器组合起来的，比如上面的“编译”过程可以认为是一个复合过滤器：

输入：预处理之后的源代码。
词法分析：负责将源程序分解成一个一个的token，这些token是组成源程序的基本单元。
语法分析：把词法分析得到的token解析成语法树。
语义分析：对语法树进行类型检查等语义分析。
代码优化：对语法树进行重组和修改，以优化代码的速度和大小。
代码产生：根据语法树产生汇编代码。
输出：汇编代码。
o 支持多个输入的过滤器
过滤器可以有多个输入。比如上面“链接”，它接收多个输入：

“链接”过滤器能接收多个数据源，如目标文件、静态库和共享库。
o 具有多个输出的过滤器
过滤器可以有多个输出。如多媒体播放器的解码过程：

输入：AVI文件，包括音频和视频数据。
分离器：把音频和视频数据分离成两个流，音频数据传递给音频解码器，视频数据传递给视频解码器。
音频解码器：把压缩的音频数据解码成原始的音频数据。
视频解码器：把压缩的视频数据解码成原始的图像数据。
输出：音频数据传递给声卡，图像数据传递给显示器。
管道过滤器是最贴近程序员生活的模式，也是Unix-like系统的基本设计理念之一。作为Linux下的程序员，我们天天都使用这个模式。比如：
o删除当前目录及子目录下的目标文件。
find -name /*.o|xargs rm –f
find是过滤器：它找出所有目标文件，它不需要关心查找文件的目的。
rm是过滤器：它删除找到目标文件，rm不需要关心文件名是如何得来的。
o 查看某个进程的栈的大小
grep stack /proc/2976/maps|sed -e “s/-/ /”|awk ‘{print strtonum(”0x”$2)-strtonum(”0x”$1)}’
/proc/2976/maps是进程2976内存映射表。内容可能如下：

00110000-00111000 r-xp 00110000 00:00 0[vdso]
00111000-0011b000 r-xp 00000000 08:01 154857/lib/libnss_files-2.8.so
0011b000-0011c000 r--p 0000a000 08:01 154857/lib/libnss_files-2.8.so
0011c000-0011d000 rw-p 0000b000 08:01 154857/lib/libnss_files-2.8.so
00907000-00923000 r-xp 00000000 08:01 157280/lib/ld-2.8.so
00923000-00924000 r--p 0001c000 08:01 157280/lib/ld-2.8.so
00924000-00925000 rw-p 0001d000 08:01 157280/lib/ld-2.8.so
00927000-00a8a000 r-xp 00000000 08:01 157281/lib/libc-2.8.so
00a8a000-00a8c000 r--p 00163000 08:01 157281/lib/libc-2.8.so
00a8c000-00a8d000 rw-p 00165000 08:01 157281/lib/libc-2.8.so
00a8d000-00a90000 rw-p 00a8d000 00:00 0
00abd000-00ac0000 r-xp 00000000 08:01 157284/lib/libdl-2.8.so
00ac0000-00ac1000 r--p 00002000 08:01 157284/lib/libdl-2.8.so
00ac1000-00ac2000 rw-p 00003000 08:01 157284/lib/libdl-2.8.so
0383f000-03855000 r-xp 00000000 08:01 157307/lib/libtinfo.so.5.6
03855000-03858000 rw-p 00015000 08:01 157307/lib/libtinfo.so.5.6
08047000-080fa000 r-xp 00000000 08:01 1180910/bin/bash
080fa000-080ff000 rw-p 000b3000 08:01 1180910/bin/bash
080ff000-08104000 rw-p 080ff000 00:00 0
088bd000-088ff000 rw-p 088bd000 00:00 0[heap]
b7bfb000-b7bfd000 rw-p b7bfb000 00:00 0
b7bfd000-b7c04000 r--s 00000000 08:01 237138/usr/lib/gconv/gconv-modules.cache
b7c04000-b7d1e000 r--p 047d3000 08:01 237437/usr/lib/locale/locale-archive
b7d1e000-b7d5e000 r--p 0236e000 08:01 237437/usr/lib/locale/locale-archive
b7d5e000-b7f5e000 r--p 00000000 08:01 237437/usr/lib/locale/locale-archive
b7f5e000-b7f60000 rw-p b7f5e000 00:00 0
bfe5e000-bfe73000 rw-p bffeb000 00:00 0[stack]

grep是过滤器：它从文件/proc/2976/maps里找到下面这行数据。
bfe5e000-bfe73000 rw-p bffeb000 00:00 0 [stack]
sed是过滤器：它把‘-’替换成‘ ’，数据变成下面的内容。
bfe5e000 bfe73000 rw-p bffeb000 00:00 0 [stack]
awk是过滤器：它计算0xbfe73000和0x bfe5e000差值，并打印出来。
下面我们来看看，管道过滤器在程序里的实现方式。这里我们以TinyMail为例，TinyMail是一款针对移动设备定制的邮件客户端软件。它使用camel-lite完成邮件内容解析和传输。Camel-lite对邮件内容的处理基本上基于管道过滤器模式的。
CamelMimeFilter是过滤器接口，所有过滤器都要实现它要求的接口函数：

struct _CamelMimeFilterClass {
CamelObjectClass parent_class;

void (*filter)(CamelMimeFilter *f,
char *in, size_t len, size_t prespace,
char **out, size_t *outlen, size_t *outprespace);
void (*complete)(CamelMimeFilter *f,
char *in, size_t len, size_t prespace,
char **out, size_t *outlen, size_t *outprespace);
void (*reset)(CamelMimeFilter *f);
};

CamelMimeFilterClass是从CamelObjectClass继承过来的。这里的接口定义和我们前面所讲的接口定义有些差别，但原理上都是一样，通过函数指针来抽象具体的功能。这里要求实现三个接口函数：
filter：过滤器的处理函数。
complete：过滤器的处理函数。与filter不同的是，调用complete之后不能调其它filter。
reset：重置当前filter的状态。
Camel实现了很多Filter，其中CamelMimeFilterBasic实现了邮件基本的编码和解析功能。它的filter函数实现如下：

static void
filter(CamelMimeFilter *mf, char *in, size_t len, size_t prespace, char **out, size_t *outlen, size_t *outprespace)
{
CamelMimeFilterBasic *f = (CamelMimeFilterBasic *)mf;
size_t newlen;

switch(f->type) {
case CAMEL_MIME_FILTER_BASIC_BASE64_ENC:
/* wont go to more than 2x size (overly conservative) */
camel_mime_filter_set_size(mf, len*2+6, FALSE);
newlen = g_base64_encode_step((const guchar *) in, len, TRUE, mf->outbuf, &f->state, &f->save);
g_assert(newlen <= len*2+6);
break;
case CAMEL_MIME_FILTER_BASIC_QP_ENC:
/* *4 is overly conservative, but will do */
camel_mime_filter_set_size(mf, len*4+4, FALSE);
newlen = camel_quoted_encode_step((unsigned char *) in, len, (unsigned char *) mf->outbuf, &f->state, (gint *) &f->sa
ve);
g_assert(newlen <= len*4+4);
break;
case CAMEL_MIME_FILTER_BASIC_UU_ENC:
/* won't go to more than 2 * (x + 2) + 62 */
camel_mime_filter_set_size (mf, (len + 2) * 2 + 62, FALSE);
newlen = camel_uuencode_step ((unsigned char *) in, len, (unsigned char *) mf->outbuf, f->uubuf, &f->state, (guint32
*) &f->save);
g_assert (newlen <= (len + 2) * 2 + 62);
break;
case CAMEL_MIME_FILTER_BASIC_BASE64_DEC:
/* output can't possibly exceed the input size */
camel_mime_filter_set_size(mf, len+3, FALSE);
newlen = g_base64_decode_step(in, len, (guchar *) mf->outbuf, &f->state, (guint *) &f->save);
g_assert(newlen <= len+3);
break;
case CAMEL_MIME_FILTER_BASIC_QP_DEC:
/* output can't possibly exceed the input size */
camel_mime_filter_set_size(mf, len + 2, FALSE);
newlen = camel_quoted_decode_step((unsigned char *) in, len, (unsigned char *) mf->outbuf, &f->state, (gint *) &f->sa
ve);
g_assert(newlen <= len + 2);
break;
case CAMEL_MIME_FILTER_BASIC_UU_DEC:
if (!(f->state & CAMEL_UUDECODE_STATE_BEGIN)) {
register char *inptr, *inend;
size_t left;

inptr = in;
inend = inptr + len;

while (inptr < inend) {
left = inend - inptr;
if (left < 6) {
if (!strncmp (inptr, "begin ", left))
camel_mime_filter_backup (mf, inptr, left);
break;
} else if (!strncmp (inptr, "begin ", 6)) {
for (in = inptr; inptr < inend && *inptr != '/n'; inptr++);
if (inptr < inend) {
inptr++;
f->state |= CAMEL_UUDECODE_STATE_BEGIN;
/* we can start uudecoding... */
in = inptr;
len = inend - in;
} else {
camel_mime_filter_backup (mf, in, left);
}
break;
}

/* go to the next line */
for ( ; inptr < inend && *inptr != '/n'; inptr++);

if (inptr < inend)
inptr++;
}
}

if ((f->state & CAMEL_UUDECODE_STATE_BEGIN) && !(f->state & CAMEL_UUDECODE_STATE_END)) {
/* "begin /n" has been found, so we can now start decoding */
camel_mime_filter_set_size (mf, len + 3, FALSE);
newlen = camel_uudecode_step ((unsigned char *) in, len, (unsigned char *) mf->outbuf, &f->state, (guint32 *) &f-
>save);
} else {
newlen = 0;
}
break;
default:
g_warning ("unknown type %u in CamelMimeFilterBasic", f->type);
goto donothing;
}

*out = mf->outbuf;
*outlen = newlen;
*outprespace = mf->outpre;

return;
donothing:
*out = in;
*outlen = len;
*outprespace = prespace;
}

这个过滤器实现了下面三种编码方式的编码和解码：
1. UU(Unix-to-Unix encoding)：
2. Base64
3. QP(Quote-Printable)
Camel还提供了其它一些过滤器，如：
CamelMimeFilterGZip：压缩和解压
CamelMimeFilterHTML：去掉HTML Tag。
CamelMimeFilterCRLF：使用/r/n作为换行符。
CamelMimeFilterToHTML：加上HTML Tag。
CamelMimeFilterCharset：字符集转换。
所有的过滤器由CamelStreamFilter来组合，CamelStreamFilter提供了下面两个函数：
增加过滤器：
int camel_stream_filter_add (CamelStreamFilter *stream, CamelMimeFilter *filter);
移除过滤器：
void camel_stream_filter_remove (CamelStreamFilter *stream, int id);
CamelStreamFilter实现了CamelStream接口，这里应用了前面所讲的装饰模式，它不改变CamelStream的接口，但给CamelStream加上了数据转换功能。它的创建函数如下：
CamelStreamFilter *camel_stream_filter_new_with_stream (CamelStream *stream);
传入一个CamelStream对象，然后对这个对象进行装饰。在读写数据时，调用相应的Filter，下面是写函数的实现：

do_read (CamelStream *stream, char *buffer, size_t n)
{
CamelStreamFilter *filter = (CamelStreamFilter *)stream;
struct _CamelStreamFilterPrivate *p = _PRIVATE(filter);
ssize_t size;
struct _filter *f;

p->last_was_read = TRUE;

g_check(p->realbuffer);

if (p->filteredlen<=0) {
size_t presize = READ_PAD;

size = camel_stream_read(filter->source, p->buffer, READ_SIZE);
if (size <= 0) {
/* this is somewhat untested */
if (camel_stream_eos(filter->source)) {
f = p->filters;
p->filtered = p->buffer;
p->filteredlen = 0;
while (f) {
camel_mime_filter_complete(f->filter, p->filtered, p->filteredlen,
presize, &p->filtered, &p->filteredlen, &presize);
g_check(p->realbuffer);
f = f->next;
}
size = p->filteredlen;
p->flushed = TRUE;
}
if (size <= 0)
return size;
} else {
f = p->filters;
p->filtered = p->buffer;
p->filteredlen = size;
d(printf ("/n/nOriginal content (%s): '", ((CamelObject *)filter->source)->klass->name));
d(fwrite(p->filtered, sizeof(char), p->filteredlen, stdout));
d(printf("'/n"));

while (f) {
camel_mime_filter_filter(f->filter, p->filtered, p->filteredlen, presize,
&p->filtered, &p->filteredlen, &presize);
g_check(p->realbuffer);

d(printf ("Filtered content (%s): '", ((CamelObject *)f->filter)->klass->name));
d(fwrite(p->filtered, sizeof(char), p->filteredlen, stdout));
d(printf("'/n"));

f = f->next;
}
}
}

size = MIN(n, p->filteredlen);
memcpy(buffer, p->filtered, size);
p->filteredlen -= size;
p->filtered += size;

g_check(p->realbuffer);

return size;
}

这里先调用camel_stream_read读取数据，然后依次调用fitler对数据进行处理，最后把数据返回给调用者。do_write的过程类似，CamelStreamFilter对编码和解码都支持，而使用者不用关心。
管道过滤器模式应用相当广泛，它不限于文本数据处理，任何以数据处理为中心的系统，都可以用管道过滤器模式作为基本架构。