内容简介
作者简介
陶辉，毕业于西安交通大学计算机科学与技术专业，曾就职于华为中央软件部、腾讯QQ空间、思科中国CRDC等公司，目前在阿里巴巴云计算公司的飞天团队工作，研究方向为介于Iaas和Paas间的弹性计算，多年以来专注于Nginx的定制化应用，对Nginx的设计与特性有深刻认识，实战经验丰富，编写过许多优秀的Nginx模块并应用于企业级产品中，同时撰写了大量关于Nginx的技术文章。擅长Linux下高性能服务器的开发，以及分布式环境下海量数据存储的设计开发。
本书目录
第一部分 Nginx能帮我们做什么第1章 研究Nginx前的准备工作 2
1.1 Nginx是什么 2
1.2 为什么选择Nginx 5
1.3 准备工作 7
Linux操作系统 7
使用Nginx的必备软件 7
磁盘目录 8
Linux内核参数的优化 9
获取Nginx源码 10
1.4 编译安装Nginx 11
1.5 configure详解 11
configure的命令参数 11
configure执行流程 18
configure生成的文件 21
1.6 Nginx的命令行控制 23
1.7 小结 27
第2章 Nginx的配置 28
2.1 运行中的Nginx进程间的关系 28
2.2 Nginx配置的通用语法 31
块配置项 31
配置项的语法格式 32
配置项的注释 33
配置项的单位 33
在配置中使用变量 33
2.3 Nginx服务的基本配置 34
用于调试进程和定位问题的配置项 34
正常运行的配置项 36
优化性能的配置项 37
事件类配置项 39
2.4 用HTTP核心模块配置一个静态Web服务器 40
虚拟主机与请求的分发 41
文件路径的定义 45
内存及磁盘资源的分配 47
网络连接的设置 49
MIME类型的设置 52
对客户端请求的限制 53
文件操作的优化 54
对客户端请求的特殊处理 56
ngx_http_core_module模块提供的变量 57
2.5 用HTTP proxy module配置一个反向代理服务器 59
负载均衡的基本配置 61
反向代理的基本配置 63
2.6 小结 66
第二部分 如何编写HTTP模块
第3章 开发一个简单的HTTP模块 68
3.1 如何调用HTTP模块 68
3.2 准备工作 70
整型的封装 71
ngx_str_t数据结构 71
ngx_list_t数据结构 71
ngx_table_elt_t数据结构 75
ngx_buf_t数据结构 75
ngx_chain_t数据结构 77
3.3 如何将自己的HTTP模块编译进Nginx 77
config文件的写法 77
利用configure脚本将定制的模块加入到Nginx中 78
直接修改Makefile文件 81
3.4 HTTP模块的数据结构 82
3.5 定义自己的HTTP模块 86
3.6 处理用户请求 89
处理方法的返回值 89
获取URI和参数 92
获取HTTP头部 94
获取HTTP包体 97
3.7 发送响应 99
发送HTTP头部 99
将内存中的字符串作为包体发送 101
经典的“Hello World”示例 102
3.8 将磁盘文件作为包体发送 103
如何发送磁盘中的文件 104
清理文件句柄 106
支持用户多线程下载和断点续传 107
3.9 用C++语言编写HTTP模块 108
编译方式的修改 108
程序中的符号转换 109
3.10 小结 110
第4章 配置、error日志和请求上下文 111
4.1 http配置项的使用场景 111
4.2 怎样使用http配置 113
分配用于保存配置参数的数据结构 113
设定配置项的解析方式 115
使用14种预设方法解析配置项 121
自定义配置项处理方法 131
合并配置项 133
4.3 HTTP配置模型 135
解析HTTP配置的流程 136
HTTP配置模型的内存布局 139
如何合并配置项 142
预设配置项处理方法的工作原理 144
4.4 error日志的用法 145
4.5 请求的上下文 149
上下文与全异步Web服务器的关系 149
如何使用HTTP上下文 151
HTTP框架如何维护上下文结构 152
4.6 小结 153
第5章 访问第三方服务 154
5.1 upstream的使用方式 155
ngx_http_upstream_t结构体 158
设置upstream的限制性参数 159
设置需要访问的第三方服务器地址 160
设置回调方法 161
如何启动upstream机制 161
5.2 回调方法的执行场景 162
create_request回调方法 162
reinit_request回调方法 164
finalize_request回调方法 165
process_header回调方法 165
rewrite_redirect回调方法 167
input_filter_init与input_filter回调方法 167
5.3 使用upstream的示例 168
upstream的各种配置参数 168
请求上下文 170
在create_request方法中构造请求 170
在process_header方法中解析包头 171
在finalize_request方法中释放资源 175
在ngx_http_mytest_handler方法中启动upstream 175
5.4 subrequest的使用方式 177
配置子请求的处理方式 177
实现子请求处理完毕时的回调方法 178
处理父请求被重新激活后的回调方法 179
启动subrequest子请求 179
5.5 subrequest执行过程中的主要场景 180
如何启动subrequest 180
如何转发多个子请求的响应包体 182
子请求如何激活父请求 185
5.6 subrequest使用的例子 187
配置文件中子请求的设置 187
请求上下文 188
子请求结束时的处理方法 188
父请求的回调方法 189
启动subrequest 190
5.7 小结 191
第6章 开发一个简单的HTTP过滤模块 192
6.1 过滤模块的意义 192
6.2 过滤模块的调用顺序 193
过滤链表是如何构成的 194
过滤链表的顺序 196
官方默认HTTP过滤模块的功能简介 197
6.3 HTTP过滤模块的开发步骤 198
6.4 HTTP过滤模块的简单例子 200
如何编写config文件 201
配置项和上下文 201
定义HTTP过滤模块 203
初始化HTTP过滤模块 204
处理请求中的HTTP头部 204
处理请求中的HTTP包体 206
6.5 小结 206
第7章 Nginx提供的高级数据结构 207
7.1 Nginx提供的高级数据结构概述 207
7.2 ngx_queue_t双向链表 209
为什么设计ngx_queue_t双向链表 209
双向链表的使用方法 209
使用双向链表排序的例子 212
双向链表是如何实现的 213
7.3 ngx_array_t动态数组 215
为什么设计ngx_array_t动态数组 215
动态数组的使用方法 215
使用动态数组的例子 217
动态数组的扩容方式 218
7.4 ngx_list_t单向链表 219
7.5 ngx_rbtree_t红黑树 219
为什么设计ngx_rbtree_t红黑树 219
红黑树的特性 220
红黑树的使用方法 222
使用红黑树的简单例子 225
如何自定义添加成员方法 226
7.6 ngx_radix_tree_t基数树 228
ngx_radix_tree_t基数树的原理 228
基数树的使用方法 230
使用基数树的例子 231
7.7 支持通配符的散列表 232
ngx_hash_t基本散列表 232
支持通配符的散列表 235
带通配符散列表的使用例子 241
7.8 小结 245
第三部分 深入Nginx
第8章 Nginx基础架构 248
8.1 Web服务器设计中的关键约束 249
8.2 Nginx的架构设计 251
优秀的模块化设计 251
事件驱动架构 254
请求的多阶段异步处理 256
管理进程、多工作进程设计 259
平台无关的代码实现 259
内存池的设计 259
使用统一管道过滤器模式的HTTP过滤模块 260
其他一些用户模块 260
8.3 Nginx框架中的核心结构体ngx_cycle_t 260
ngx_listening_t结构体 261
ngx_cycle_t结构体 262
ngx_cycle_t支持的方法 264
8.4 Nginx启动时框架的处理流程 266
8.5 worker进程是如何工作的 269
8.6 master进程是如何工作的 271
8.7 ngx_pool_t内存池 276
8.8 小结 284
第9章 事件模块 285
9.1 事件处理框架概述 286
9.2 Nginx事件的定义 288
9.3 Nginx连接的定义 291
被动连接 292
主动连接 295
ngx_connection_t连接池 296
9.4 ngx_events_module核心模块 297
如何管理所有事件模块的配置项 299
管理事件模块 300
9.5 ngx_event_core_module事件模块 302
9.6 epoll事件驱动模块 308
epoll的原理和用法 308
如何使用epoll 310
ngx_epoll_module模块的实现 312
9.7 定时器事件 320
缓存时间的管理 320
缓存时间的精度 323
定时器的实现 323
9.8 事件驱动框架的处理流程 324
如何建立新连接 325
如何解决“惊群”问题 327
如何实现负载均衡 329
post事件队列 330
ngx_process_events_and_timers流程 331
9.9 文件的异步I/O 334
Linux内核提供的文件异步I/O 335
ngx_epoll_module模块中实现的针对文件的异步I/O 337
9.10 TCP协议与Nginx 342
9.11 小结 347
第10章 HTTP框架的初始化 348
10.1 HTTP框架概述 349
10.2 管理HTTP模块的配置项 352
管理main级别下的配置项 353
管理server级别下的配置项 355
管理location级别下的配置项 358
不同级别配置项的合并 364
10.3 监听端口的管理 367
10.4 server的快速检索 370
10.5 location的快速检索 370
10.6 HTTP请求的11个处理阶段 372
HTTP处理阶段的普适规则 374
NGX_HTTP_POST_READ_PHASE阶段 375
NGX_HTTP_SERVER_REWRITE_PHASE阶段 378
NGX_HTTP_FIND_CONFIG_PHASE阶段 378
NGX_HTTP_REWRITE_PHASE阶段 378
NGX_HTTP_POST_REWRITE_PHASE阶段 379
NGX_HTTP_PREACCESS_PHASE阶段 379
NGX_HTTP_ACCESS_PHASE阶段 379
NGX_HTTP_POST_ACCESS_PHASE阶段 380
NGX_HTTP_TRY_FILES_PHASE阶段 380
NGX_HTTP_CONTENT_PHASE阶段 380
NGX_HTTP_LOG_PHASE阶段 382
10.7 HTTP框架的初始化流程 382
10.8 小结 384
第11章 HTTP框架的执行流程 385
11.1 HTTP框架执行流程概述 386
11.2 新连接建立时的行为 387
11.3 第一次可读事件的处理 388
11.4 接收HTTP请求行 394
11.5 接收HTTP头部 398
11.6 处理HTTP请求 400
ngx_http_core_generic_phase 406
ngx_http_core_rewrite_phase 408
ngx_http_core_access_phase 409
ngx_http_core_content_phase 412
11.7 subrequest与post请求 415
11.8 处理HTTP包体 417
接收包体 419
放弃接收包体 425
11.9 发送HTTP响应 429
ngx_http_send_header 430
ngx_http_output_filter 432
ngx_http_writer 435
11.10 结束HTTP请求 437
ngx_http_close_connection 438
ngx_http_free_request 439
ngx_http_close_request 440
ngx_http_finalize_connection 441
ngx_http_terminate_request 443
ngx_http_finalize_request 443
11.11 小结 446
第12章 upstream机制的设计与实现 447
12.1 upstream机制概述 448
设计目的 448
ngx_http_upstream_t数据结构的意义 450
ngx_http_upstream_conf_t配置结构体 453
12.2 启动upstream 455
12.3 与上游服务器建立连接 457
12.4 发送请求到上游服务器 460
12.5 接收上游服务器的响应头部 463
应用层协议的两段划分方式 463
处理包体的3种方式 464
接收响应头部的流程 465
12.6 不转发响应时的处理流程 469
input_filter方法的设计 469
默认的input_filter方法 470
接收包体的流程 472
12.7 以下游网速优先来转发响应 473
转发响应的包头 474
转发响应的包体 477
12.8 以上游网速优先来转发响应 481
ngx_event_pipe_t结构体的意义 481
转发响应的包头 485
转发响应的包体 487
ngx_event_pipe_read_upstream方法 489
ngx_event_pipe_write_to_downstream方法 494
12.9 结束upstream请求 496
12.10 小结 499
第13章 邮件代理模块 500
13.1 邮件代理服务器的功能 500
13.2 邮件模块的处理框架 503
一个请求的8个独立处理阶段 503
邮件类模块的定义 504
邮件框架的初始化 506
13.3 初始化请求 506
描述邮件请求的ngx_mail_session_t结构体 506
初始化邮件请求的流程 509
13.4 接收并解析客户端请求 509
13.5 邮件认证 510
ngx_mail_auth_http_ctx_t结构体 510
与认证服务器建立连接 511
发送请求到认证服务器 513
接收并解析响应 514
13.6 与上游邮件服务器间的认证交互 514
ngx_mail_proxy_ctx_t结构体 516
向上游邮件服务器发起连接 516
与邮件服务器认证交互的过程 518
13.7 透传上游邮件服务器与客户端间的流 520
13.8 小结 524
第14章 进程间的通信机制 525
14.1 概述 525
14.2 共享内存 526
14.3 原子操作 530
不支持原子库下的原子操作 530
x86架构下的原子操作 531
自旋锁 533
14.4 Nginx频道 535
14.5 信号 538
14.6 信号量 540
14.7 文件锁 541
14.8 互斥锁 544
文件锁实现的ngx_shmtx_t锁 546
原子变量实现的ngx_shmtx_t锁 548
14.9 小结 553
第15章 变量 554
15.1 使用内部变量开发模块 555
定义模块 556
定义http模块加载方式 557
解析配置中的变量 558
处理请求 560
15.2 内部变量工作原理 561
何时定义变量 561
相关数据结构详述 564
定义变量的方法 572
使用变量的方法 572
如何解析变量 573
15.3 定义内部变量 576
15.4 外部变量与脚本引擎 577
相关数据结构 578
编译“set”脚本 581
脚本执行流程 586
15.5 小结 589
第16章 slab共享内存 590
16.1 操作slab共享内存的方法 590
16.2 使用slab共享内存池的例子 592
共享内存中的数据结构 593
操作共享内存中的红黑树与链表 595
解析配置文件 600
定义模块 603
16.3 slab内存管理的实现原理 605
内存结构布局 607
分配内存流程 613
释放内存流程 617
如何使用位操作 619
slab内存池间的管理 624
16.4 小结 624
· · · · · ·
