日志管理与分析权威指南pdf高清完整版|百度网盘下载

编辑评论：日志管理和分析权威指南 pdf

《日志管理与分析权威指南》由日志管理与分析领域的资深安全专家撰写。它从日志的基本概念入手，逐步讲解整个日志生命周期的详细流程，涵盖日志数据采集、存储分析和法规遵从。性等话题，小编今天为大家准备了权威的日志管理与分析指南pdf，欢迎下载

简介

日志是计算机系统中一个非常广泛的概念。任何设备和程序，如磁盘系统、内核操作系统、应用服务器等都可能输出日志，其内容、形式、规模和用途各不相同。面对如此庞大的日志，我们如何处理和分析日志数据并从中获取有用的信息？

《日志管理与分析权威指南》由日志管理与分析领域的资深安全专家撰写。从日志的基本概念入手，逐步讲解整个日志生命周期的详细流程，涵盖日志数据采集，

存储分析和法规遵从等主题，并通过丰富的示例系统地说明日志管理和日志数据分析的实用技术和工具，包括云计算和大数据环境中的传统syslog和新兴日志分析技能。

另外，本书从整个操作流程和策略形成了一个完整的体系，突破了行业和具体软硬件配置的限制。受益于理念和思路，通过自己的努力，形成基于标准、适合自身特点的日志操作架构。

相关内容部分预览

目录

前言
前言
第 1 章木材、树木、森林 1
1.1 概述 1
1.2 日志数据基础 2
1.2.1 什么是日志数据 2
1.2. 2 日志数据如何传输和收集 3
1.2.3 什么是日志消息 5
1.2.4 日志生态系统 6
1.3 看看接下来会发生什么 12
1.4 被低估的日志 13
1.5日志很有用 14
1.5.1 资源管理 14
1.5.2 入侵检测 14
1.5.3 故障排除 17
1.5.4 取证 17
1.5. 5 无聊的审计，有趣的发现 18
1.6 人员、流程和技术 19
1.7 安全信息和事件管理 (siem) 19
1.8 总结 22
参考文献 22
第 2 章 什么是日志23
2.1 概述 23
2.2 日志概念 25
2.2.1 日志格式和类型 27
2.2.2 日志语法 32
2.2.3 日志内容 35
2.3 标准良好的日志记录 36
2.4 摘要 38
参考 38
第 3 章 日志数据源 39
3.1 概述 39
3.2 日志源 39
3.2.1 syslog 40
3.2.2 snmp 45
3.2.3 windows事件日志48
3.3日志来源分类50
3.3.1安全相关主机日志50
3.3.2安全相关网络日志52
3.3.3安全主机日志 52
3.4 总结 54
第 4 章 日志存储技术 55
4.1 概述 55
4.2 日志保留策略 55
4.3 日志存储格式 57
4.3.1 基于文本的日志文件57
4.3.2 二进制文件 59
4.3.3 压缩文件 59
4.4 日志文件的数据库存储 60
4.4.1 优点 61
4.4. 2 缺点 61
4.4.3 定义数据库存储目标 61
4.5 hadoop 日志存储 63
4.5.1 优点 63
4.5.2 缺点 64
4.6 云和 hadoop 64
4.6 .1 亚马逊弹性 mapreduce 64
4.6 入门。 2 浏览亚马逊 64
4.6.3 将日志上传到亚马逊简单存储服务 (s3) 65
4.6.4 创建一个 pig 脚本来分析 apache 访问日志 67
4.6.5 在亚马逊弹性 mapreduce (emr)处理日志数据 68
4.7 日志数据检索和归档 70
4.7.1 在线存储 70
4.7.2 近线存储 70
4.7.3 离线存储 70
4.8 总结 70
参考 71
第 5 章 syslog-ng 案例研究 72
5.1 概述 72
5.2 获取 syslog-ng 72
5.3 什么是 syslog-ng 73
5.4 部署示例 74
5.5 故障排除syslog-ng 77
5.6 摘要 79
参考资料 79
第 6 章隐藏日志 80
6.1 概述 80
6.2 完全隐藏日志设置 82
6.2.1 隐藏日志生成 82
6.2.2 隐藏日志收集 82
6.2.3 ids 日志源 83
6.2.4 日志收集服务器 83
6.2.5 “伪”服务器或“蜜罐” 85
6.3 登录“蜜罐”85
6.3.1 蜜罐网络的隐蔽外壳键盘记录器 86
6.3.2 Sebek2 蜜罐网络案例研究 87
6.4 C公开日志通道简介 88
6.5 总结 89
参考 89
第 7 章日志分析目标、计划和准备 90
7.1 概述 90
7.2 目标 90
7.2.1 过去的问题91
7.2.2 未来问题 92
7.3 计划 92
7.3.1 准确性 92
7.3.2 诚信 93
7.3.3 可信度 93
7.3.4 保管 94
7.3.5 清理 94
7.3.6 标准化 94
7.3.7 时间挑战 95
7.4 准备 96
7.4.1 分解日志消息 96
7.4.2 解析 96
7.4.3 数据缩减 96
7.5 总结 98
第 8 章简单分析技术 99
8.1 概述 99
8.2 逐行：绝望之路 100< br>8.3 简单日志查看器 1 01< br>8.3.1 实时审计 101
8.3.2 历史日志审计 102
8.3.3 简单的日志操作 103
8.4 手动日志审计的局限性 105
8.5 做出分析结果响应 105< br>8.5.1 根据关键日志采取行动 106
8.5.2 根据非关键日志摘要采取行动 107
8.5.3 制定行动计划109
8.5.4 自动化操作 109< br>8.6 示例 110
8.6.1 事件响应场景 110
8.6.2 日常日志审查 110
8.7 总结 111
参考 111
第 9 章过滤、归一化和相关 112
9.1 概述 112
9.2 过滤 114
9.3 归一化 115
9.3.1 ip 地址验证 116
9.3.2 snort 116
9.3. 3 windows snare 117
9.3 .4 通用 cisco ios 消息 117
9.3.5 正则表达式性能考虑 118
9.4 相关 119
9.4.1 微相关 121
9.4.2 宏相关 122
9.4.3 在环境中处理数据 125
9.4.4 简单事件相关器 126
9.4.5 有状态规则示例 127
9.4.6 构建自己的规则引擎 132
9.5 常见搜索模式139
9.6 未来 140
9.7 总结 140
参考文献 140
第 10 章统计分析 141
10.1 概述 141
10.2 频率 141
10.3 基线 142
10.3.1阈值 145
10.3.2 异常检测 145
10.3.3 窗口化 145
10.4 机器学习 146
10.4.1 knn 算法 146
10.4.2 将 knn 算法应用于日志 146
10.5 结合统计分析和基于规则的关联 147
10.6 总结 148
参考资料148
第 11 章日志数据挖掘 149
11.1 概述 149
11.2 数据挖掘简介 150
11.3 日志数据挖掘简介 153
11.4 日志数据挖掘要求 155
11.5 内容挖掘 155
11.6 深入研究感兴趣的领域 157
11.7 总结 158
参考文献 158
第 12 章报告和总结 159
12.1 概述 159
12.2 定义最佳报告 160
12.3 身份验证和授权报告 160
12.4 更改报告 161
12.5 网络活动报告 163
12.6 资源访问报告 164
12.7 恶意软件活动报告 165
12.8 严重错误和故障报告 166
12.9 摘要 167
第 13 章日志数据可视化 168
13.1 概述 168
13.2 视觉相关性 168
13.3 实时可视化 169
13.4 树图 169
13.5 日志数据综合 170
13.6 传统日志数据图 175
13.7 总结 176
参考 176
第 14 章日志规则和日志错误 177
14.1 概述 177
14.2 日志规则 177
14.2.1 法则 1 – 收集法则 178
14.2.2 法则 2 – 保留法则 178
14.2.3 法则 3 – 监控法则 178
14.2 .4 法则 4 – 可用性法则 179
14.2 .5 法则 5 – 安全法则 179
14.2.6 法则 6 – 不断变化法则 179
14.3 日志错误 179
14.3.1 无日志全部 180
14.3.2 没有日志数据 181
14.3.3 保持太短 182
14.3.4 在收集之前确定优先级 183
14.3.5 忽略应用程序日志 184
14.3.6 搜索仅适用于已知不良项目 184
14.4 摘要 185
参考 185
第 15 章日志分析和收集工具 186
15.1 概述 186
15.2 外包、建造或购买 186
15.2. 1 构建解决方案 187
15.2.2 购买 187
15.2.3 外包 188
15.2.4 问题 189
15.3 日志分析基本工具 189
15.3.1 grep 189
15.3.2 awk 191
15.3.3 microsoft log parser 192
15.3.4 its 可以考虑的基本工具 193
15.3.5 基本工具在日志分析中的作用 194
15.4 集中式日志分析实用程序 195
15.4.1 syslog 195
15.4.2 rsyslog 196
15.4.3 snare 197
15.5 日志分析专业工具 197
15.5.1 ossec 198< br>15.5.2 ossim 200
15.5.3 其他值得考虑的分析工具 201
15.6 商业测井工具 202
15.6.1 splunk 202
15.6.2 netiq sentinel 203
15.6.3 ibm q1labs 203
15.6.4 loggly 204
15.7 摘要 204
参考文献 204
第 16 章日志管理程序 205
16.1 概述 205
16.2 假设、要求和注意事项 206
16.2.1 要求 206
16.2.2 注意事项 207
16.3 常见角色和职责 207
16.4 pci 和日志数据 208
16.4.1 关键要求 10 208
16.4.2 其他要求与日志记录相关 211
16.5 日志记录策略 213
16.6 审查、响应的初始基线和升级程序 217
16.6.3 手动构建初始基线 219
16.6.4 主要工作流程：每日日志审查 220
16.6.5 异常调查和分析 222
16.6 .6 事件响应和升级 225
16.7 日志审计验证 225
16.7.1 日志记录证据 226
16.7.2 日志审计证据 226
16.7.3 异常处理证据 226
16.8 日志 - 证据异常调查 227
16.8.1 推荐的日志格式 227
16.8.2 日志条目示例 228
16.9 pci 合规证据包 230
16.10 管理报告 230
16.11 定期操作任务 231
16.11.1 日常任务 231
16.11.2 每周任务 232
16.11.3 每月任务 232
16.11.4 季度任务 233
16.11.5 年度任务 23 3
16.12 其他资源233
16.13 摘要 233
参考 234
第 17 章对日志系统的攻击 235
17.1 概述 235
17.2 各种攻击 235
17.2 .1 攻击什么 236
17.2. 2 对自信的攻击质性 236
17.2.3 完整性攻击 241
17.2.4 可用性攻击 245
17.3 总结 252
参考文献 252
第 18 章程序员日志记录 253
18.1 概述 253< br>18.2 角色和职责 253
18.3 程序员的日志记录 254
18.3.1 哪些日志应该记录信息 255
18.3.2 程序员使用的日志记录 API 256
18.3.3 日志轮换 257
18.3.4 错误日志消息 259
18.3.5 日志消息格式 259
18.4 安全考虑 261
18.5 性能考虑 262
18.6 总结 263
参考 263
第 19 章日志和合规性 264
19.1 概述 264
19.2 pci dss 265< br>19.3 iso 2700x 系列 269
19.4 hipaa 271
19.5 fisma 276
19.6 摘要 281
第 20 章规划自己的日志分析系统 282
20.1 概述 282
20.2 规划 282
20.2.1 角色和职责 283
20.2.2 资源 284
20.2.3 目标 284
20.2.4 选择日志系统和设备 285
20.3 软件选择n 285
20.3.1 开源软件 285
20.3.2 商业软件 286
20.4 策略定义 287
20.4.1 日志记录策略 287
20.4.2 日志文件轮换 288
20.4.3 记录数据收集 288
20.4.4 持久性/存储 288
20.4.5 响应 289
20.5 架构 289
20.5.1 基本模型 289
20.5.2 日志服务器和日志收集器 290< br>20.5.3 具有长期存储的日志服务器和日志收集器 290
20.5.4 分布式部署 290
20.6 扩展 291
20.7 总结 291
第 21 章云日志 292< br>21.1 概述 292
21.2 云计算 293
21.2.1 服务交付模型 293
21.2.2 云部署模型 294
21.2.3 云基础设施功能 295
21.2.4 标准？我们不需要讨厌的标准 295
21.3 云日志 296
21.4 治理、合规性和安全问题 300
21.5 云中的大数据 301
21.6 云中的 siem 303
21.7云记录的优缺点 304
21.8 云记录提供者目录 305
21.9 其他资源 305
21.10 总结 305
参考 306
第 22 章记录标准和未来趋势 307
22.1 概述307
22.2 从今天推断未来 308
22.2.1 更多日志数据 308
22.2.2 更多动机 309
22.2.3 更多分析 310
22.3 记录未来和标准 310< br>22.4 期望的未来 314
22.5 总结 314

关于作者

博士。 Anton A. Chuvakin 是日志管理、SIEM 和 PCI DSS 合规性方面公认的安全专家，也是《安全勇士》（ISBN：978-0-596-00545-0）和《了解你的敌人：了解安全威胁》的合著者

第 2 版 (ISBN: 978-0-321-16646-3)，第 6 版信息安全管理手册 (ISBN: 978-0-8493-7495-1)，“黑客”

的挑战 3:20 全新的取证场景和解决方案 (ISBN: 978-0-072-26304-6), OSSEC 基于主机的入侵检测指南 (Syngress, ISBN: 978-1-59749 -240- 9) 和其他书籍。

Anton 发表了数十篇关于安全主题的文章，例如日志管理、相关性分析、数据分析、PCI DSS、安全管理等。

此外，Anton 在世界各地的许多安全会议上发表演讲，包括在美国、英国、新加坡、西班牙、俄罗斯等地。他参与了新兴安全标准的开发，并担任多家安全初创公司的顾问。

目前，他经营着自己的咨询公司 Security Warrior。在此之前，他曾担任 Qualys 的 PCI 合规解决方案总监和 LogLogic 的首席日志经理，负责为世界提供安全信息，

关于标准化和操作日志的重要性的培训。在加入 LogLogic 之前，他受雇于一家安全供应商，担任战略产品管理职务。 Anton 拥有博士学位。来自石溪大学。

Kevin J. Schmidt 是 Dell SecureWorks 的高级经理，该公司是行业领先的托管安全服务提供商 (MSSP)，隶属于戴尔公司。负责公司SIEM平台主要部分的设计和开发，包括数据采集，

相关性分析和日志数据分析。在加入 SecureWorks 之前，Kevin 曾在 Reflex Security 工作，从事 IPS 引擎和防病毒软件方面的工作。在此之前，他是 GuradedNet 的首席开发人员和架构师，

该公司构建了业界最早的 SIEM 平台之一。他还是美国海军预备队 (USNR) 的一名军官。 Kevin 拥有 19 年的软件开发和设计经验，其中 11 年在网络安全领域的研发。他拥有计算机科学学士学位。

Christopher Phillips 是 Dell SecureWorks 的经理和高级软件开发人员，负责公司威胁情报服务平台的设计和开发。他还负责一个团队，

致力于整合来自许多第三方提供商的日志和事件信息，以帮助客户通过 Dell SecureWorks 系统和安全专业人员分析信息。在 Dell SecureWorks 工作之前，

他在 McKesson 和 Allscripts 工作，帮助客户实现 HIPAA 标准化、安全性和医疗保健系统集成。他在软件开发和设计方面拥有超过 18 年的经验，并拥有计算机科学学士学位和 MBA 学位。

技术编辑简介

Patricia Moulder（CISSP、CISM、NSA-IAM）是一位高级安全主题专家和顾问。她拥有东卡罗来纳大学的理学硕士学位。她从事网络安全评估、Web 应用程序审计，

在为商业和美国政府客户提供无线网络技术方面拥有超过 19 年的经验。她曾在辛克莱社区学院担任网络安全助理教授 5 年，在 SDLC 应用安全审计和数据隐私标准化方面也拥有丰富的跨平台经验。

日志管理和分析工具的作用

信息化的发展催生了越来越复杂的数据中心，也给数据中心的运维带来了困难。通常一个数据中心会有各种信息系统，包括：

服务器：Windows、Linux、Unix

网络设备：路由器、交换机、负载均衡器等

安全设备：防火墙、入侵检测、上网行为管理、VPN等

数据库：SQLServer、Oracle、MySQL 等

基础服务：Web服务器、缓存服务器、邮件服务器、LDAP服务器等

各种应用：OA、CRM、业务系统等

这些系统通常需要 7 x 24 小时运行。确保这些系统的安全性、稳定性和合规性是运维中的一个主要问题。

日志是这些信息设备和系统实时生成的各种数据。忠实反映信息系统的各种实时情况，是提高运维水平的好帮手。

对这些信息系统的日志进行实时采集、聚合、分析和存储，进而实时监控、搜索和分析，可以帮助运维做好以下工作：

安全监控：监控信息基础设施和信息系统的安全风险，包括：安全配置、攻击威胁、入侵检测等方面是否存在风险；

状态监测：监测信息基础设施和信息系统的服务状态，监测它们是否健康，是否存在服务故障或服务质量下降的风险等，例如：服务器磁盘是否剩余空间到达警戒线，

核心交换机的CPU和内存使用是否处于异常状态，Apache连接数持续增加，业务系统的访问延迟是否在合理范围内；

合规检测：检查信息基础设施和信息系统的设置是否符合国家、行业和企业规范，发现不合规设置并及时上报；

审计取证：记录用户对信息基础设施和信息系统的操作，并随时审查和导出报告，以便发现问题和收集证据，包括审查黑客攻击后的黑客行为，例如：Linux服务器的命令执行历史，Windows服务器的权限修改历史，交换机的配置修改历史；

业务监控分析：汇总分析网站或业务系统的日志，实时监控业务使用情况，汇总分析业务使用情况，帮助优化业务运营。

但是，日志分析有很多挑战：

IT系统类型复杂，日志格式多样，无法统一，难以采集和解析；

大部分日志文件是非结构化数据，日志量通常很大，在传统数据库中难以有效存储和检索；

服务器每天输出大量日志文件，人工无法一一读取，无法及时准确发现问题，发现问题后无法快速定位；

多主机多日志源关联丰富，人工查看分析难以发现关联；

为运维团队设计的一套日志管理和分析产品，将在很大程度上帮助运维团队对日志进行收集、存储、监控、搜索和分析，可以大大提高工作效果和效率以确保整个信息系统的安全、健康和高效。