内容简介
作者简介
本书由阿里云天池平台编写。
天池平台已经举办了超过 200 场来自真实业务场景的竞赛，每场赛事沉淀的课题和数据集，将永久在天池保留和开放。天池平台已成为在校学生踏入职场前的虚拟实践基地，也成为聚集40万数据人才，孵化2000余家数据创新工作室的数据智能大社区。
白德桃
毕业于西安交通大学，在校期间参加天池大赛获得多次冠军，毕业后就职于阿里巴巴达摩院，一直从事工业视觉智能领域的技术研发与落地。
陈漠沙
研究生毕业于上海交通大学中德语言联合技术实验室，研究方向为自然语言处理。曾就职于雅虎研究院、阿里友盟和阿里巴巴达摩院，分别从事广告算法和医疗NLP算法的研发工作，有着丰富的NLP算法研究和落地经验。现任阿里云天池平台算法科学家，负责天池赛题的研发和数据集建设。
洪鹏飞
天池数据科学家，曾获得六次全国数据科学（人工智能）算法大赛冠军及多项赛事的优异名次，曾在京东、阿里巴巴等知名企业担任人工智能算法工程师，专注于各类人工智能产业算法解决方案研发。负责优酷赛题的撰写工作。
侯思泽
英国利物浦大学博士，多年从事数据科学和人工智能算法相关的教育工作，专攻深度学习相关技术的研究，曾多次在国际顶级会议和期刊发表论文。负责布匹疵点智能识别赛题的主要撰写工作。
李静
阿里巴巴文娱集团资深算法专家，阿里巴巴大文娱摩酷实验室负责人。2013年获法国南特大学计算机博士学位，2014—2019年任法国国家科学院IPI/LS2N实验室研究员，法国南特大学助理教授。研究方向包括心理学实验方法论、多媒体视觉体验质量评价、3D视觉、机器学习等。国际质量专家组VQEG成员，国际标准组织IEEE P3333.1成员，欧盟Qualinet成员，AVS视频标准质量评价组成员，ACMMM 2020 QoEVMA workshop组织者。参与多家国际期刊与会议的评审。
王煦中
天池数据科学家，曾在瑞金医院人工智能辅助构建知识图谱等多个算法大赛中名列前茅；曾在清华大学知识工程实验室参与研究工作，主要从事社交网络分析及自然语言处理研究，曾在国际顶级会议及期刊发表论文多篇并拥有多项发明专利。负责瑞金医院赛题的撰写工作。
肖芬瑞
天池知名选手，北京邮电大学硕士，主要研究方向包括域自适应目标检测、小目标检测、文本检测与识别等；BUPT_CAD团队主要成员，BUPT_CAD团队曾在广东工业智造创新等多个算法大赛中取得优异成绩。负责协助布匹疵点智能识别赛题的撰写工作。
张永亮
苏州实验舱青少年编程数据科学课题组负责人，人工智能产业专家，拥有二十年产业从业经验；IT技术教育专家，拥有十年计算机软件开发和编程教育经验，专注于计算机技术的教育和科普工作。负责本书的整体策划和整编工作。
本书目录
赛题一 瑞金医院MMC人工智能辅助构建知识图谱0 技术背景3
0.1 技术现状3
0.2 实验室介绍3
1 赛题解读7
1.1 赛题背景7
1.2 知识图谱7
1.2.1 知识图谱的发展历史7
1.2.2 如何表达知识9
1.2.3 如何构建知识图谱11
1.2.4 如何进行知识推理13
1.3 数据介绍15
1.3.1 初赛数据16
1.3.2 复赛数据17
1.4 评测指标18
2 数据处理19
2.1 自然语言处理基础19
2.1.1 词向量19
2.1.2 语言模型20
2.1.3 自然语言处理中的深度学习24
2.2 数据预处理29
2.2.1 .txt文件29
2.2.2 .ann文件30
2.2.3 使用Python解析文件32
3 初赛赛题——实体识别35
3.1 实体识别任务35
3.2 传统机器学习方法36
3.2.1 概率图模型36
3.2.2 隐马尔可夫模型38
3.2.3 最大熵马尔可夫模型39
3.2.4 条件随机场模型40
3.3 深度学习方法41
3.3.1 双向循环神经网络41
3.3.2 双向循环神经网络+条件随机场模型43
3.4 初赛方案44
3.4.1 数据集构建44
3.4.2 特征工程46
3.4.3 模型构建47
4 复赛赛题——关系抽取53
4.1 关系抽取任务53
4.2 传统方法53
4.2.1 基于模板的抽取53
4.2.2 基于依存句法的抽取54
4.2.3 基于统计机器学习的抽取55
4.3 深度学习方法56
4.3.1 监督学习56
4.3.2 半监督学习57
4.4 复赛方案59
4.4.1 数据集构建59
4.4.2 特征工程62
4.4.3 模型构建63
5 Neo4j存储知识图谱69
5.1 Neo4j介绍69
5.2 Neo4j配置70
5.2.1 安装70
5.2.2 Web管理平台71
5.2.3 Neo4j-shell72
5.3 数据库构建72
5.3.1 准备工作72
5.3.2 创建数据库72
5.3.3 事务73
5.3.4 创建节点73
5.3.5 创建关系74
5.3.6 查询74
5.4 Cypher查询75
5.4.1 读语句76
5.4.2 写语句76
5.4.3 通用语句78
6 赛题进阶讨论80
6.1 数据标注方法80
6.1.1 指针标注80
6.1.2 片段排列81
6.2 联合抽取82
6.2.1 共享参数82
6.2.2 联合标注84
6.3 大规模预训练语言模型86
6.3.1 ELMo模型86
6.3.2 GPT模型87
6.3.3 BERT模型89
6.3.4 使用BERT模型进行实体识别与关系抽取90
赛题二 阿里巴巴优酷视频增强和超分辨率挑战赛
0 技术背景95
0.1 业界应用95
0.2 文娱行业面临的画质问题95
0.3 实验室介绍和技术手段96
0.4 重点模块97
0.5 处理效果98
1 赛题解读100
1.1 赛题背景100
1.2 赛题目标100
1.3 数据概览100
1.4 评估指标101
1.5 解题思路102
1.6 赛题模型103
2 数据处理105
2.1 视频和图像处理105
2.1.1 图像基本概念105
2.1.2 视频基本概念106
2.1.3 视频分帧107
2.1.4 图像处理108
2.1.5 图片合成视频110
2.2 工具包111
2.2.1 OpenCV库111
2.2.2 FFmpeg库112
2.3 数据处理112
2.3.1 安装工具包112
2.3.2 导入工具包112
2.3.3 视频转图片函数112
2.3.4 读取图片并获取大小113
2.3.5 读取图片并进行灰度处理114
2.3.6 分帧后的图片灰度处理114
2.3.7 图片转视频函数115
3 传统插值方法117
3.1 插值方法117
3.1.1 插值方法的基本概念117
3.1.2 插值原理118
3.2 插值算法118
3.2.1 最近邻插值算法119
3.2.2 双线性插值算法119
3.2.3 双三次插值算法120
3.3 几种传统插值算法结果对比121
3.4 数据处理122
3.4.1 导入工具包122
3.4.2 读取图片122
3.4.3 最近邻插值算法122
3.4.4 双线性插值算法123
3.4.5 基于4px×4px邻域的三次插值算法123
3.4.6 不同插值函数计算PSNR123
3.4.7 传统插值方法效果对比123
3.4.8 Bicubic插值算法124
4 深度插值方法126
4.1 深度学习126
4.1.1 卷积神经网络126
4.1.2 使用SRCNN实现超清分辨率132
4.2 赛题实践132
4.2.1 导入工具包132
4.2.2 读取图片133
4.2.3 使用Bicubic插值放大至目标尺寸133
4.2.4 实现SRCNN133
4.2.5 SRCNN模型训练133
4.2.6 SRCNN模型验证135
4.2.7 SRCNN模型预测135
4.2.8 保存图片135
5 深度学习方法改进136
5.1 FSRCNN实现超清分辨率136
5.2 ESPCN实现超清分辨率138
5.3 赛题实践140
5.3.1 导入工具包140
5.3.2 读取图片140
5.3.3 FSRCNN140
5.3.4 ESPCN142
6 深度学习方法进阶145
6.1 GAN基本概念145
6.1.1 GAN生成手写数字146
6.1.2 GAN训练147
6.1.3 GAN算法数学形式148
6.2 CGAN149
6.3 VGGNet150
6.4 ResNet153
6.5 SRGAN结构156
6.5.1 SRGAN损失函数157
6.5.2 SRGAN效果157
6.6 SRGAN实现超清分辨率158
6.6.1 导入工具包158
6.6.2 读取图片159
6.6.3 实现SRGAN159
6.6.4 SRGAN模型训练163
6.6.5 SRGAN模型验证163
6.6.6 SRGAN模型预测163
6.6.7 保存图片163
赛题三 布匹疵点智能识别
（2019广东工业智造创新大赛 赛场一）
0 技术背景167
0.1 行业背景167
0.2 实验室产品介绍168
0.3 赛题背景170
0.4 初赛数据示例171
0.5 复赛数据示例172
1 赛题解析173
1.1 赛题背景分析173
1.2 计算机视觉174
1.2.1 计算机视觉简介174
1.2.2 计算机视觉发展历史175
1.2.3 计算机视觉方法177
1.3 数据集介绍178
1.4 赛题指标介绍179
1.5 赛题初步分析181
2 深度学习基础182
2.1 感知机182
2.2 梯度下降法184
2.3 多层感知机186
2.4 反向传播189
2.5 深度神经网络PyTorch实现189
3 卷积神经网络与数据处理193
3.1 卷积运算与互相关运算193
3.2 卷积神经网络195
3.3 卷积神经网络的反向传播算法198
3.4 卷积神经网络PyTorch实现199
3.4.1 卷积神经网络简单实现示例199
3.4.2 竞赛数据预训练模型202
4 区域卷积神经网络系列算法204
4.1 目标检测的基本概念204
4.2 区域卷积神经网络205
4.3 Fast R-CNN算法210
4.4 Faster R-CNN算法214
4.5 目标检测Faster R-CNN算法实战218
5 实例分割Mask R-CNN算法226
5.1 实例分割226
5.2 Mask R-CNN算法226
5.3 PyTorch实现实例分割230
6 赛题最优算法与提升思路237
6.1 级联区域卷积神经网络237
6.2 目标检测赛题提升思路239
6.3 mm-detection框架下的算法实现241
参考文献242
· · · · · ·
