本书对应《大数据工程技术人员国家职业技术技能标准》，“大数据处理与应用”部分，是相关从业者职业培训以及专业技术考核的推荐辅导用书。主要内容包括：数据管理与数据治理、元数据管理、数据质量管理、大数据安全与审计技术、大数据管理实施与评估等。充分体现大数据行业特色，是培训考核命题的基础素材，也将作为专业水平考核评价的重要参考。《教程》开发工作坚持以下原则：（一）科学性。充分考虑大数据技术发展现状和趋势，注重大数据工程技术人员知识要求的基础性，尊重客观规律、循序渐进，体现大数据工程技术人员学习特点、知识发展要求和能力发展特点。（二）针对性。根据不同专业等级大数据工程技术人员岗位职责与能力要求，围绕大数据工程技术人员应当具备的知识，以及大数据处理与应用，大数据分析与挖掘和大数据管理等方面的专业知识，有针对性地安排内容。（三）系统性。体现大数据多学科交叉的特点，考虑基础知识与专业知识之间的关系，在目标、要求、内容等方面形成完整的系统。（四）实用性。充分考虑实际应用价值，为在全国范围内迅速推开大数据工程技术人员培训，以及开展专业能力水平评价的有关探索，进而与工程师职称制度衔接等，提供支撑和帮助

第一章大数据应用开发001
第一节应用服务开发003
第二节系统测试026
第二章大数据系统搭建033
第一节硬件系统搭建035
第二节软件系统部署055
第三章大数据平台管理与运维065
第一节平台管理067
第二节系统运维077
第三节安全维护086
第四章大数据技术服务(技术咨询)091
第五章大数据处理与应用107
第一节数据采集109
第二节数据建模142
第三节数据预处理176
第四节数据计算208
第五节数据查询226
参考文献257
后记259