1. 数据采集层
在大数据中，数据采集层由与数据直接相连的模块组成来源。负责近实时或实时采集数据源中的数据。
数据源具有分布式、异构、多样化和流式生成的特点：
分布式：数据源通常分布在不同的机器或设备上，并通过网络连接在一起。
异构性：任何可以生成数据的系统都可以称为数据源，例如网络服务器、数据库、传感器、手环、摄像机等。
多样性：数据格式是从用户基本信息等关系数据到图片、音频、视频等非关系数据。
流式生成：数据源就像一个“水龙头”，会源源不断地产生“流水”（数据），数据采集系统要实时或近地将数据发送到后端实时分析数据。
由于上述数据源的特点，通常很难从分散的数据源中收集数据。一个适用于大数据领域的采集系统一般具有以下特点：
可扩展性：可以灵活适应不同的数据源，可以访问大量的数据源而不会造成系统瓶颈。可靠性：数据在传输过程中不会丢失（部分应用可以容忍少量数据丢失）。
安全性：对于一些敏感数据，应该有机制保证在数据收集过程中不会出现安全风险。
低延迟：数据源产生的数据量往往非常大，采集系统应该能够以低延迟将数据传输到后端存储系统。
为了让后端能够获得全面的数据进行关联分析和挖掘，我们通常建议将数据收集在一个集中的存储系统中。
2.数据存储层
数据存储层主要负责海量结构化和非结构化数据的存储。传统的关系型数据库（如MYSQL）和文件系统（如Linux文件系统）由于存储容量、扩展性、容错性等方面的限制，难以适应大数据应用场景。
大数据时代，由于数据采集系统会不断地将各种数据发送到中心化存储系统，对数据存储层的可扩展性、容错性和存储模型有很高的要求. ，总结如下：
可扩展性：在实际应用中，数据量会不断增加，现有集群的存储容量很快就会达到上限。这时候就需要增加新的机器来扩大存储容量。这就要求存储系统本身具有很好的线性可扩展性。
容错性：考虑到成本等因素，大数据系统从一开始就假设建立在廉价机器上，这就要求系统本身具有良好的容错机制，以确保数据不会机器出现故障时造成丢失。
存储模型：由于数据的多样性，数据存储层应支持多种数据模型，以确保结构化和非结构化数据可以轻松保存。
以上是对大数据中不同环节面临的挑战的讲解。想了解更多详情，请点击成都佳米谷大数据官网！，大数据开发培训，数据分析与挖掘，零基础班本月招生，课程大纲和试听视频可联系客服索取！
