1、如果你经常使用手机上网，可能会注意到一个现象：你在聊天软件上和朋友讨论某个商品后，购物软件开始给你推送相关广告。同样的事情也可能发生在视频软件上。这时，你可能会担心自己的隐私是否被泄露。 实际上，这些软件之间存在数据合作。
2、数据安全问题：- 大数据系统可能遭受异常攻击，从而引发安全风险。- 数据泄露的风险始终存在，可能导致敏感信息外泄。- 在大数据传输过程中，安全隐患可能被忽视，为攻击者提供可乘之机。- 数据在存储和管理阶段也可能遭遇风险，比如不当的数据处理和存储技术缺陷。
3、我们的隐私正在被透明化，这是大数据时代的一个弊端。你是否有过这样的经历：早上还在用浏览器搜索“女生喜欢什么样的口红”，中午就看到了推送的口红广告；刚和朋友打电话说旅行需要什么背包，打开购物网站就看到了旅行包的推荐。
4、电话号码、邮箱等个人信息，有时甚至需要进行实名认证，包括身份证号码和面部识别。这些信息被存储在所谓的“云端”，而一旦被不良商家获取并出售，我们在信息时代的隐私就会受到严重威胁，就像在公共场合“裸奔”一样。
1、大数据平台的核心使命，是通过数据采集、存储（Apache Hadoop与HDFS）、计算（MapReduce、Hive、SQL）和精细管理，构建起数据处理的坚实基础。存储与力量的交汇点 - Hadoop：作为分布式存储和计算的中坚力量，它通过HDFS提供海量数据的存储，而Hive则巧妙地引入SQL接口，让复杂的数据操作变得直观易行。
2、Kafka是一个分布式流处理平台，主要用于构建实时数据流管道和应用。它提供了高吞吐量、可扩展性和容错性，允许发布和订阅记录流。Kafka常用于实时日志收集、消息传递等场景，与Hadoop和Spark等大数据框架结合使用，可以实现高效的数据处理和分析流程。
3、分布式处理技术 分布式处理技术允许将多台计算机通过通信网络连接起来，这些计算机可以在不同地点、具有不同功能或存储不同数据。在统一的管理控制下，这些系统能够协同工作，完成信息处理任务。例如，Hadoop就是一个分布式处理框架。
4、Hadoop Hadoop是一个开源的大数据处理框架，主要用于处理和分析大规模数据集。它提供了分布式文件系统和MapReduce编程模型，可以处理海量数据的存储和计算需求。Hadoop的分布式架构使得它能够处理数千个节点的集群环境，广泛应用于大数据处理和分析领域。 Spark Apache Spark是另一个流行的大数据处理框架。
5、大数据处理架构的分类与特点 仅批处理框架：Apache Hadoop - 特点：适用于对时间要求不高的非常大规模数据集，通过MapReduce进行批处理。- 优势：可处理海量数据，成本低，扩展性强。- 局限：速度相对较慢，依赖持久存储，学习曲线陡峭。
消费者组的概念就是：当有多个应用程序都需要从Kafka获取消息时，让每个app对应一个消费者组，从而使每个应用程序都能获取一个或多个Topic的全部消息；在每个消费者组中，往消费者组中添加消费者来伸缩读取能力和处理能力，消费者组中的每个消费者只处理每个Topic的一部分的消息，每个消费者对应一个线程。
consumer group是kafka提供的可扩展且具有容错性的消费者机制。它是由一个或者多个消费者组成，它们共享同一个Group ID. 组内的所有消费者协调在一起来消费订阅主题（subscribed topics）的所有分区（partition）。当然，每个分区只能由同一个消费组内的一个consumer来消费。
消费者：订阅并消费kafka消息，从属于消费者组 消费者组：一个群组里的消费者订阅的是同一个主题，每个消费者接受主题一部分分区的消息。注：同一个消费者可以消费不同的partition，但是同一个partition不能被不同消费者消费。
