提示：本文共有 8132 个字，阅读大概需要 17 分钟。
Apache Pulsar geo-replication多集群跨地域复制功能
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。
Apache Pulsar 内置了多集群跨地域复制的功能，geo-replication 是指把分散在不同物理地域的集群通过一定的配置方式让其能在集群之间进行数据的相互复制。
根据消息是否为异步读写的维度，跨地域复制可以分为如下两种方案：同步模式和异步模式。
当前拥有两个集群，分别部署在北京和上海，当用户在北京的集群中使用 producer 发送数据时，首先会发送到北京机房的本地集群中（topic1）与此同时会去创建一个 replication cursor，用于专门复制数据的一个游标，通过这个 cursor 信息，你可以判断当前数据究竟复制到哪一个阶段。
同时会去创建 replication producer，它会把数据从北京机房的 topic1 中读取数据，然后将数据写到上海机房的 topic1 中，上海机房的 broker 收到 producer 的请求之后，会写到本地相同的 topic 中来（topic1）。
此时如果上海机房的用户开启 consumer 去消费数据的话，会接收到由北京机房 producer 生产的数据信息。
#NVIDIA大讲堂##NVIDIA#NVIDIA大讲堂 | 什么是 APACHE SPARK？（十六）助力数据科学团队
Spark 专为跨大型数据集的迭代查询而构建。与 Hadoop/MapReduce 相比，其速度快达 100 倍，迅速获得了数据科学家的青睐。Spark 还可轻松适应 Python、R 和 Scala 等面向数据科学的开发语言。由于大多数数据科学家都习惯于使用单个编程工具，因此 Spark 能够轻松适应个人需求。
Spark SQL 还引入了名为 DataFrame 的数据抽象概念，该概念支持结构化和半结构化数据，并且支持多语言操作。通过这种概念，熟悉的 SQL 语言能够以新方式应用于非结构化数据。Spark ML 提供了一套统一的高级别 API，这些 API 基于 DataFrame 构建，用于搭建 ML 流程或 ML 工作流程。基于 DataFrame 构建 ML 流程可实现分区数据处理的可扩展性，且便于通过 SQL 进行数据操作。
ShenYu（神禹）正式成为Apache顶级项目，高性能API网关又添一员！
7月26日，Apache发布博客，宣布ShenYu网关正式毕业成为Apache顶级项目的一员。
ShenYu网关是Dromara/soul 网关捐献给Apache基金会后改名而来，是一个使用Java reactor编程方式开发的，具有异步，高性能，跨语言等特性的 API 网关，可以用于服务代理、协议转换和API治理，目前已经在京东、腾讯、滴滴等众多公司内应用。
ShenYu网关支持多协议、熔断、限流、鉴权、监控、参数配置、黑白名单等功能，具备精美的管理后端，从功能上来说已经很完备，并且易用性和性能上优势明显。
ShenYu的特点有：
1、丰富的协议支持
支持 Dubbo，Tars，Spring-Cloud，gRPC等，支持协议转换。
2、插件化的架构设计
这是我觉得ShenYu最出彩的地方了，以插件的形式，功能能快速进行扩展，支持插件热插拔。
3、完善的流量控制功能
灵活的流量筛选，能满足各种流量控制。
4、内置插件满足大多数场景
内置丰富的插件支持，能够满足鉴权，限流，熔断，防火墙等常用的功能。
5、高性能
性能极高，在服务代理转发场景下网关消耗只需要在 1~2ms。
6、支持高可用和灰度发布
支持集群部署，保障容灾切换，支持A/B Test和蓝绿发布。
#头号周刊#
1、Apache OpenMeetings 6.1.0 发布，开源线上会议系统
Apache OpenMeetings 6.1.0 现已发布。Apache Openmeetings 提供视频会议、即时通讯、白板、协作文档编辑等组件软件工具，使用 Kurento Media Server 的 API 功能来实现远程传输和流传输。
2、Apache HBase 1.7.1 发布，分布式存储系统
Apache HBase 1.7.1 已经发布。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。
3、Grafana 8.1.0-beta1 发布，系统指标监控与分析平台
Grafana 8.1.0-beta1 现已发布。Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB。
4、WinSCP 5.19.2 发布，Windows 图形化 SFTP 客户端
WinSCP 是一个 Windows 环境下使用的 SSH 的开源图形化 SFTP 客户端，同时支持 SCP 协议，它的主要功能是在本地与远程计算机间安全地复制文件，并且可以直接编辑文件。
5、Spring Boot 2.6.0-M1 已发布
Spring Boot 项目旨在简化创建产品级的 Spring 应用和服务。你可通过它来选择不同的 Spring 平台。可创建独立的 Java 应用和 Web 应用，同时提供了命令行工具来允许 'spring scripts'.
6、Masterlab-docker 1.4.1 发布，基于 Docker 方式部署 Masterlab
MasterLab是一款简单高效、基于敏捷开发的项目管理工具，以事项驱动和敏捷开发最佳实践作为设计思想，同时参考了Jira和Gitlab优秀特性发展而来，适用于互联网团队进行高效协作和敏捷开发，交付极致卓越的产品。
7、Eurynome Cloud v2.5.3.40 发布，企业级技术中台微服务架构
Eurynome Cloud是前后端分离、分布式的企业级微服务系统架构和微服务能力开发平台。基于Spring Boot 2.5.1、Spring Cloud .0.3、Spring Cloud Alibaba .1、Nacos 2.0.1等最新版本开发，遵循SpringBoot编程思想，高度模块化和可配置化；同时支持分布式架构和单体式架构且可无缝切换。具备完备的RBAC功能，统一服务网关，统一认证权限方案，服务熔断、限流、降级、灰度发布、分布式多级缓存，分布式对象存储，分布式事务管理，分布式定时任务，分布式工作流，服务调用链监控，服务吞吐量监控，服务运行状态监控，应用拓扑结构分析，统一配置中心，日志聚合分析中心，动态网关路由，第三方社交登录，手机验证码登录，统一错误处理，自定义错误码体系，动态文档聚合，权限动态分析汇总，配置文件、数据模型自动初始化等功能。集成小程序、内容审核、证照识别、消息推送、社交登录、多通道短信等丰富的第三方技术支持。代码简洁，架构清晰，非常适合学习和企业作为基础框架使用，助力企业数字化转型。
Dromara开源社区的Soul网关经过Apache Incubator的投票，正式步入Apache基金会孵化器。
Soul网关是一款异步的，高性能的，跨语言的，响应式的API网关。支持各种语言,无缝集成Dubbo,SpringCloud，以及http服务。
提供了诸如限流、熔断、转发 、重写、重定向、和路由监控等插件；
支持 HTTP、RESTFul、WebSocket、Dubbo、 GRPC、 Tars、 Spring Cloud 代理；
支持热插拔，用户可以定制化开发；
为了灵活的适配，选择器和规则可以动态的适配；
支持集群部署；
支持 A/B 测试和灰度发布。
在北京时间5月3日，ShenYu项目（原Dromara开源社区的Soul网关）经过Apache Incubator的投票，正式进入Apache基金会孵化器。
在项目开发的过程中，经常会有跨服务的数据交互，而开源项目 Apache CXF很好的支持了这个场景。
Apache CXF 简单介绍
1、Apache CXF 目标
高性能
易扩展
直观易用
2、Apache CXF 特性
对 Web Services 标准的支持
对前端编程模型的支持
对REST 的支持
3、Apache CXF 支持的标准
JSR标准的支持
传输标准、协议绑定、数据绑定、格式等标准的支持
灵活部署的支持
对多种编程需要的支持
你们都使用什么方式进行跨服务的数据交互呢？#JAVA# #开源软件# #程序员#
1、Spring Framework 5.3.10 & 5.2.17 发布
Spring Framework 是一个开源的Java/Java EE全功能栈（full-stack）的应用程序框架，以Apache许可证形式发布，也有.NET平台上的移植版本
2、FileZilla Server 1.0.0 发布，开源 FTP 服务器
FileZilla Server 是一个免费开源的 FTP 和 FTPS 服务器，能够提供与服务器的安全加密连接。Filezilla Server 没有实现对 SFTP（SSH 文件传输协议）的支持。
3、Ant Design Mobile 5.0.0-beta.7 发布，AntD 移动端设计规范
Ant Design Mobile 5.0.0-beta.7 发布了。Ant Design Mobile 即 Ant Design 移动端设计规范，antd-mobile 是 Ant Design 的移动规范的 React 实现，服务于蚂蚁及口碑无线业务。
4、Apache Dubbo 2.7.14 发布，分布式 RPC 服务框架
Apache Dubbo 2.7.14 已发布，这是一款高性能、轻量级的开源 Java RPC 框架，它提供了三大核心能力：面向接口的远程方法调用、智能容错和负载均衡，以及服务自动注册和发现。
5、Apache DolphinScheduler 1.3.8 Docker 镜像发布
在 1.3.8 版本中，我们在 Docker&k8s 这里做了许多优化，Docker镜像支持ARM64，系统默认参数优化等等，同时对于一些用户体验的问题做了相关优化，欢迎关注这个版本。
6、rtty 7.5.0 发布，在任何地方通过 Web 访问您的终端
rtty，远程tty，反向代理tty，Web控制台，远程调试维护神器。
通过Web浏览器访问你的终端。项目名称里面的“r”是指“反向代理”或者“远程”。它由客户端和服务端组成。 你可以根据MAC地址通过Web浏览器访问你的任意一台终端。
rtty非常适合远程维护你的或者你公司的部署在全球各地的成千上万的Linux设备。
7、Fizz Gateway 2.3.0 发布，独家微服务文档特性上线
An Aggregation API Gateway in Java . Fizz Gateway 是一个基于 Java开发的微服务聚合网关，能够实现热服务编排聚合、自动授权选择、线上服务脚本编码、在线测试、高性能路由、API审核管理、回调管理等目的，拥有强大的自定义插件系统可以自行扩展，并且提供友好的图形化配置界面，能够快速帮助企业进行API服务治理、减少中间层胶水代码以及降低编码投入、提高 API 服务的稳定性和安全性。
11.3K Star，Pulsar真的要取代Kafka了？
Apache Pulsar是Apache软件基金会下的支持多租户、高性能的分布式发布-订阅消息系统，其原来是由雅虎开发，后来在Apache孵化，由StreamNative公司负责商业化运营。
Pulsar开源以后活跃度非常好，目前在github上有563个contributor，Star数量达到了11.3K，在GitHub上活跃度排名一度排在前列。
Pulsar一直被拿来和Kafka对比，Kafka是目前应用最为广泛的消息队列，背后同样有Confluent公司在进行商业化运营，靠着Kafka其估值一度达到几十亿美元，这够吸引人了的吧？
虽然没有明说，但是Pular就是奔着Kafka来的，今年Pulsar的一个子项目：Kop（Kafka on Pulsar）更是为了方便用户在当前使用kafka的前提下应用上Pulsar的能力，那么Pulsar对比Kafka究竟有哪些优势，能够替代Kafka的地位吗？
Pulsar的优势：
1、Pulsar支持传统消息队列和流的模式，Kafka更多只是面向流的模式；
2、Pulsar的计算和存储分离，broker不保存具体的数据，而是由底层的BooKeeper负责存储，Kafka则完全依赖broker的本地磁盘，在云原生的场景下Pulsar的优势比Kafka更强，可以更容易扩展存储资源；
3、Pulsar的broker是无状态的，而Kafka的broker包含了分区所有日志，是有状态的，在横向扩展性方面Pulsar更胜一筹；
4、Kafka原生不支持跨域复制，需要通过双写等方式实现容灾，而Pulsar原生支持跨域复制，在容灾建设方面Pulsar更胜一筹，这在金融行业应用里面是特别重要的因素。
Kafka的优势：
1、最新版去除了zookeeper的依赖，部署运维更加简单，并且原来基于zookeeper的性能问题得到解决，流式处理的性能上不劣于Pulsar，运维上比Pulsar更简单；
2、Kafka用于群体非常大，经过长时间的生产使用，稳定性高，各类问题解决方案多；
3、在非超大型的消息集群的情况下， Kafka broker基于本地磁盘的模式非常简单，并且性能也很高，能够支持大多数的场景；
综上，谈Pulsar替代Kafka还有很长的一段路，只能说在云原生模式下，在一些超大规模特定业务场景下Pulsar有其优势，但在大多数情况下kafka能够非常好地支持系统建设的需要，目前kafka遇到的问题说不定也慢慢被解决，所以至少相当长的时间内两者会并存。我希望看到这种情况，Pulsar的出现会倒逼着Kafka变得更好。
#谣零零计划#
Apache Atlas - 强大的元数据管理工具
Atlas是Hadoop的数据治理和元数据框架。
Atlas是一组可扩展的核心基础治理服务，使企业能够高效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。
Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。
Atlas官网地址：网页链接
Atlas由元数据的收集，存储和查询展示三部分核心组件组成。此外，还会有一个管理后台对整体元数据的采集流程以及元数据格式定义和服务的部署等各项内容进行配置管理。
Atlas包括以下组件：
* Core。Atlas功能核心组件，提供元数据的获取与导出(Ingest/Export)、类型系统(Type System)、元数据存储、索引查询等核心功能。
* Integration。Atlas对外集成模块。外部组件的元数据通过该模块将元数据交给Atlas管理。
* Metadata source。Atlas支持的元数据数据源，以插件形式提供。
在Github上看到superset这个项目已经有快50K star了，成长飞速。
前几天朋友和我提到，才想起来superset这个开源BI平台，之前是Airbnb内部的可视化工具，后来成为 Apache开源家族中的一员。
说到BI工具，很容易想到Tableau、PowerBI，那么superset相比较这两个热门软件有什么优势和劣势呢？我觉得主要有5点：
1、superset是基于Python语言开发的，能很好地支持Python各种拓展库，适合Python程序员去做二次订制开发。这一点对于广大Python爱好者来说，非常适合做个人或组织可视化平台。
2、superset是轻量级BI平台，基于浏览器做展示。对比Tableau等动不动上GB的应用，superset占用内存小，可以快速开发Dashboard和分析数据。
3、superset支持SQL查询，避免再次去学习新函数，且支持几十种主流数据库接口，云部署能力也很强大。
4、superset能完美支持Echarts图表，可视化能力很强大，因为它们同属于Apache的开源项目。
5、superset的缺点也很明显，不好安装，上手门槛高，文档少，多表复杂联动分析能力一般，大数据处理效率不高。
总而言之，superset还是适合去做企业级BI的，自定义功能符合大部分数据分析展示需求，不少大公司都在使用，比如Airbnb、DropBox、Udemy、Shopee等。最重要的是superset是开源免费的！！！
#编程# #数据分析# #大数据#
#好书推荐##好书奇遇季#《Python大数据处理库PySpark实战》京东当当天猫都有发售。
Apache Spark为Python开发人员提供的编程API接口，以便开发人员用Python语言对大数据进行分布式处理，可降低大数据处理的门槛。
PySpark优势有哪些？首先PySpark是基于Python语言的，简单易学。其次，PySpark可以非常方便地对大数据进行处理，其中可用SQL方便地从Hadoop、Hive及其他文件系统中读取数据并进行统计分析。最后，PySpark编写的大数据处理程序，容易维护，且部署方便。
PySpark可以从多种数据源中读取数据，并可以对数据进行统计分析和处理，其中包括批处理、流处理、图计算和机器学习模型构建等。它还可以将数据处理的结果持久化到多种文件系统中，为大数据UI展现提供数据支持。PySpark比Java/Scala更容易学习，借助IDE开发工具，可以非常方便地进行代码编写和调试。
如果你对大数据处理有一定兴趣，了解基本的编程知识，立志构建大数据处理的相关应用，那么本书将适合你。本书作为PySpark的入门教材，由浅入深地对PySpark大数据处理方法进行介绍，特别对常用的操作、ETL处理和机器学习进行详细的说明，最后结合实战项目将各个知识点有机整合，做到理论联系实际。
本书分为7章，第1章介绍大数据的基本概念、常用的大数据分析工具；第2章介绍Spark作为大数据处理的特点和算法；第3章介绍Spark实战环境的搭建，涉及Windows和Linux操作系统；第4章介绍如何灵活应用PySpark对数据进行操作；第5章介绍PySpark ETL处理，涉及PySpark读取数据、对数据进行统计分析等数据处理相关内容；第6章介绍PySpark如何利用MLlib库进行分布式机器学习（Titanic幸存者预测）；第7章介绍一个PySpark和Kafka结合的实时项目。
美团点评：为什么选择Apache Doris？
对我们用户来说，Doris 的优点是功能强大，易用性好。 功能强大可以满足我们用户的需求，易用性好主要指 兼容 MySQL 协议和语法，以及 Online Schema Change。
兼容 MySQL 协议和语法让用户的学习成本和开发成本很低， Online Schema Change 也是一个很吸引人的功能特性，因为在业务快速发展和频繁迭代的情况下，Schema 变更会是一个高频的操作。
对我们平台侧来说，Doris 的优点是易运维，易扩展和高可用：
* 易运维指 Doris 无外部系统依赖，部署和配置都很简单。
* 易扩展指 Doris 可以一键加减节点，并自动均衡数据。
* 高可用值 Dors 的 FE 和 BE 都可以容忍少数节点挂掉。
看到此处说明本文对你还是有帮助的，关于“从零开始：使用Apache配置搭建网站 轻松创建您的在线空间”留言是大家的经验之谈相信也会对你有益，推荐继续阅读下面的相关内容，与本文相关度极高！
