文章目录 第1步：下载xxl-job源码 第2步：初始化数据库SQL 第3步：配置部署“调度中心” 3.1：修改调度中心配置文件： 3.2：部署调度中心项目 3.3 调度中心集群（可选）： 3.4 其他：Docker 镜像方式搭建调度中心： 第4步： 配置部署“执行器项目” 4.1：部署执行器项目 4.2：测试执行定时任务 总结 本文重点讲解如何快速搭建xxl-job分布式任务调度框架项目，不对xxl-job做深入介绍，如果还不了解该框架的可以移步《xxl-job分布式任务调度框架详解》这篇文章，本文只讲解如何快速搭建xxl-job项目相关的实操步骤，我们一起来看以下。 搭建xxl-job项目xxl-job主要分为4个步骤： 第1步：下载xxl-job源码 首先我们去github或者gitee去下载xxl-job的项目源码，这里我下载2.4.0的版本。以下是下载地址： github:https://github.com/xuxueli/xxl-job gitee:https://gitee.com/xuxueli0323/xxl-job xxl-job官方教程文档：https://www.xuxueli.com/xxl-job/ 下载时选择自己想要的版本，建议是稳定版。 第2步：初始化数据库SQL 接下来，我们需要初始化“调度数据库”，请将下载好的项目源码解压，获取 “调度数据库初始化SQL脚本” 并执行即可，SQL脚本位置在如下： /xxl-job/doc/db/tables_xxl_job.sql 注意： 1）该SQL脚本是mysql数据库脚本，会自动创建名为xxl_job的数据库，表名也都是xxl_job开头的，如果你要修改数据库名称，记得提前改下脚本，初始化后一共8张表如下： 2）另外，调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例，如果mysql做主从,调度中心集群节点务必强制走主库。 第3步：配置部署“调度中心” 接下来我们需要配置部署“调度中心”，调度中心的作用是统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。其实就是我们可视化的后台管理项目，即调度中心项目：xxl-job-admin。 因此，我们需要将源码中xxl-job-admin项目导入IDEA，由于是maven开发的，因此你本地需要配置好maven环境，没配置过的请参考《IntelliJ IDEA如何整合Maven图文教程详解》。 3.1：修改调度中心配置文件： 调度中心配置文件地址： /xxl-job-admin/src/main/resources/application.properties 调度中心配置内容说明： ### 调度中心JDBC链接：链接地址请保持和 2.1章节 所创建的调度数据库的地址一致 spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai spring.datasource.username=root spring.datasource.password=root_pwd spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver ### 报警邮箱 spring.mail.host=smtp.qq.com spring.mail.port=25 spring.mail.username=xxx@qq.com spring.mail.password=xxx spring.mail.properties.mail.smtp.auth=true spring.mail.properties.mail.smtp.starttls.enable=true spring.mail.properties.mail.smtp.starttls.required=true spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory ### 调度中心通讯TOKEN [选填]：非空时启用； xxl.job.accessToken= ### 调度中心国际化配置 [必填]： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文； xxl.job.i18n=zh_CN ## 调度线程池最大线程配置【必填】 xxl.job.triggerpool.fast.max=200 xxl.job.triggerpool.slow.max=100 ### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能； xxl.job.logretentiondays=30 以上配置重点关注jdbc数据库连接相关的内容，比如修改数据库用户名密码，以及报警邮箱相关配置，这里就不再详细展开，大家根据自己的需求配置修改即可。 3.2：部署调度中心项目 在idea中可以直接启动运行该项目，如果已经正确进行上述配置，运行成功会打印如下日志： 10:13:54.594 logback [main] INFO o.s.b.w.e.tomcat.TomcatWebServer - Tomcat started on port(s): 8080 (http) with context path '/xxl-job-admin' 10:13:54.606 logback [main] INFO c.x.job.admin.XxlJobAdminApplication - Started XxlJobAdminApplication in 2.167 seconds (JVM running for 3.881) 10:13:59.003 logback [xxl-job, admin JobScheduleHelper#scheduleThread] INFO c.x.j.a.c.thread.JobScheduleHelper - >>>>>>>>> init xxl-job admin scheduler success. 然后浏览器访问调度中心访问地址：http://localhost:8080/xxl-job-admin(该地址执行器将会使用到，作为回调地址) 默认登录账号 “admin/123456”, 登录后运行界面如下图所示。 如果要上线部署，可将项目编译打包部署即可。以上，我们就将任务调度中心集成好了。 另外补充说明以下两点： 3.3 调度中心集群（可选）： 调度中心支持集群部署，提升调度系统容灾和可用性。 调度中心集群部署时，几点要求和建议： DB配置保持一致； 集群机器时钟保持一致（单机集群忽视）； 建议：推荐通过nginx为调度中心集群做负载均衡，分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。 3.4 其他：Docker 镜像方式搭建调度中心： 参考文章《docker如何部署xxl-job调度中心》 第4步： 配置部署“执行器项目” “执行器”项目其实就是我们下载源码中的：xxl-job-executor-samples项目，这里面有两个“执行器”项目，分别为xxl-job-executor-sample-frameless和xxl-job-executor-sample-springboot。 xxl-job提供2种版本执行器供选择，现以 springboot 版本为例，可直接使用，也可以参考其并将现有项目改造成执行器。 顺便说下执行器项目作用：负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中。 4.1：部署执行器项目 我们使用idea打开xxl-job-executor-samples项目，注意application.properties中xxl.job.admin.addresses配置，调度中心部署根地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行”执行器心跳注册”和”任务结果回调”；为空则关闭自动注册；我们这里默认和之前调度中心地址一致即可。 xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin 然后直接运行xxl-job-executor-springboot项目，发现启动成功。 4.2：测试执行定时任务 接下来，我们测试执行系统默认定时任务，打开调度中心页面，在任务管理中，执行一次，如下图： 我们发现在xxl-job-executor-springboot项目中，打印了如下信息： 10:43:54.772 logback [Thread-8] INFO com.xxl.job.core.server.EmbedServer - >>>>>>>>>>> xxl-job remoting server start success, nettype = class com.xxl.job.core.server.EmbedServer, port = 9999 10:47:23.505 logback [xxl-job, EmbedServer bizThreadPool-303137862] INFO c.x.job.core.executor.XxlJobExecutor - >>>>>>>>>>> xxl-job regist JobThread success, jobId:1, handler:com.xxl.job.core.handler.impl.MethodJobHandler@344426bf[class com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler] 10:49:06.782 logback [xxl-job, JobThread-1-1700189243505] INFO com.xxl.job.core.thread.JobThread - >>>>>>>>>>> xxl-job JobThread stoped, hashCode:Thread[xxl-job, JobThread-1-1700189243505,10,main] 查看调度日志查看发现调度成功： 总结 当然你也可以将下载的整个项目源码导入idea，分别修改配置，然后运行以上的两个子项目，就可以进行搭建测试了。 如果你想将调度执行项目集成到自己的springboot项目中该如何去实现呢？具体的请参考文章《SpringBoot如何集成整合xxl-job任务调度框架》。 以上就是快速搭建搭建xxl-job项目详解的全部内容，希望对你有帮助。 ...

Zookeeper是一个分布式协调服务，可以用来实现分布式锁的功能。 分布式锁是一种控制多个分布式系统之间同步访问共享资源的机制。 Zookeeper实现分布式锁的原理如下：   首先，需要在 Zookeeper 中创建一个持久节点作为锁的根节点，例如 /lock。 然后，每个需要获取锁的客户端都在 /lock 节点下创建一个临时顺序节点，例如 /lock/seq-0000000001。这样可以利用 Zookeeper 的节点唯一性和顺序性特性。 接着，每个客户端都获取 /lock 节点下的所有子节点，并按照序号排序，判断自己创建的节点是否是最小的。如果是，说明获取到了锁，可以执行相关操作。 如果不是最小的，说明没有获取到锁，需要等待。此时，客户端可以监听自己前一个节点的变化（例如删除），一旦监听到事件发生，就重新判断自己是否是最小的节点。 最后，当客户端执行完操作后，需要释放锁，即删除自己创建的临时顺序节点。这样，后面等待的客户端就可以收到通知，继续尝试获取锁。 以上就是 Zookeeper 实现分布式锁的基本原理。 实现方式： 实际开发过程中，可以 curator 工具包封装的API帮助我们实现分布式锁。 <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-recipes</artifactId> </dependency> 1、客户端想要获取锁，就在 Zookeeper 上创建一个临时的、有序的节点，这个节点相当于一把锁。  2、客户端查看 Zookeeper 上所有的节点，按照顺序排列，看看自己创建的节点是不是最小的。  3、判断是否获得锁，如果是读操作，只要自己前面没有写操作的节点，就可以获取锁，然后开始执行读逻辑。如果是写操作，只有自己是最小的节点，才可以获取锁，然后开始执行写逻辑。  4、如果没有获取到锁，就要等待。如果是读操作，就监听自己前面最近的一个写操作的节点。如果是写操作，就监听自己前面最近的一个节点。一旦监听到这个节点被删除了，就重新判断是否可以获取锁。 Curator 的几种锁方案 ： 1、InterProcessMutex：分布式可重入排它锁2、InterProcessSemaphoreMutex：分布式排它锁3、InterProcessReadWriteLock：分布式读写锁下面例子模拟 50 个线程使用重入排它锁 InterProcessMutex 同时争抢锁： 实例: public class InterprocessLock { public static void main(String[] args) { CuratorFramework zkClient = getZkClient(); String lockPath = "/lock"; //通过InterProcessMutex创建分布式锁 InterProcessMutex lock = new InterProcessMutex(zkClient, lockPath); //模拟50个线程抢锁 for (int i = 0; i < 50; i++) { new Thread(new TestThread(i, lock)).start(); } } static class TestThread implements Runnable { private Integer threadFlag; private InterProcessMutex lock; public TestThread(Integer threadFlag, InterProcessMutex lock) { this.threadFlag = threadFlag; this.lock = lock; } @Override public void run() { try { lock.acquire(); System.out.println("第"+threadFlag+"线程获取到了锁"); //等到1秒后释放锁 Thread.sleep(1000); } catch (Exception e) { e.printStackTrace(); }finally { try { lock.release(); } catch (Exception e) { e.printStackTrace(); } } } } private static CuratorFramework getZkClient() { String zkServerAddress = "127.0.0.1:2181"; ExponentialBackoffRetry retryPolicy = new ExponentialBackoffRetry(1000, 3, 5000); CuratorFramework zkClient = CuratorFrameworkFactory.builder() .connectString(zkServerAddress) .sessionTimeoutMs(5000) .connectionTimeoutMs(5000) .retryPolicy(retryPolicy) .build(); zkClient.start(); return zkClient; } } </div> ...

文章目录 前言 1、ELK概述 2、环境&版本 3、Elasticsearch 3.1、下载Elasticsearch 3.2、安装Elasticsearch 3.3、配置Elasticsearch 3.4、启动Elasticsearch 4、Logstash 4.1、下载Logstash 4.2、安装Logstash 4.3、配置Logstash 4.4、启动Logstash 5、Kibana 5.1、下载Kibana 5.2、安装Kibana 5.3、配置Kibana 5.4、启动Kibana 6、SpringBoot集成ELK 6.1、添加依赖 6.2、修改Logback配置 6.3、启动SpringBoot项目 6.4、在Kibana中查看日志 总结 前言 本文详细介绍了在CentOS 7操作系统上搭建ELK以及在SpringBoot项目中整合ELK的步骤。以下内容来自掘金用户汪小成。 1、ELK概述 ELK代表Elasticsearch、Logstash和Kibana三个开源项目的首字母缩写。这三个项目共同构成了一个成熟且强大的实时日志集中处理方案。在这个方案中，Logstash用于日志收集，Elasticsearch则用于数据存储和索引，而Kibana则提供了一个直观的可视化界面，用于查看存储在Elasticsearch中的日志数据。 2、环境&版本 服务器系统版本、JDK版本、ELK版本信息如下： 环境 版本 端口号 Centos 7.9   JDK 1.8   Elasticsearch 7.2.1 39100 Logstash 7.2.1 39102 Kibana 7.2.1 39101 Elasticsearch、Logstash和Kibana三个开源项目都需要在Java环境下运行，所以需要提前在服务器上安装JDK。 centos的环境搭建的JDK1.8。本文中没有讲述JDK的安装，有需要的朋友可以参考《Centos7 安装JDK1.8》文章。 3、Elasticsearch 3.1、下载Elasticsearch $ wget –c https://mirrors.huaweicloud.com/elasticsearch/7.2.1/elasticsearch-7.2.1-x86_64.rpm 为了更快的下载速度，我选择在华为开源镜像站下载Elasticsearch。 3.2、安装Elasticsearch $ rpm -ivh elasticsearch-7.2.1-x86_64.rpm 3.3、配置Elasticsearch Elasticsearch配置文件位置：/etc/elasticsearch。 进入配置文件所在文件夹： $ cd /etc/elasticsearch 备份配置文件（非必要）： $ cp elasticsearch.yml elasticsearch.backup.yml 使用vim打开elasticsearch.yml配置文件，按下i进入编辑模式。修改内容如下： network.host: 0.0.0.0 http.port: 39100 discovery.seed_hosts: ["127.0.0.1:39100"] 配置项说明： network.host用于设置绑定的主机地址，可以是IP地址或主机名。http.port用于设置监听的HTTP端口，出于一些特殊原因，我将elasticsearch的端口号由默认的9200修改为39100。discovery.seed_hosts用于设置集群节点的种子主机地址，用于节点发现和加入集群。 3.4、启动Elasticsearch # 启动Elasticsearch $ sudo systemctl start elasticsearch 将Elasticsearch设置为开机启动（非必要）： # 将Elasticsearch设置为开机自启 $ sudo systemctl enable elasticsearch 查看Elasticsearch的运行状态： $ sudo systemctl status elasticsearch 或者，使用如下命令检查Elasticsearch是否启动成功： # 检查Elasticsearch是否启动成功 $ netstat -antp | grep 39100 待Elasticsearch启动成功后，可以使用curl命令来测试Elasticsearch是否正常运行。例如： $ curl http://127.0.0.1:39100 如果返回类似以下内容，说明Elasticsearch已经成功运行： { "name" : "localhost.localdomain", "cluster_name" : "elasticsearch", "cluster_uuid" : "NqlpN5iJQmeSV_TvHqPo6w", "version" : {   "number" : "7.2.1",   "build_flavor" : "default",   "build_type" : "rpm",   "build_hash" : "fe6cb20",   "build_date" : "2019-07-24T17:58:29.979462Z",   "build_snapshot" : false,   "lucene_version" : "8.0.0",   "minimum_wire_compatibility_version" : "6.8.0",   "minimum_index_compatibility_version" : "6.0.0-beta1" }, "tagline" : "You Know, for Search" } 最后，使用如下命令修改Centos防火墙配置开放端口号供外访问： $ sudo firewall-cmd --zone=public --add-port=39100/tcp --permanent 重新加载防火墙规则以使更改生效： $ sudo firewall-cmd --reload 4、Logstash 4.1、下载Logstash 在华为开源镜像站下载Logstash： $ wget –c https://repo.huaweicloud.com/logstash/7.2.1/logstash-7.2.1.rpm 4.2、安装Logstash $ rpm -ivh logstash-7.2.1.rpm 4.3、配置Logstash 在/etc/logstash/conf.d文件夹下创建logstash.conf配置文件，配置文件内容如下： input {   tcp {       host => "0.0.0.0"       port => 39102       mode => "server"       codec => json_lines   } } output {   elasticsearch {       hosts => "localhost:39100"       index => "%{[appname]}-%{+YYYY.MM.dd}"   } } 配置说明： input – 用于定义数据的输入源，即Logstash的数据来源。 tcp – 用于指定Logstash监听指定的IP和端口，接收 TCP 连接传入的数据。 host – 监听的主机IP地址，这里的0.0.0.0表示监听所有可用的网络接口。 port – 监听的端口号。我这里将端口号由默认的9600改为了39102。 mode – 连接模式。 codec – 数据编码解码方式，json_lines表示接收到的数据将以JSON行的形式解析。 output – 用于定义数据的输出目录。 elasticsearch – 表示将数据输出到Elasticsearch集群。 hosts – 用于设置Elasticsearch集群的主机地址和端口号。 index – 用于指定Elasticsearch索引的名称。这里使用 %{[appname]} 表示索引名称从数据中的appname字段获取。%{+YYYY.MM.dd}表示在索引中包含日期信息。 4.4、启动Logstash $ sudo systemctl start logstash 最后，使用如下命令修改Centos防火墙配置开放端口号供外访问： $ sudo firewall-cmd --zone=public --add-port=39102/tcp --permanent 重新加载防火墙规则以使更改生效： $ sudo firewall-cmd --reload 5、Kibana 5.1、下载Kibana $ wget –c https://repo.huaweicloud.com/kibana/7.2.1/kibana-7.2.1-x86_64.rpm 5.2、安装Kibana $ rpm -ivh kibana-7.2.1-x86_64.rpm 5.3、配置Kibana 进入/etc/kibana文件夹，修改kibana.yml配置文件中如下内容： server.port: 39101 server.host: "0.0.0.0" elasticsearch.hosts: ["http://localhost:39100"] i18n.locale: "zh-CN" 配置说明： server.port – 用于指定Kibana服务监听的端口号，这里我将端口号由默认的5601改成了39101。 server.host – 用于指定Kibana服务监听的主机地址。”0.0.0.0″表示监听所有可用的网络接口，即可以从任意IP地址访问Kibana。 elasticsearch.hosts – 用于设置Elasticsearch集群的主机地址和端口号。 i18n.locale – 用于设置界面语言，这里将界面语言设置成了中文。 5.4、启动Kibana $ sudo systemctl start kibana 最后，使用如下命令修改Centos防火墙配置开放端口号供外访问： $ sudo firewall-cmd --zone=public --add-port=39101/tcp --permanent 重新加载防火墙规则以使更改生效： $ sudo firewall-cmd --reload 6、SpringBoot集成ELK Spring Boot应用输出日志到ELK的大体流程如下图所示：说明： Spring Boot应用产生日志数据，使用Logback日志框架记录日志。 Logstash作为日志收集器，接收Spring Boot应用发送的日志数据。 Logstash解析和过滤日志数据，可能会对其进行格式化和处理。处理后的日志数据被发送到Elasticsearch，Elasticsearch将日志数据存储在分布式索引中。 Kibana连接到Elasticsearch，可以查看存储在Elasticsearch中的日志数据。 6.1、添加依赖 修改pom.xml文件，添加如下配置： dependency>    groupId>net.logstash.logbackgroupId>    artifactId>logstash-logback-encoderartifactId>    version>7.2version> dependency> 6.2、修改Logback配置 修改Logback的配置文件： + +   +   60.211.159.140:39102 +   +   +       +       {"appname":"spring-boot-elk"} +   +   +     6.3、启动SpringBoot项目 这一步，我就不废话了。 6.4、在Kibana中查看日志 1、在浏览器地址样中输入服务器IP+Kibana端口号 –> 点击管理 –> 点击索引模式 –> 点击创建索引模式。2、输入索引模式名称 –> 点击下一步。3、设置时间筛选字段名称，我这里没有使用时间筛选。4、点击Discover图标就可以看到Spring Boot项目输出的日志了。 总结 以上就是作者分享的CentOS7搭建Spring Boot项目整合ELK环境全部内容详解，希望对你有帮助！ ...