背景

我们公司项目组用的是elastic的一整套技术栈，es，kibana，filebeat和apm，目前已经可以采集网关+各个微服务的日志。

架构图

现在需要在原来的基础上把nginx这的日志也采集上来，方便做链路跟踪

问题与思路

原先traceId是在网关这层产生并且传递下去，因为nginx并不是java实现，没办法用agent方式处理，那么如何在nginx这层产生traceId 并且传递下去？

想到2种解决办法

nginx在1.11版本之后可以在http的header头设置request。

参考nginx 文档 http://nginx.org/en/docs/http/ngx_http_core_module.html#var_request_id

那么解决起来就简单了，在nginx开始的时候设置requestId，注意header里面的key必须是服务elastic的APM规范，让他可以识别出来是trace id。（这边只是给下思路，并没有实际去操作）

在响应的response设置traceid

因为nginx是在请求结束才打印日志，那么可以在gateway写一个filter，在response设置traceId，然后去nginx就可以获取的到traceid

思路二实战

设置nginx的日志格式

vi /{nginx_home}/conf/nginx.conf

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ''$status $request_time $request_length $bytes_sent $body_bytes_sent ''$http_host $sent_http_traceid ''"$upstream_addr" "$upstream_status" "$upstream_response_time" ''"$http_referer" "$http_user_agent" "$http_x_forwarded_for"';access_log  logs/access.log  main;

设置nginx输出的日志格式 主要关注 $sent_http_traceid 用来获取header里的traceid

修改完文件之后 记得重新加载 ./nginx -s reload

设置filebeat采集nginx日志

filebeat.inputs:
- type: log #多类日志需定义多个typeenabled: truepaths:- D:\nginx-1.23.2\logs\access.*exclude_files: ['\.gz$']encoding: utf-8fields:service_name: test1service_environment: testtype: nginx.access####### nginx error 日志文件 ########
- type: logenabled: truepaths:- D:\nginx-1.23.2\logs\error.*exclude_files: ['\.gz$']encoding: utf-8fields:service_name: test1service_environment: testtype: nginx.error

这边只展示了nginx的日志采集的input，主要是注意修改nginx的日志目录

在网关项目添加代码

添加maven依赖

 <dependency><groupId>co.elastic.apm</groupId><artifactId>apm-agent-api</artifactId><version>1.30.1</version>
</dependency>

增加filter，在请求头添加traceId

import cn.hutool.core.collection.ListUtil;
import co.elastic.apm.api.ElasticApm;
import lombok.extern.slf4j.Slf4j;
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Component;
import org.springframework.web.server.ServerWebExchange;
import org.springframework.web.server.WebFilter;
import org.springframework.web.server.WebFilterChain;
import reactor.core.publisher.Mono;
/*** 设置trace id*/
@Component
@Order(3)
@Slf4j
public class ApmTraceIdFilter implements WebFilter {@Overridepublic Mono<Void> filter(ServerWebExchange exchange, WebFilterChain chain) {String apmTraceId = ElasticApm.currentTransaction().getTraceId();;exchange.getResponse().getHeaders().put("traceid", ListUtil.toList(apmTraceId));log.info("ApmTraceIdFilter设置trace.id:{}",apmTraceId);return chain.filter(exchange);}}

如果WebFilter获取不到trace.id，那么可以试试用spring cloud gateway的 filter
key必须是traceid，和前面nginx的sent_http_traceid有关联

以上都做完各自重启查看效果

最终效果

先查看nginx的日志

很好，已经获取到traceid

然后去kibana看整体的效果

搞定，下班