Fluented,fluented-ESG跨境

Fluented,fluented

有香味的

也许你听说过Fluentd的统一日志层。也许您已经熟悉了日志是流而不是文件的概念，所以现在让我们以这种方式来考虑日志层。

其实最后决定性的一点是fluentd怎么配置。这都是关于我们如何处理流的不同元素:我们从哪里获得数据，当我们获得数据时我们用它做什么，我们将处理过的数据发国际快递哪里，以及当它们在发快递过程中时我们用它做什么。在这篇博客中，我们将回顾这些概念，并将它们应用到以下案例中:

1.Log从Docker容器输出命令(但是在容器挂起时保留配置)

2.处理JSON日志

3.将信息按等级分类。

4.将数据流分离到两个目的地。

原来Google云平台和Kubernetes已经默认包含fluentd日志层输出。通过这种方式，您可以准确地完成这些事情，但首先，让我们来看看fluentd.conf文件中的说明:

1.源指令决定输入源。

2.匹配指令决定输出目的地。

3.filter指令确定事件处理管道。

4.系统指令设置系统范围的配置。

5.label指令对内部路由和过滤器的输出进行分组。

6.include指令包括其他文档。

基本方案(用于记录Docker标准输出命令)

现在，对于我们的目标，我们将主要考虑源代码和匹配指令。下面是一个例子，配置为logging命令，直接从一个容器到宝藏数据(而且，因为我们的配置是在Ubuntu主机上，所以不会用Docker容器中止！)。

发生了什么事？

我们的源指令告诉我们，我们正在使用forwardinput插件，它告诉fluentd侦听TCP套接字以接收事件流。

我们有两个比赛说明。当我们启动容器时，最后一个假设是我们已经设置了日志选项:

logopt fluentdtag = TD . docker . { {。姓名}}

这个指令告诉我们使用标准输出插件将事件打印到标准输出。

然而，它不仅是第一条指令，也是最有趣的一条指令。现在，假设相同的日志选项，我们匹配所有标记为td的内容。*.*并使用td日志输出插件将每个控制台输出作为单个日志输出发国际快递名为docker的宝藏数据数据库。在这里，表也是Docker容器的名称:

Autocreatetable在第一个实例上创建一个表。

Buffertype file将缓冲区写入文件。

Bufferpath指定Docker容器上的缓冲文件路径。

Flushinterval 5s设置刷新缓冲区时间隔5秒，写入宝藏数据表。

你开始明白这是怎么回事了吗？要了解更多关于fluentd配置和参数的信息，请点击此处查看更多文章:https://docs.fluentd.org/articles/configfile

将结果记录到谷歌云平台

准备好看看fluentd如何与谷歌云平台一起运行了吗？我们来看一些不同的场景。多亏了Kubernetes团队，这些配置(以及与这些非常相似的配置)都可以在github上获得。

正在处理JSON日志

在这里，我们在JSON上跟踪日志，并在Kubernetes上记录结果。我们必须处理时间戳，所以我们包含了timekey和timeformat指令。最后，我们用Kubernetes和适当的唯一后缀来标记数据流。我们还指定了位置文件，并将readfromhead设置为true。如果由于某种原因，我们的流被中断，这将使我们停止并重新开始处理。

通过不同的级别对信息进行分类

我们可以跟踪不同的信息，并使用常规表达式来查找一些信息，如格式、级别(严重性)、信息、错误(如果有)和状态代码。注意，我们必须解析输出中的时间。我们再次使用位置文件来保持我们在流中的位置。我们应该包括一个匹配部分，将数据路由到特定的目的地。

将数据流分离到两个不同的目的地

在这里，我们解析自动定量日志并管理我们的缓冲区、查询和块大小。对于这两个目的地(即GCP和库伯内特)，我们一直在再次尝试。

接下来是什么？

你能自己创建一个最简单的日志基础工具吗？让Fluentd来！

fluentd.org

这个网站上有不少于200个输入和其他插件。在这里，你可以看到他们受欢迎程度的降序排列。

fluentd.org/plugins/all

如果你想分类了解插件，点击上面的网址。

fluentd.org/plugins

最后，你可以在这个网站上获得宝藏数据(你可以在treasuredata.com上注册一个14天试用期的账户)。

特别声明：以上文章内容仅代表作者本人观点，不代表ESG跨境电商观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与ESG跨境电商联系。