要说DevOps和IT运营团队在未来几年将面临新的挑战听起来有点多余，因为他们的核心职责是解决问题并克服挑战。然而，随着当前流程，技术和工具领域的巨大变化，应对它已经成为一个很大的问题。此外，业务用户的压力一直在使DevOps和IT运营团队蹒跚而行，要求一切都应该通过点击应用来解决。然而，在后端，处理问题是一个不同的球赛，用户甚至无法想象找到问题并解决问题是多么困难。如今，IT运营和DevOps团队面临的最大挑战之一就是能够确定在他们的环境中记录的大数据流中的小而可能有害的问题。简而言之，就像在大海捞针中找到针一样。如果您在拥有全天候可用性的在线业务的公司的IT部门工作，那么这可能听起来很熟悉。假设您在半夜接到一个愤怒的客户或您的老板抱怨信用卡交易失败或应用程序崩溃的电话，您立即转到笔记本电脑并打开日志管理系统。您会看到在设定的时间范围内记录的消息超过十万条，一个人无法逐行查看的数据集。
那么在这种情况下你做了什么？
这是每个IT运营和DevOps专业人士的故事，他们度过了许多不眠之夜，在日志条目的海洋中航行，以找到触发特定事件的重要事件，这就是实时和集中式日志分析拯救的地方。它有助于他们理解日志数据的基本方面，并轻松识别主要问题。通过这种方式，故障排除过程变成了公园内的步行，使其更短，更有效，并使专家能够预测未来的问题。
人工智能及其对IT运营和开发的影响
虽然人工智能（AI）曾经是几十年前的流行词，但现在它被广泛应用于不同行业，用于各种目的。结合大数据，人工智能和人类领域知识，技术专家和科学家已经能够创造惊人的突破和机会，这在科幻小说和电影中曾经是可能的。随着IT运营变得敏捷和动态，它们也变得非常复杂。人类思维不再能够通过日常操作跟上大数据流的速度，数量和种类，使AI成为优化分析和决策过程的强大而重要的工具。AI有助于填补人与大数据之间的空白，为他们提供所需的操作智能和速度，从而显着减轻故障排除和实时决策的负担。
解决房间里的大象：人工智能如何帮助
在上述所有情况中，有一点是常见的; 这些公司需要一个解决方案，正如开头所讨论的那样，可以帮助IT和DevOps团队快速找到日志数据条目中的问题。要识别单个日志条目会在环境中出现问题并使应用程序崩溃，如果您只是知道要查找哪种错误来过滤日志数据，那会不容易？当然，它会减少一半的工作量。一种解决方案可以是建立一个平台，从互联网上收集有关各种相关事件的数据，观察使用类似设置的人如何在他们的系统中解决这些问题，并通过系统扫描以识别潜在问题。实现此目标的一种方法是设计一个模仿用户调查，监控和排除事件故障的系统，并允许它开发一个低估人类如何与数据交互而不是尝试分析数据本身的方法。例如，这项技术可以类似于亚马逊的产品推荐系统和谷歌的PageRank算法，但它将专注于日志数据。
介绍认知见解
最新技术实现了本文所设想的解决方案，这项技术最近引起了很多关注，被称为Cognitive Insights。这项突破性技术使用机器学习算法将人类领域知识与日志数据以及开源存储库，论坛和社交线程相匹配。利用所有这些信息，它可以提供相关洞察的数据库，其中可能包含IT运营和DevOps团队每天面临的各种关键问题的解决方案。
实时障碍
DevOps工程师，IT运营经理，CTO，VP工程和CISO面临众多挑战，通过将AI集成到日志分析和相关操作中，可以有效减轻这些挑战。虽然Cognitive Insights有几个应用，但两个主要用例是：
安全性
分布式拒绝服务（DDoS）攻击越来越普遍，过去仅限于政府，知名网站和跨国组织的内容现在面向知名人士，中小型企业和中型企业。为了抵御此类攻击，使用集中式日志记录架构来识别可疑活动并查明数千个条目的潜在威胁至关重要。为此，通过Cognitive Insights进行的抗DDoS缓解已被证明是非常有效的。Dyn和英国航空等领先的名称，过去遭受DDoS攻击的重大损害，现在已经制定了完善的，基于ELK的反DDoS缓解策略，以防止黑客入侵并确保其操作免受任何未来攻击。
将所有日志编译到一个地方，每个条目都经过仔细监控和注册，这不是很好吗？嗯，当然。您将能够清楚地查看流程，并从一个位置执行与来自不同应用程序的日志相关的查询，从而显着提高IT运营的效率。解决IT运营和DevOps团队面临的最大挑战之一是能够在其环境中查明大型日志数据流中的小而潜在有害的问题。这正是Cognitive Insights所做的，由于该程序的核心基于ELK堆栈，因此它可以对数据进行排序和简化，从而可以轻松清晰地了解您的IT运营情况。
良好的AI集成可以产生
使用AI驱动的日志分析系统，在大海捞针中找到针头并有效地解决问题变得相当容易。这样的系统将对整个组织的管理和运营产生相当大的影响，与本博客上面讨论的公司问题一样，将AI与日志管理系统集成将有益于：
改善客户成功
监控和客户支持
降低风险和资源优化
通过使日志数据可访问来最大限度地提高效率
换句话说，Cognitive Insights和其他类似系统在数据日志管理和故障排除方面可以提供很大帮助。Rent-A-Center（RAC）是一家总部位于德克萨斯州的财富1000强公司，提供各种租赁自有产品和服务。它在墨西哥，波多黎各，加拿大和美国拥有3000多家商店和2000个售货亭。该公司尝试集成两个不同的ELK堆栈，但每天处理100GB数据太麻烦了，更不用说每天花费在磁盘管理，内存调整，附加数据输入功能和其他技术问题上的过高成本和时间。RAC转变为Cognitive Insights，这让他们相信他们能够检测到未来的异常，并且很容易扩展不断增长的数据量，他们受益于专门的IT团队管理内部和外部ELK堆栈。
开源在数据日志管理中的作用
许多知名厂商正在不同途径中主动研究和测试AI，以提高数据日志管理系统的效率。一些供应商是：ELK正迅速成为趋势的一部分，并且越来越多的供应商提供日志记录解决方案，这一点毫不奇怪。这是因为它已成为公司安装设置的好方法，而不会产生惊人的前期成本。它还允许一些基本的图形和搜索功能，并且为了使组织能够识别大海捞针日志数据中的问题，他们可以选择最新技术，例如Cognitive Insights，以快速找到针头并消除主要问题。
[上一篇] 区块链技术只是一种工具，未来充满了不确定性
[下一篇] 智能监管无处不在，AI大数据下我们无法再有隐私
