日志分析实用类

本贴最后更新于 2248 天前,其中的信息可能已经沧海桑田

1、从日志中提取需要的信息,并计算,方法如下:

/**
     * 数据提取计算
     * @param filepath
     */
    public static void Txt(String filepath) {
        String encoding = "gbk";//txt一般默认编码为gbk
        File file = new File(filepath);
        if (file.exists() && file.isFile()) {
            try {
                InputStreamReader read = new InputStreamReader(new FileInputStream(file), encoding);
                BufferedReader bufferedReader = new BufferedReader(read);
                Map<String, List<Integer>> resultMapTotal = new HashMap<>();
                Map<String, Integer> resultMap = new HashMap<>();

                String txtLine = "";
                while ((txtLine = bufferedReader.readLine()) != null) {
                    String[] methodAndTime = txtLine.split("====")[1].split(" ");
                    //包含key,追加,不包含则写入
                    if (resultMapTotal.containsKey(methodAndTime[1])) {
                        List list = resultMapTotal.get(methodAndTime[1]);
                        list.add(Integer.valueOf(methodAndTime[5]));
                        resultMapTotal.put(methodAndTime[1], list);
                    } else {
                        List<Integer> list = new ArrayList();
                        list.add(Integer.valueOf(methodAndTime[5]));
                        resultMapTotal.put(methodAndTime[1], list);
                    }

                }
                Iterator<String> it = resultMapTotal.keySet().iterator();
                while (it.hasNext()) {
                    String key = it.next();
                    List listSort = resultMapTotal.get(key);
                    List<Integer> resultList = new ArrayList<>();
                    //降序排序
                    Collections.sort(listSort, Collections.reverseOrder());
                    //最大时间
                    String maxTime = Integer.toString((int) listSort.get(0));
                    //最小时间
                    String minTime = Integer.toString((int) listSort.get(listSort.size() - 1));
                    //调用次数
                    String totalNum = Integer.toString(listSort.size());
                    //中间值
                    String median = Integer.toString((int) listSort.get(listSort.size() / 2));
                    //100毫秒内占比
                    int proportionNum100 = 0;
                    //200毫秒内占比
                    int proportionNum200 = 0;
                    //300毫秒内占比
                    int proportionNum300 = 0;
                    //平均调用时间
                    int totalavg = 0;
                    for (int i = 0; i < listSort.size(); i++) {
                        totalavg = (int) listSort.get(i) + totalavg;
                        if ((int) listSort.get(i) <= 100) {
                            proportionNum100++;
                        }
                        if ((int) listSort.get(i) <= 200) {
                            proportionNum200++;
                        }
                        if ((int) listSort.get(i) <= 300) {
                            proportionNum300++;
                        }
                    }
                    //平均调用时间
                    int numavg = totalavg / listSort.size();
                    //100毫秒内占比
                    String proportion100 = (float) proportionNum100 * 100 / listSort.size() + "%";
                    //200毫秒内占比
                    String proportion200 = (float) proportionNum200 * 100 / listSort.size() + "%";
                    //300毫秒内占比
                    String proportion300 = (float) proportionNum300 * 100 / listSort.size() + "%";

                    //90%调用时间
                    int total = (int) listSort.get(new BigDecimal(listSort.size() * 0.1).setScale(0, BigDecimal.ROUND_HALF_UP).intValue());
                    //90%调用时间
                    String num90 = Integer.toString(total/* / listSort.size()*/);
                    //System.out.println(key+"."+maxTime+"."+minTime);
                    resultMap.put(key + " " + num90 + " " + maxTime + " " + minTime + " " + median + " " + proportion100 + " " + proportion200 + " " + proportion300 + " " + totalNum, numavg);

                }
                deriveTable(resultMap);
                System.out.println("导出完成");
                read.close();
            } catch (Exception e) {
                e.printStackTrace();
            }

        }
    }

2、将提取的数据放入 Map 中,根据 value 进行排序,并导出 excel 表格,方法如下:

/**
     * Map类型数据按value排序,并导出excel
     *
     * @param map
     */
    public static void deriveTable(Map<String, Integer> map) {
        //Map<String,Integer> map1 =
        //排序规则
        Comparator<Map.Entry<String, Integer>> valueComparator = new Comparator<Map.Entry<String, Integer>>() {
            @Override
            public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
                return o2.getValue() - o1.getValue();
            }
        };

        // map转换成list进行排序
        List<Map.Entry<String, Integer>> list = new ArrayList<>(map.entrySet());

        // 排序
        Collections.sort(list, valueComparator);

        // 创建Excel文件对应的对象
        HSSFWorkbook hwk = new HSSFWorkbook();
        // 创建一个sheet表名
        HSSFSheet hssfSheet = hwk.createSheet("接口平均速度统计");

        // 默认情况下,TreeMap对key进行降序排序
        System.out.println("------------map按照value降序排序--------------------");
        // 通过sheet创建一盒row(行) 范围0-65535
        HSSFRow hssfRowHead1 = hssfSheet.createRow(0);

        String[] heads = {"接口名称", "平均调用耗时(ms)", "90% Line", "最大调用时间(ms)", "最小调用时间(ms)", "中间值(ms)", "100毫秒内占比", "200毫秒内占比", "300毫秒内占比", "调用次数"};

        for (int i = 0; i < heads.length; i++) {
            HSSFCell cellHead = hssfRowHead1.createCell(i);
            cellHead.setCellValue(heads[i]);
        }

        int index = 0;
        for (Map.Entry<String, Integer> entry : list) {
            index++;
            System.out.println(entry.getKey());
            String[] subString = entry.getKey().split(" ");
            HSSFRow hssfRow = hssfSheet.createRow(index);

            HSSFCell cell = hssfRow.createCell(0);
            cell.setCellValue(subString[0]);

            HSSFCell cell1 = hssfRow.createCell(1);
            cell1.setCellValue(entry.getValue());
            System.out.println("subString.length"+subString.length);
            for (int a = 1; a < subString.length; a++) {
                HSSFCell cell3 = hssfRow.createCell(a+1        );
                cell3.setCellValue(subString[a]);
            }

        }

        FileOutputStream fos = null;
        try {
            File file = new File("e:/接口平均时间统计.xls");
            if (file.exists()) {
                file.delete();
            }
            fos = new FileOutputStream("e:/接口平均时间统计.xls");
            hwk.write(fos);
        }catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                fos.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1063 引用 • 3453 回帖 • 203 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3187 引用 • 8213 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • UUUS

    很强势

推荐标签 标签

  • 智能合约

    智能合约(Smart contract)是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易,这些交易可追踪且不可逆转。智能合约概念于 1994 年由 Nick Szabo 首次提出。

    1 引用 • 11 回帖 • 5 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4601 回帖 • 699 关注
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 73 关注
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机,如:iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    166 引用 • 595 回帖 • 1 关注
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高,单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 94 关注
  • Angular

    AngularAngularJS 的新版本。

    26 引用 • 66 回帖 • 536 关注
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖 • 1 关注
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣,为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 52 关注
  • OpenShift

    红帽提供的 PaaS 云,支持多种编程语言,为开发人员提供了更为灵活的框架、存储选择。

    14 引用 • 20 回帖 • 633 关注
  • PWL

    组织简介

    用爱发电 (Programming With Love) 是一个以开源精神为核心的民间开源爱好者技术组织,“用爱发电”象征开源与贡献精神,加入组织,代表你将遵守组织的“个人开源爱好者”的各项条款。申请加入:用爱发电组织邀请帖
    用爱发电组织官网:https://programmingwithlove.stackoverflow.wiki/

    用爱发电组织的核心驱动力:

    • 遵守开源守则,体现开源&贡献精神:以分享为目的,拒绝非法牟利。
    • 自我保护:使用适当的 License 保护自己的原创作品。
    • 尊重他人:不以各种理由、各种漏洞进行未经允许的抄袭、散播、洩露;以礼相待,尊重所有对社区做出贡献的开发者;通过他人的分享习得知识,要留下足迹,表示感谢。
    • 热爱编程、热爱学习:加入组织,热爱编程是首当其要的。我们欢迎热爱讨论、分享、提问的朋友,也同样欢迎默默成就的朋友。
    • 倾听:正确并恳切对待、处理问题与建议,及时修复开源项目的 Bug ,及时与反馈者沟通。不抬杠、不无视、不辱骂。
    • 平视:不诋毁、轻视、嘲讽其他开发者,主动提出建议、施以帮助,以和谐为本。只要他人肯努力,你也可能会被昔日小看的人所超越,所以请保持谦虚。
    • 乐观且活跃:你的努力决定了你的高度。不要放弃,多年后回头俯瞰,才会发现自己已经成就往日所仰望的水平。积极地将项目开源,帮助他人学习、改进,自己也会获得相应的提升、成就与成就感。
    1 引用 • 487 回帖
  • CentOS

    CentOS(Community Enterprise Operating System)是 Linux 发行版之一,它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖 • 1 关注
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统(DBMS),它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的,并于 1988 年推出了第一个 OS/2 版本。

    21 引用 • 31 回帖 • 1 关注
  • 996
    13 引用 • 200 回帖 • 6 关注
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架,基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 391 关注
  • Laravel

    Laravel 是一套简洁、优雅的 PHP Web 开发框架。它采用 MVC 设计,是一款崇尚开发效率的全栈框架。

    20 引用 • 23 回帖 • 723 关注
  • GitLab

    GitLab 是利用 Ruby 一个开源的版本管理系统,实现一个自托管的 Git 项目仓库,可通过 Web 界面操作公开或私有项目。

    46 引用 • 72 回帖 • 2 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3187 引用 • 8213 回帖
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 67 关注
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 132 关注
  • Flutter

    Flutter 是谷歌的移动 UI 框架,可以快速在 iOS 和 Android 上构建高质量的原生用户界面。 Flutter 可以与现有的代码一起工作,它正在被越来越多的开发者和组织使用,并且 Flutter 是完全免费、开源的。

    39 引用 • 92 回帖 • 1 关注
  • 职场

    找到自己的位置,萌新烦恼少。

    127 引用 • 1705 回帖
  • HTML

    HTML5 是 HTML 下一个的主要修订版本,现在仍处于发展阶段。广义论及 HTML5 时,实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    107 引用 • 295 回帖
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的操作系统上。容器完全使用沙箱机制,几乎没有性能开销,可以很容易地在机器和数据中心中运行。

    491 引用 • 917 回帖 • 2 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 629 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 73 关注
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议,它实现了浏览器与服务器之间的全双工通信(full-duplex)。

    48 引用 • 206 回帖 • 334 关注
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 659 关注