日志分析实用类

本贴最后更新于 2157 天前,其中的信息可能已经沧海桑田

1、从日志中提取需要的信息,并计算,方法如下:

/**
     * 数据提取计算
     * @param filepath
     */
    public static void Txt(String filepath) {
        String encoding = "gbk";//txt一般默认编码为gbk
        File file = new File(filepath);
        if (file.exists() && file.isFile()) {
            try {
                InputStreamReader read = new InputStreamReader(new FileInputStream(file), encoding);
                BufferedReader bufferedReader = new BufferedReader(read);
                Map<String, List<Integer>> resultMapTotal = new HashMap<>();
                Map<String, Integer> resultMap = new HashMap<>();

                String txtLine = "";
                while ((txtLine = bufferedReader.readLine()) != null) {
                    String[] methodAndTime = txtLine.split("====")[1].split(" ");
                    //包含key,追加,不包含则写入
                    if (resultMapTotal.containsKey(methodAndTime[1])) {
                        List list = resultMapTotal.get(methodAndTime[1]);
                        list.add(Integer.valueOf(methodAndTime[5]));
                        resultMapTotal.put(methodAndTime[1], list);
                    } else {
                        List<Integer> list = new ArrayList();
                        list.add(Integer.valueOf(methodAndTime[5]));
                        resultMapTotal.put(methodAndTime[1], list);
                    }

                }
                Iterator<String> it = resultMapTotal.keySet().iterator();
                while (it.hasNext()) {
                    String key = it.next();
                    List listSort = resultMapTotal.get(key);
                    List<Integer> resultList = new ArrayList<>();
                    //降序排序
                    Collections.sort(listSort, Collections.reverseOrder());
                    //最大时间
                    String maxTime = Integer.toString((int) listSort.get(0));
                    //最小时间
                    String minTime = Integer.toString((int) listSort.get(listSort.size() - 1));
                    //调用次数
                    String totalNum = Integer.toString(listSort.size());
                    //中间值
                    String median = Integer.toString((int) listSort.get(listSort.size() / 2));
                    //100毫秒内占比
                    int proportionNum100 = 0;
                    //200毫秒内占比
                    int proportionNum200 = 0;
                    //300毫秒内占比
                    int proportionNum300 = 0;
                    //平均调用时间
                    int totalavg = 0;
                    for (int i = 0; i < listSort.size(); i++) {
                        totalavg = (int) listSort.get(i) + totalavg;
                        if ((int) listSort.get(i) <= 100) {
                            proportionNum100++;
                        }
                        if ((int) listSort.get(i) <= 200) {
                            proportionNum200++;
                        }
                        if ((int) listSort.get(i) <= 300) {
                            proportionNum300++;
                        }
                    }
                    //平均调用时间
                    int numavg = totalavg / listSort.size();
                    //100毫秒内占比
                    String proportion100 = (float) proportionNum100 * 100 / listSort.size() + "%";
                    //200毫秒内占比
                    String proportion200 = (float) proportionNum200 * 100 / listSort.size() + "%";
                    //300毫秒内占比
                    String proportion300 = (float) proportionNum300 * 100 / listSort.size() + "%";

                    //90%调用时间
                    int total = (int) listSort.get(new BigDecimal(listSort.size() * 0.1).setScale(0, BigDecimal.ROUND_HALF_UP).intValue());
                    //90%调用时间
                    String num90 = Integer.toString(total/* / listSort.size()*/);
                    //System.out.println(key+"."+maxTime+"."+minTime);
                    resultMap.put(key + " " + num90 + " " + maxTime + " " + minTime + " " + median + " " + proportion100 + " " + proportion200 + " " + proportion300 + " " + totalNum, numavg);

                }
                deriveTable(resultMap);
                System.out.println("导出完成");
                read.close();
            } catch (Exception e) {
                e.printStackTrace();
            }

        }
    }

2、将提取的数据放入 Map 中,根据 value 进行排序,并导出 excel 表格,方法如下:

/**
     * Map类型数据按value排序,并导出excel
     *
     * @param map
     */
    public static void deriveTable(Map<String, Integer> map) {
        //Map<String,Integer> map1 =
        //排序规则
        Comparator<Map.Entry<String, Integer>> valueComparator = new Comparator<Map.Entry<String, Integer>>() {
            @Override
            public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
                return o2.getValue() - o1.getValue();
            }
        };

        // map转换成list进行排序
        List<Map.Entry<String, Integer>> list = new ArrayList<>(map.entrySet());

        // 排序
        Collections.sort(list, valueComparator);

        // 创建Excel文件对应的对象
        HSSFWorkbook hwk = new HSSFWorkbook();
        // 创建一个sheet表名
        HSSFSheet hssfSheet = hwk.createSheet("接口平均速度统计");

        // 默认情况下,TreeMap对key进行降序排序
        System.out.println("------------map按照value降序排序--------------------");
        // 通过sheet创建一盒row(行) 范围0-65535
        HSSFRow hssfRowHead1 = hssfSheet.createRow(0);

        String[] heads = {"接口名称", "平均调用耗时(ms)", "90% Line", "最大调用时间(ms)", "最小调用时间(ms)", "中间值(ms)", "100毫秒内占比", "200毫秒内占比", "300毫秒内占比", "调用次数"};

        for (int i = 0; i < heads.length; i++) {
            HSSFCell cellHead = hssfRowHead1.createCell(i);
            cellHead.setCellValue(heads[i]);
        }

        int index = 0;
        for (Map.Entry<String, Integer> entry : list) {
            index++;
            System.out.println(entry.getKey());
            String[] subString = entry.getKey().split(" ");
            HSSFRow hssfRow = hssfSheet.createRow(index);

            HSSFCell cell = hssfRow.createCell(0);
            cell.setCellValue(subString[0]);

            HSSFCell cell1 = hssfRow.createCell(1);
            cell1.setCellValue(entry.getValue());
            System.out.println("subString.length"+subString.length);
            for (int a = 1; a < subString.length; a++) {
                HSSFCell cell3 = hssfRow.createCell(a+1        );
                cell3.setCellValue(subString[a]);
            }

        }

        FileOutputStream fos = null;
        try {
            File file = new File("e:/接口平均时间统计.xls");
            if (file.exists()) {
                file.delete();
            }
            fos = new FileOutputStream("e:/接口平均时间统计.xls");
            hwk.write(fos);
        }catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                fos.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1081 引用 • 3459 回帖 • 241 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3169 引用 • 8208 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • UUUS

    很强势

推荐标签 标签

  • Thymeleaf

    Thymeleaf 是一款用于渲染 XML/XHTML/HTML5 内容的模板引擎。类似 Velocity、 FreeMarker 等,它也可以轻易的与 Spring 等 Web 框架进行集成作为 Web 应用的模板引擎。与其它模板引擎相比,Thymeleaf 最大的特点是能够直接在浏览器中打开并正确显示模板页面,而不需要启动整个 Web 应用。

    11 引用 • 19 回帖 • 333 关注
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架,基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 370 关注
  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    34 引用 • 37 回帖 • 519 关注
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 148 关注
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    46 引用 • 40 回帖
  • 创业

    你比 99% 的人都优秀么?

    83 引用 • 1398 回帖 • 1 关注
  • SMTP

    SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。SMTP 协议属于 TCP/IP 协议簇,它帮助每台计算机在发送或中转信件时找到下一个目的地。

    4 引用 • 18 回帖 • 614 关注
  • BAE

    百度应用引擎(Baidu App Engine)提供了 PHP、Java、Python 的执行环境,以及云存储、消息服务、云数据库等全面的云服务。它可以让开发者实现自动地部署和管理应用,并且提供动态扩容和负载均衡的运行环境,让开发者不用考虑高成本的运维工作,只需专注于业务逻辑,大大降低了开发者学习和迁移的成本。

    19 引用 • 75 回帖 • 620 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 51 关注
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 10 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成,还支持通过插件进行扩展。

    10 引用 • 5 回帖 • 2 关注
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 1 关注
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    717 引用 • 1241 回帖 • 79 关注
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    20642 引用 • 80648 回帖 • 1 关注
  • Quicker

    Quicker 您的指尖工具箱!操作更少,收获更多!

    28 引用 • 101 回帖
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。

    109 引用 • 54 回帖
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖 • 4 关注
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 670 关注
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 698 关注
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具,主要功能包括:位置相关的内容递送;用户认证和授权;集中式网络监控。

    1 引用 • 7 回帖 • 576 关注
  • API

    应用程序编程接口(Application Programming Interface)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。

    76 引用 • 429 回帖 • 4 关注
  • SQLite

    SQLite 是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是全世界使用最为广泛的数据库引擎。

    4 引用 • 7 回帖 • 2 关注
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合,以模块的方式组织管理插件以
    及相关配置,为不同的语言开发量身定制了相关的开发模块,该模块提供代码自动补全,
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 83 关注
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 364 关注
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 526 关注
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台,用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统(CMS)来使用。WordPress 是一个免费的开源项目,在 GNU 通用公共许可证(GPLv2)下授权发布。

    58 引用 • 113 回帖 • 274 关注
  • 京东

    京东是中国最大的自营式电商企业,2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月,京东在美国纳斯达克证券交易所正式挂牌上市(股票代码:JD),是中国第一个成功赴美上市的大型综合型电商平台,与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 395 关注