日志分析实用类

本贴最后更新于 2383 天前,其中的信息可能已经沧海桑田

1、从日志中提取需要的信息,并计算,方法如下:

/** * 数据提取计算 * @param filepath */ public static void Txt(String filepath) { String encoding = "gbk";//txt一般默认编码为gbk File file = new File(filepath); if (file.exists() && file.isFile()) { try { InputStreamReader read = new InputStreamReader(new FileInputStream(file), encoding); BufferedReader bufferedReader = new BufferedReader(read); Map<String, List<Integer>> resultMapTotal = new HashMap<>(); Map<String, Integer> resultMap = new HashMap<>(); String txtLine = ""; while ((txtLine = bufferedReader.readLine()) != null) { String[] methodAndTime = txtLine.split("====")[1].split(" "); //包含key,追加,不包含则写入 if (resultMapTotal.containsKey(methodAndTime[1])) { List list = resultMapTotal.get(methodAndTime[1]); list.add(Integer.valueOf(methodAndTime[5])); resultMapTotal.put(methodAndTime[1], list); } else { List<Integer> list = new ArrayList(); list.add(Integer.valueOf(methodAndTime[5])); resultMapTotal.put(methodAndTime[1], list); } } Iterator<String> it = resultMapTotal.keySet().iterator(); while (it.hasNext()) { String key = it.next(); List listSort = resultMapTotal.get(key); List<Integer> resultList = new ArrayList<>(); //降序排序 Collections.sort(listSort, Collections.reverseOrder()); //最大时间 String maxTime = Integer.toString((int) listSort.get(0)); //最小时间 String minTime = Integer.toString((int) listSort.get(listSort.size() - 1)); //调用次数 String totalNum = Integer.toString(listSort.size()); //中间值 String median = Integer.toString((int) listSort.get(listSort.size() / 2)); //100毫秒内占比 int proportionNum100 = 0; //200毫秒内占比 int proportionNum200 = 0; //300毫秒内占比 int proportionNum300 = 0; //平均调用时间 int totalavg = 0; for (int i = 0; i < listSort.size(); i++) { totalavg = (int) listSort.get(i) + totalavg; if ((int) listSort.get(i) <= 100) { proportionNum100++; } if ((int) listSort.get(i) <= 200) { proportionNum200++; } if ((int) listSort.get(i) <= 300) { proportionNum300++; } } //平均调用时间 int numavg = totalavg / listSort.size(); //100毫秒内占比 String proportion100 = (float) proportionNum100 * 100 / listSort.size() + "%"; //200毫秒内占比 String proportion200 = (float) proportionNum200 * 100 / listSort.size() + "%"; //300毫秒内占比 String proportion300 = (float) proportionNum300 * 100 / listSort.size() + "%"; //90%调用时间 int total = (int) listSort.get(new BigDecimal(listSort.size() * 0.1).setScale(0, BigDecimal.ROUND_HALF_UP).intValue()); //90%调用时间 String num90 = Integer.toString(total/* / listSort.size()*/); //System.out.println(key+"."+maxTime+"."+minTime); resultMap.put(key + " " + num90 + " " + maxTime + " " + minTime + " " + median + " " + proportion100 + " " + proportion200 + " " + proportion300 + " " + totalNum, numavg); } deriveTable(resultMap); System.out.println("导出完成"); read.close(); } catch (Exception e) { e.printStackTrace(); } } }

2、将提取的数据放入 Map 中,根据 value 进行排序,并导出 excel 表格,方法如下:

/** * Map类型数据按value排序,并导出excel * * @param map */ public static void deriveTable(Map<String, Integer> map) { //Map<String,Integer> map1 = //排序规则 Comparator<Map.Entry<String, Integer>> valueComparator = new Comparator<Map.Entry<String, Integer>>() { @Override public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) { return o2.getValue() - o1.getValue(); } }; // map转换成list进行排序 List<Map.Entry<String, Integer>> list = new ArrayList<>(map.entrySet()); // 排序 Collections.sort(list, valueComparator); // 创建Excel文件对应的对象 HSSFWorkbook hwk = new HSSFWorkbook(); // 创建一个sheet表名 HSSFSheet hssfSheet = hwk.createSheet("接口平均速度统计"); // 默认情况下,TreeMap对key进行降序排序 System.out.println("------------map按照value降序排序--------------------"); // 通过sheet创建一盒row(行) 范围0-65535 HSSFRow hssfRowHead1 = hssfSheet.createRow(0); String[] heads = {"接口名称", "平均调用耗时(ms)", "90% Line", "最大调用时间(ms)", "最小调用时间(ms)", "中间值(ms)", "100毫秒内占比", "200毫秒内占比", "300毫秒内占比", "调用次数"}; for (int i = 0; i < heads.length; i++) { HSSFCell cellHead = hssfRowHead1.createCell(i); cellHead.setCellValue(heads[i]); } int index = 0; for (Map.Entry<String, Integer> entry : list) { index++; System.out.println(entry.getKey()); String[] subString = entry.getKey().split(" "); HSSFRow hssfRow = hssfSheet.createRow(index); HSSFCell cell = hssfRow.createCell(0); cell.setCellValue(subString[0]); HSSFCell cell1 = hssfRow.createCell(1); cell1.setCellValue(entry.getValue()); System.out.println("subString.length"+subString.length); for (int a = 1; a < subString.length; a++) { HSSFCell cell3 = hssfRow.createCell(a+1 ); cell3.setCellValue(subString[a]); } } FileOutputStream fos = null; try { File file = new File("e:/接口平均时间统计.xls"); if (file.exists()) { file.delete(); } fos = new FileOutputStream("e:/接口平均时间统计.xls"); hwk.write(fos); }catch (IOException e) { e.printStackTrace(); } finally { try { fos.close(); } catch (IOException e) { e.printStackTrace(); } } }
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1063 引用 • 3455 回帖 • 163 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3195 引用 • 8215 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • UUUS

    很强势

推荐标签 标签

  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖
  • JWT

    JWT(JSON Web Token)是一种用于双方之间传递信息的简洁的、安全的表述性声明规范。JWT 作为一个开放的标准(RFC 7519),定义了一种简洁的,自包含的方法用于通信双方之间以 JSON 的形式安全的传递信息。

    20 引用 • 15 回帖 • 20 关注
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    15 引用 • 7 回帖
  • Ubuntu

    Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的 Linux 操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    127 引用 • 169 回帖
  • Anytype
    3 引用 • 31 回帖 • 14 关注
  • ngrok

    ngrok 是一个反向代理,通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 646 关注
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖 • 1 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    172 引用 • 516 回帖 • 1 关注
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 1 关注
  • Access
    1 引用 • 3 回帖 • 2 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    9489 引用 • 43244 回帖 • 107 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定。它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    556 引用 • 675 回帖
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。

    76 引用 • 258 回帖 • 631 关注
  • 房星科技

    房星网,我们不和没有钱的程序员谈理想,我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源,遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 591 关注
  • 安装

    你若安好,便是晴天。

    132 引用 • 1184 回帖
  • OpenShift

    红帽提供的 PaaS 云,支持多种编程语言,为开发人员提供了更为灵活的框架、存储选择。

    14 引用 • 20 回帖 • 654 关注
  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 385 关注
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 415 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具,支持本地 Markdown 文件编辑,支持双向链接和关系图。

    A second brain, for you, forever.

    21 引用 • 204 回帖
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎,可以结合 MySQL、PostgreSQL 做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。

    1 引用 • 218 关注
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据(或者事件)流的 API。它组合了观察者模式,迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 177 关注
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    12 引用 • 5 回帖 • 639 关注
  • Chrome

    Chrome 又称 Google 浏览器,是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写,包括 WebKit,目标是提升稳定性、速度和安全性,并创造出简单且有效率的使用者界面。

    62 引用 • 289 回帖
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖
  • Notion

    Notion - The all-in-one workspace for your notes, tasks, wikis, and databases.

    10 引用 • 76 回帖
  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    179 引用 • 408 回帖 • 486 关注
  • GraphQL

    GraphQL 是一个用于 API 的查询语言,是一个使用基于类型系统来执行查询的服务端运行时(类型系统由你的数据定义)。GraphQL 并没有和任何特定数据库或者存储引擎绑定,而是依靠你现有的代码和数据支撑。

    4 引用 • 3 回帖 • 5 关注