JAVA 实践项目 --- 树莓派信息自动化采集后入库项目 (五)

本贴最后更新于 2379 天前,其中的信息可能已经时移俗易

项目源代码可访问我的 github:https://github.com/Spacider/Gather-and-store
如果觉得好的话请给个 star 哦~

开发 IDE: IDEA 2018.03 JDK 1.8
开发环境: macOS 10.13.6 (如 windows 请对项目中部分路径进行改写)
数据库: Oracle 11g


第四阶段:发送给我们的服务端,并进行入库操作

这一阶段我们的任务就是接收上节客户端发送的对象数据,并且在分析以后把数据写入数据库!

imagepng

此层项目结构为:
imagepng


接下来,看代码:
1.编写一个 EnvServer 接口,其中有个抽象方法,作用就是接收各个客户端发送过来的集合对象:

/** * 服务器端模块 */ public interface EnvServer extends WossModel { /** * 接收各个客户端发送过来的集合对象 Collection(Environment) */ void receive(); }

新创建一个实现包为 Impl ,创建实现类 EnvServerImpl,其中实现了 receive 方法,在写 receive 方法之前,我们先定义一个线程来接收,运用线程可以很好的体现"持续性"读取的特点。

class EnvServerThread extends Thread { private Socket socket; public EnvServerThread (Socket socket){ this.socket = socket; } }

使用构造器把 socket 对象传入!这样我们就可以在线程类中操作流来接收我们需要的数据了!

is = socket.getInputStream(); ois = new ObjectInputStream(is); List <Environment> environmentList = (List <Environment>) ois.readObject();

获取到我们的输入流时,直接将其包装成对象流(上文发过来的时候使用对象流发送),故我们可以通过 readObject 方法来得到我们上文从客户端发过来的对象!

之后 receive 方法可以这么写:

/** * 服务器接收方法 */ public void receive() { Socket socket = null; try { ServerSocket server = new ServerSocket(port); logger.info("server 启动"+ server); while(true){ socket = server.accept(); new EnvServerThread(socket).start(); } } catch (IOException e) { e.printStackTrace(); } }

运行 EnvServerImpl 类和 ClientMain 类和 DataServer 类,在服务端的线程中打印对象数组,在看见数组并且数组正确时,就说明你这一部分写对了!


2.在获得对象以后我们需要对数组进行入库操作:
编写接口

/** * 入库模块 */ public interface DBStore extends WossModel { /** * 把服务器接收到的数据写入到数据库中持久保存 * 注意数据的录入是按天进行录入的 * t_s ---> 拆分成多张表 * 20/5 取余数 * t_s0 t_s1 t_s2 t_s3 t_s4 * @param col */ void saveEnvToDB(Collection<Environment> col); }

数据库操作自然会用到 jdbc!为了方便编写一个数组库的操作类,里边包含各种关于数据库的操作:
此处,请记得修改你的文件路径,第二记得修改文件中的内容,修改为你对应数据库的链接信息!
这个和一般网上所写的都差不多,就直接贴代码了:

/** * 数据库处理帮助类 * 书写关于数据库的一些操作方法,比如 获取连接对象 、 封装插入方法 */ public class DBhelper { // dhcp 缓冲池对象 private static BasicDataSource DATA_SOURCE; static { Properties properties = new Properties(); FileInputStream fis = null; try { fis = new FileInputStream(new File("/Users/wjh/Desktop/FirstProject/src/main/resources/config.properties")); properties.load(fis); // 通过读取 properties 文件来初始化 DATA_SOURCE DATA_SOURCE = new BasicDataSource(); DATA_SOURCE = BasicDataSourceFactory.createDataSource(properties); } catch (Exception e) { e.printStackTrace(); } finally { IOUtil.close(fis); } } /** * 获取 Connection 连接对象 * @return */ public static Connection getConnction(){ Connection connection = null; try { connection = DATA_SOURCE.getConnection(); } catch (SQLException e) { e.printStackTrace(); } return connection; } /** * 处理 SQL 语句方法 * @param sql */ public static void ExecuteSql(String sql){ Connection connection = getConnction(); PreparedStatement ps = null; try { ps = connection.prepareStatement(sql); ps.execute(); } catch (SQLException e) { e.printStackTrace(); } finally { try { if (ps != null) { ps.close(); } if (connection != null) { connection.close(); } } catch (SQLException e) { e.printStackTrace(); } } } }

之后我们就可以写入库的实现类 DBStoreImpl
通过我们刚才写的数据库操作类来获得一个数据库链接:

Connection connection = DBhelper.getConnction();

之后就是对对象的拆分并通过 PreparedStatement 来对 sql 语句进行预加载,把对应的数据存入:

for (Environment environment : col) { DateFormat sdf = new SimpleDateFormat("yyyy-MM-dd-HH:mm:ss"); Timestamp timestamp = environment.getGather_date(); String tsStr = sdf.format(timestamp); // gather_date=2018-09-15 11:17:48.0 String[] time = tsStr.split("\\-"); String day = time[2]; // 拼接 sql 语句 String sql = "insert into T_DETAIL_" + day + " values(?,?,?,?,?,?,?,?,?,?)"; ps = connection.prepareStatement(sql); ps.setString(1,environment.getName()); ps.setString(2,environment.getSrcID()); ps.setString(3,environment.getDstID()); ps.setString(4,environment.getDevID()); ps.setString(5,environment.getSensorAddress()); ps.setInt(6,environment.getCount()); ps.setInt(7,environment.getCmd()); ps.setString(8,environment.getData()+""); ps.setInt(9,environment.getStatus()); ps.setTimestamp(10,environment.getGather_date());

接下来是对数组运行的处理,这里采用了缓存机制,等待 count 为 100 条的整数倍时再运行响应的 sql 语句,当 sql 语句较多时可以减少大量 sql 等待的场景。

ps.addBatch(); if ( count % 100 == 0 ) { ps.executeBatch(); } count ++;

实现了入库的操作之后在 EnvServerImpl 类的线程类中加入如下一行,
把数据递交给入库类处理:

// 数据库入库操作 dbStore.saveEnvToDB(environmentList);

最后,运行 EnvServerImpl 类和 ClientMain 类和 DataServer 类,看到提示信息,并发现数据库内有我们需要的数据的时候,就完成了当前部分的编写!

  • 实践项目
    6 引用
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3198 引用 • 8215 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    151 引用 • 257 回帖 • 1 关注
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 159 关注
  • 机器学习

    机器学习(Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    9645 引用 • 43860 回帖 • 93 关注
  • Gzip

    gzip (GNU zip)是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件,它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式,或者说一种文件格式。

    9 引用 • 12 回帖 • 165 关注
  • 招聘

    哪里都缺人,哪里都不缺人。

    189 引用 • 1057 回帖 • 4 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    170 引用 • 1529 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 60 关注
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖
  • etcd

    etcd 是一个分布式、高可用的 key-value 数据存储,专门用于在分布式系统中保存关键数据。

    6 引用 • 26 回帖 • 547 关注
  • Notion

    Notion - The all-in-one workspace for your notes, tasks, wikis, and databases.

    10 引用 • 77 回帖 • 1 关注
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高,单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 105 关注
  • ngrok

    ngrok 是一个反向代理,通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 649 关注
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    54 引用 • 41 回帖
  • Flume

    Flume 是一套分布式的、可靠的,可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 652 关注
  • JVM

    JVM(Java Virtual Machine)Java 虚拟机是一个微型操作系统,有自己的硬件构架体系,还有相应的指令系统。能够识别 Java 独特的 .class 文件(字节码),能够将这些文件中的信息读取出来,使得 Java 程序只需要生成 Java 虚拟机上的字节码后就能在不同操作系统平台上进行运行。

    180 引用 • 120 回帖
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 177 关注
  • 域名

    域名(Domain Name),简称域名、网域,是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置)。

    44 引用 • 208 回帖 • 3 关注
  • Visio
    1 引用 • 2 回帖 • 4 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具,助力您的学习与思考,让您的大脑更高效的记忆。

    笔记整理交给我,一心只读圣贤书。

    1 引用 • 1 回帖 • 2 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    76 引用 • 1742 回帖
  • AngularJS

    AngularJS 诞生于 2009 年,由 Misko Hevery 等人创建,后为 Google 所收购。是一款优秀的前端 JS 框架,已经被用于 Google 的多款产品当中。AngularJS 有着诸多特性,最为核心的是:MVC、模块化、自动化双向数据绑定、语义化标签、依赖注入等。2.0 版本后已经改名为 Angular。

    12 引用 • 50 回帖 • 507 关注
  • 叶归
    5 引用 • 16 回帖 • 11 关注
  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务,可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 111 关注
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大,比用其他编程程序编辑的程序效率更高,因为它使用了 Linux/Unix 下的命令。

    124 引用 • 74 回帖 • 1 关注
  • 七牛云

    七牛云是国内领先的企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

    28 引用 • 226 回帖 • 132 关注
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖 • 1 关注