Java之路
张中强
共 4.0 节 · 267.7万 人学习
资讯头条
更多资讯
开源项目 更多开源项目
精选
CHATERM AI：开启云资源氛围管理新篇章！
人工智能
1.2K
查看详情
Better Auth：一个面向 TypeScript 的全面身份验证库
服务器
1.7K
查看详情
Wallabag：一款保存网页稍后阅读的应用！
web app
1.7K
查看详情
QuestDB：开源SQL数据库，用于处理时间序列数据！
数据库
2.8K
查看详情
开源神器 AnythingLLM：一键运行 AI 模型，与文档聊天
人工智能
7.5K
查看详情
Gogs：一款极易搭建的自助 Git 服务
git
7.4K
查看详情
InfluxDB：一款强大高性能的时序数据库！
时序数据库
7.7K
查看详情
OpenHands：解放双手，让AI替你写代码！
人工智能
11.2K
查看详情
精选博客
排行榜
一瓢一瓢的饮 alanchanchn
16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及FileSystem示例（1）
Flink 的 Table API 和 SQL 程序可以连接到其他外部系统，用于读取和写入批处理表和流表。表源提供对存储在外部系统（如数据库、键值存储、消息队列或文件系统）中的数据的访问。表接收器向外部存储系统发出表。根据源和接收器的类型，它们支持不同的格式，例如 CSV、Avro、Parquet 或 ORC。本文介绍如何使用原生支持的连接器在 Flink 中注册表源和表接收器。注册源或接收器后，可以通过表 API 和 SQL 语句访问它。如果要实现自己的自定义表源或接收器，请查看。
一个天蝎座 白勺 程序猿
Python爬虫（55）Python爬虫数据清洗与分析实战：Pandas+Great Expectations+Airflow构建自动化质量监控闭环
摘要： 本文针对爬虫获取的原始数据中常见的脏数据问题（如重复SKU、空值、异常值等），提出了一套从清洗到验证的自动化闭环解决方案。通过Pandas实现智能去重与缺失值填充，结合Great Expectations构建数据质量护栏，并利用Airflow编排自动化验证流水线。案例显示，该方法在电商价格监控、招聘数据去重等场景中显著提升数据质量，如金融数据填充误差降低至8.7%，物流系统经纬度异常检测有效减少路线规划错误。技术栈整合了Pandas、Great Expectations、Airflow等工具，实现了
张彦峰ZYF 
