个人介绍
- 出生: 1995.04
- 住址: 杭州市滨江区
- 电话: 13395753926
- 邮箱: 984801940@qq.com
教育背景
| 时间 | 学校 | 专业 |
|---|---|---|
| 2014.09-2018.07 | 洛阳理工学院 | 计算机科学与技术 |
掌握技能
- 严格遵守Java开发规范，有良好的面向对象的业务分析能力，代码书写简洁，力求完美开发。
- 了解jvm 以及 几种常见的jvm的垃圾回收机制
- 熟练运用Spring和ioc的加载过程
- 熟练掌握MySql，了解mysql的索引
- 精通使用kafka，kafka调优，spark,spark调优等大数据技术。
- 熟练使用SpringMVC，Springboot，Spring Cloud等Spring全家桶系列框架。
- 熟练使用 PostgreSQL, Redis等数据库和mybatis，mybatisPlus，jdbc等持久层开发技术.
- 熟练使用fastDFS，Cloudreve等文件存储服务技术。
- 熟练使用zookeeper , hadoop , hbase , Elasticsearch，Kerboros等技术工具进行开发。
- 熟练使用maven项目版本，打包和依赖管理工具
- 熟练使用linux操作系统，网络配置，shell脚本 (grep , sed , awk）
- 熟练使用docker镜像的分层，docker-compose和docker命令简单使用
- 熟练使用gitlab和gitlab_ci简单使用
- 熟悉k8s（正在学习）
- 熟练使用netty, netty-websock
- 熟悉Nginx等web服务器。
- 熟练使用idea，Eclipse开发工具和Git，SVN版本控制工具。
- 了解go,用go语言写leetcode
- 会使用异地组网 (蒲公英,zerotier)
- 博客地址 (见其它补充)
工作经历
杭州合韬科技有限公司
- 职位: java开发工程师
- 时间: 2018-03 ~~ 2021-5
- 职责:
- 负责公司项目数据接入，分析，入库；
- Spark , Kafka , Zookeeper集群的维护；
- Java依赖第三方包的版本进行管理；
浙江火眼金睛数据科技有限公司
- 职位: 大数据开发工程师
- 时间: 2021-5 ~~ 2021-8
- 职责:
- 负责数据接入和分析
- 实际事情
- 安装服务器 维护服务器
项目经历
公安预警系统(西湖指挥中心 六翮凌风)
- 项目时间:
- 2018年7月-2020年9月
- 项目描述:
- 通过netty,mq,定时任务同步数据库，汇聚到kafka里面，在通过spark 进行规则预警，实时预警推向kafka,数据统计，基础数据入库，redis数据相关性进行分发。(公安具体业务性属于保密信息无法展开)
- 项目结构
- 接入层：netty ,ftp,kafka；
- 分析层：spark；
- 数据层：MySQL,hbase, PostgreSQL,redis,hadoop。
- 持久层：MyBatis,jdbc, hbaseUtil；
- 业务层：Spring
- 控制层：SpringMVC、Spring SecurityOauth2；
- 展示层：vue,jsp
- 负责模块:
- 前端接入：netty接收tcp和udp的数据，转发ftp数据推向kafka，转发mq数据推向kafka；
- s三台Kafa集群：kafka topic的基本维护，kafka集群的搭建与基本维护；
- 15台spark集群：spark程序 分析3W/s左右数据量
- 预警统计: 对设备的状态及数据量维护。
数据资源中心系统（类似百度网盘的功能)
- 项目时间:
- 2020年9月-2021年5月
- 项目描述:
- 每个系统都是有一个文件存储和管理的地方，为了解决文件存储 采用了hdfs的文件存储方式，搜索采用了Elasticsearch 进行搜索.
- 项目结构
- 控制层：SpringMVC、eureka；
- 业务层：Spring、Spring Data Redis；
- 持久层：MyBatisPlus持久层框架，Druid连接池；
- 数据层：MySQL，Redis,hdfs, Elasticsearch。
- 负责模块:
- 文件上传功能；
- 部分文件根据url进行预览的功能；
- 根据文件内容，文件名，文件相关信息进行搜索；
- 文件可以通过分享到其它用户进行访问
博客系统(地址见其它补充)
- 项目时间:
- 2020年9月-2021年5月
- 项目描述:
- 记录自己知道，自己不知道的，点滴成长。
- 项目结构
- vuepress + hugo
- 负责模块:
- 用vuepree,vue进行搭建项目或hugo，编写markdown记录笔记
- Markdown编写工具typora,通过picgo自定义连接web（图床）图片管理
- Gitlab进行代码管理，并通过cicd完成自动打包和部署
- 通过路由器端口映射完成内网暴露端口到外面
- 通过阿里dnsapi 完成 动态公网Ip与域名的绑定；其它补充
其它补充
-
对接华为的 FusionInsight （kerbors，kafka，spark，hbase, MapReduce）
-
对接星环 TDH（Transwarp Data Hub）平台 （zookeeper,kerbors，kafka，hdfs，search,slipstream）
-
对接海康 AIcloud （ zookeeper、kafka、spark、hadoop、hbase ）
-
个人使用情况：系统deepin，电脑双屏幕台式机，如果自己带有 路由器，NAS，台式机，双屏幕。
-
博客地址：http://our.dongshanxia.top:56789/docs 和 https://dongshanxia.github.io/hugo/
自我评价
-
乐观开朗，面对困难喜欢迎难而上，对技术难点有永不放弃的钻研精神；
-
对互联网开发技术有高度的兴趣和敏感度，有较强的自主学习能力；
-
善于与他人沟通，能协同作战，一起解决工作和生活中遇到的各种困难；
-
严于代码，对工作积极严谨，能吃苦耐劳。
网络拓扑
