EDA365欢迎您登录!
您需要 登录 才可以下载或查看,没有帐号?注册
x
从零开始搭建的意思,就是从需求分析,系统规划,设计分析和落地实践几个步骤,从无到有的过程。考虑左右,为了个人学习和提升,选型基于流行的springboot+springcloud,从零开始搭建一套自己用于学习的研发平台。 整体平台的流程,从管理、开发、测试、运维、生产几条线,实现整体平台的落地和管理,下面是整体研发平台架构。 ![]()
整个研发平台架构设计 整体研发平台使用的基线规划如下 平台所有基线及所有项目目录结构,整体从零开始进行平台基线搭建及规划,多个基线的规划,考虑更合适多个岗位角色的管理 序号 基线说明 基线地址 维护人员 状态 备注
9 `6 O4 ?9 d% K# U H1平台整体文档目录alinesno-cloud-document 集成中 . T8 ^4 R2 ^# X4 F$ _% n+ \ N* \
2平台环境搭建文档记录文档基线alinesno-cloud-evn 集成中
; J- N( M8 o4 a% P; D7 i3平台前端规划及页面基础页面设计基线alinesno-cloud-pages 集成中
/ W& B! }, K: l5 N( B7 n4平台所有服务列表代码基线alinesno-cloud-service 集成中
- V) Z+ f0 t7 S: k. _: B9 {5平台前端应用和手机应用代码基线alinesno-cloud-application 0 U4 H0 k7 n1 k& Z! D0 y" z
6平台自动化测试基线alinesno-cloud-test / Y# ~& S( A! O# v. E$ t9 y
7平台运维脚本过程产物基线alinesno-cloud-operation
$ z) p1 \0 Z F: V# D0 g8平台搭建过程中常见问题基线alinesno-cloud-question
* f# d5 |$ F+ Z7 @9开发人员使用平台指引alinesno-cloud-guide 略* l4 p* _& v! Y. ]
一、个人为什么要搭建一个统一研发平台1、为了有方向感,不迷茫,不浪费时间,有可行的学习计划 上大学的时候,就开始学习计算机,从基础的Java到Java web,再到框架,再到在学校接一些小项目,如企业网站,兼职网,报名网站等,这几步路大概走了2年左右,而在学完两年之后,人还是很迷茫,方向感还不是特别强,而在找方向和突破迷茫上面,走过了很多弯路,终于找到点方向。后来才发现,很多这个专业的同学,可能毕业几年之后,依然还找不到方向和定位,东学一点西学一点,很浪费时间,可能醒悟的时候,已经过了3~5年,很难再转回头。 2、为了在工作和学习过得中不断积累和提高学习效率 学习和工作的几年里,几乎每个项目,资料,文档,规范都是有共性的,而由于各个项目的不统一,在接收新项目的,几乎都从零开始,一些非功能性需求的建设已经占去了实际项目的很多时间,投入需求建设的时间其实没多少,最简单的,代码的CURD都是一样,自己在做的时候,针对每个项目都有改进,比如这个项目统一了CURD,那个项目梳理出了公共代码,但是项目是分开的,最终新的项目,也是从零开始或者复制,再加上人工,手工,人肉运维,不断的繁琐而简单的工作的学习中无法脱身,影响进入下一步学习。这类似于温水煮青蛙,没有感觉,可能慢慢拖死自己,特别是做项目的前两年,除了数据的添加删除,还是这些。重复开发,无法共用这些都消耗了很长的时间。比如一直想学大数据,但是由于没有好的平台依托,目前还是无法投入学习。 3、为了可以总结和反思,可以不断的打磨出一个平台,一个产品或者一个精品 这几年的工作和学习中,有很多都是在学习,在努力,也很上进,资料有不计其数,但是却在用的时候,没有深入或者精通某一个模块,最常见的,连自己精通的模块都无法界定,不自信,没有自己的深入心得,比较浮在表面上。自己近乎有两年的状态如此,一直在努力,但是却一直没有达到预期的,别人认可的效果,接触的面好像很多,但是却没有哪一样是完全吃透的。最终发现的原因是没有做好总结和复习,反思,一个知识点以为看过了就懂,但是没有结合实际进行提炼与打磨,没有吃透,就往下一个模块,最终导致好像不断的在捡东西,但最终这些东西都不是自己的。所以需要打磨自己的东西,能谈出自己心得,这就是自己的产品,就是自己的精品,或者自己就一个精品。 4、为了扩大自己的视野和学习心态,开放心态 学习中最怕和就是无沟通与交流,没有他人的指点和自己的固步自封,坐井观天等心态,在学得一些技术之后,开始自以为自,然后偏向于安逸。明显,这种心态自己曾经有过,而且持续很长一段时间。这间接造成不管是沟通、技术方面都慢慢出现问题。自己一直相信,心态有多开放,有多宽容,帮助的人越多,自己也才更好的成长,不管是技术还是管理,包括生活等。 二、个人需要搭建怎么样的研发平台来学习1、可以随时随地的学习,只要有网络和电脑,就可以学习 闲碎的时间常常存在,比如学校上机,看手机,还有一些无聊的聚会,甚至上厕所,这些都要能可以用来学习,网络现在无处不在,有个手机就可以上网,所以这些时间要能充分利用起来。 2、可以好的工具和学习环境 学习过程,工具的成熟度和熟练程度很多时间影响到自己的学习效率。比如vim的配置使用,熟练之后,不管在编辑和代码方面,速度都比一般的操作快得多。还有jenkins,在这个工具上不断的学习和积累,不管是配置和权限,发布,运维,分布式都能很大的帮助,同时节省很多时间。 3、可以不断的学习目标,最好从基础程序员到总监 学习有一个从零开始,到不断往上的过程,并且有目标,知道每个目标阶段需要什么样的技术,能力,成长时间等,做到心知肚明,不浪费多余时间 。可以不断的有学习积累,在积累上由量变到质变 5、可以不断的跟外界沟通交流,避免闭门造车,固步自封 需要不断的与外部学习,获取到外部的建议,看到自己的不足,同时也看到自己的优点。在自己不断学习的过程中,同时不断的成果,并让别人看到,给自己提建议,在自己把自己的思路成果对外贡献的同时,别人也一样帮自己提升。 三、研发平台怎么搭建,搭建到什么样的程度搭建的思路都是先有一稿,然后再后期慢慢在这一稿上面做好优化,同时参考当前社会主流技术,便于学习。 1、制定整体学习规划和学习路线,技术路线和成长规划 平台构建过程中,产生大量的技术产物和管理产物,而在大量的项目过程中,同时也会产生大量的问题导致过程中细节的不完善,人为的不完善及限制,导致平台无法正常管理和运维,开发平台的管理规划即针对整体平台的运维管理进行的建议,以达到管理统一有序,过程明确,产物明确,目标明确等 从需求->准备->组织->开发<->内部测试<->用户测试<->自动测试->生产(试运行)->生产->运维整个流程完善,每个流程中又包括多个工作,如需求管理,同时每个工具必然有一定的产物,如需求管理的产物是需求管理基线和需求文档。 序号 模块 功能 产物 备注 1 `( A% k) D: {% H a
1需求需求管理管理基线
0 A: j5 D7 `# a8 j/ j2需求组织分工需求人员管理表 ( ?0 S* p' c0 e
3需求需求变更
& h0 \( S) r+ J! ^- o8 n% J4需求需求确认需求文档 ' o' x, F7 o1 `% s2 a% b) b' v
5需求需求分配 , ~9 `9 [) q4 [- \7 v
6准备工具准备工具管理文档 . y) j- I0 S6 e
7准备组织结构人员资源清单
! y$ @9 R4 f+ W4 U. n1 P! E8准备环境准备开发基线/文档管理基线
9 T D& P, i; o" o" u9准备资源准备 . Q7 J! s* P: m( e6 A) T* K0 w
10准备基线准备
$ t! I: @1 L" X+ q9 S4 i11组织人员资源人员资源准备 ( f- P E) a$ j- p4 ?( J, M3 q
12组织开发管理
1 H, C2 R) D3 @6 b' K5 H W5 `13组织沟通管理
% g/ g( X( d; Y! D14组织角色分工角色分工及联系沟通表
# V( \# F# p( O! h/ U' e' s15组织版本管理 ) M3 m$ s/ J3 M4 M& V7 _
16开发开发培训 + t4 r) Y+ p# G. N! F
17开发开发管理
% _; z: y5 x4 E& b% k18开发单元测试 - ^6 H' d! J* `1 R! s" S6 Z
19开发开发流程
# w; ^5 j! ?8 [- d20开发部署管理
0 Z! w, R5 h& g& l5 U6 h+ ^21开发问题处理 : d; @4 L' |# I0 L. }0 c
22测试(内部)内部测试
( \0 o3 X+ b, p- z23测试(内部)组织机构 3 a% p* `8 @, }% Q- ~
24测试(内部)问题反馈 4 h' J) n& h2 E! X2 ?
25测试(内部)Bug管理 1 ~8 C4 R* |) r5 a6 [* T
26测试(内部)接口测试 % k& i; o# `# D6 I' W
27测试(内部)功能测试 + T% U- j7 q$ d# G3 {0 ?6 s
28测试(内部)集成测试 9 I) n# V' D2 \! j4 u8 q- `( V9 p
29测试(用户)业务测试 0 w, m# }! |$ Z1 i
30测试(用户)问题反馈
% Q! S8 t" q, ^9 b( n31测试(用户)Bug管理 + [0 }' z& H' B; ?) M1 n
32测试(用户)问题反馈 1 a- z: Y7 w8 S5 c8 n: n2 k
33测试(用户)测试报告
/ O/ h6 ~# P- z2 X34测试(用户)版本管理
& \$ w5 }( d; |7 z5 u7 m8 c/ \35测试(自动)测试配置
- }. ]) `2 J& g0 ]2 o36测试(自动)压力测试 ; C; N Z) @3 {+ _
37测试(自动)安全扫描 # b$ [3 U" F! k- o+ O& I& b, g
38测试(自动)功能测试测试报告 ; v$ o# s. O6 u, ]- N+ j, y7 y
39测试(自动)安全测试安全报告
) s L2 d) J: R" n* ], S40测试(自动)压力测试压力报告 ; @5 X& ~: D! f% {: K+ K
41生产(试运行)切换计划 D) L1 n" _' x3 O6 v5 w9 ^0 x
42生产(试运行)工单管理
6 U9 q9 o: j1 ^/ L0 J/ \43生产(试运行)账号管理
* t$ |1 h/ Y- b: `2 A! Z44生产(试运行)安全管理
8 D) S( O/ [# t45生产(正式)运维监控 7 I1 C( d: l V8 ^0 q1 ?
46生产(正式)工单管理 ' l% B5 }# a$ x4 i1 u
47生产(正式)日志管理
4 b: S9 V+ x, ^, x) o; n为达到以上的要求,也为了过程有记录和沉淀,考虑一些必要性的管理工具,暂时考虑以下几个工具: 序号 说明 技术 版本 备注 , I1 Z# [6 E: R4 a2 ~7 W
1文档管理GitBook 企业内部做好考虑,团队未必每个人都能接受markdown
% G6 Q2 A U3 [4 z+ X! `2Wiki管理GitBook 企业内部做好考虑,团队未必每个人都能接受markdown
! V! `0 a( w( M' ^% d. s3开发过程管理Jira
5 x0 ^1 v( ]. Q: L9 Y0 N4开发工具管理百度网盘 公司内部建议使用FTP或者内部文件系统# C$ Y- r. N+ A3 |
5邮件通知163邮箱 建议使用企业内部邮箱
* K, m6 ?! U" D7 }% s( x以下为文档管理基线示例 ![]()
2、制定持续集成环境,为学习提供基础的准备和提升效率 持续集成他一套比较成熟的自动化研发解决方案,使用也有几年时间,不同的人有不同的设计,有些可能只是发布工程,这里针对于需求、开发、测试、文档、运维几个维度,进行了整合,同时也制定和管理方案,以达到基础规范 – 组织结构 – 基础架构 – 业务开发 – 持续集成– 自动化部署 – 自动化测试 – 生产运维监控 – 在线升级 几个方向自动化,这里不得不提一下Jenkins+git,确实是整个自动化的核心。目前考虑了一下这些工具,针对于开发的: 序号 说明 技术 版本 备注 1 o9 E7 b6 o/ p7 L' Q
1代码管理Git(gitee)2.17.1企业内部建议使用gitlab(更能满足需求)
3 Q# }2 k5 H; b5代码管理客户端SourceTree2.7.6
1 a# P, [$ a2 M. s! [9 c2自动部署工具Jenkins2.107.1不建议使用太新版本
0 @& K+ k! ^/ ^8 M. s* n" q3私服库Nexus2.14.1不建议使用3.x版本3 V" Z( n/ A7 ~
3构建工具Maven3.6.0
6 B7 }$ v: a0 a; r4代码检测Sonar5.x不建议使用太新版本0 E4 B- E+ j% m# d" D G% F( s( Z
5镜像管理Harbor1.5.2
k" U; ^0 z9 F; t, N6镜像容器Docker1.12.1 1 |' t* k- i, D# d4 y
7容器管理Kubernetes1.10不建议使用太高版本,跟着社区走1 D, A4 D& Q* A6 G
自动化持续集成的效果如下: ![]()
文档持续集成效果如下: ![]()
3、下载和整理软件工具,整理软件工具版本 基础环境完善及配置,为整个开发平台做基础,以环境搭建为主,为本地开发环境。 使用的阿里云服务器规划如下: 序号 作用 服务器资源(系统/内存/硬盘) IP规划 备注 : K8 _! u; V, w) A
1开发服务器_masterCentOS7.4_x64_4G_40G192.168.1.110
% q) ^, ~) n8 C2开发服务器_slaveCentOS7.4_x64_2G_40G192.168.1.111 9 {' X0 j" V" |
3开发服务器_slaveCentOS7.4_x64_1G_40G192.168.1.112 , g7 M( W$ G+ l% M
规划的使用工具如下: 序号 说明 工具 IP 是否集群 文档完善进度 备注
& Z+ j/ F! U% [" A& R1基础环境JDK172.18.11.17单点已完善
- r! O* ]: ~3 _' Y+ L- C8反向代理Nginx172.18.11.17单点已完善 / ?8 W7 S9 Z# B$ I) ] l
11自动部署工具Jenkins172.18.11.17单点完善中
1 {/ O5 u; A) E) V$ p( w ?' s3 ]1 R6 d12私服库Nexus172.18.11.17单点已完善
' O0 Q4 h: m0 J6 ~( L* B17链接跟踪skywalking172.18.11.17单点 ) `7 x4 ~5 ]; y
13代码检测Sonar172.18.11.17单点 : q$ g3 ]: i3 z: K% z; e7 C$ ^
2缓存工具Redis172.18.11.17单点已完善 8 u6 u' t/ I2 z7 F, E" o2 L
4消息列表Kafka172.18.11.17单点已完善 ( N* I$ M+ {- H5 R( h; ^4 F
10分布式注册中心zeekeeper172.18.11.17单点完善中 - y. N- F1 Z+ a: O% k! S
6分布式注册中心Eurake172.18.11.139单点 4 {/ N1 u$ P: V! V4 S
10分页式配置中心Apollo172.18.11.139单点
+ ]. V- n8 z& v9 H; p6数据库MySQL172.18.11.139单点已完善 2 R' F0 w/ B& E4 ] V
1开发过程管理Jira192.168.1.120集群 * V/ ?. i$ Y5 t% b3 k: h
3Redis监控工具Redmon192.168.1.119单点 . E4 ?( H$ R" ]$ n# F1 F
5消息管理工具Kafka-Manager192.168.1.119单点 {) U6 H3 s9 E! C6 ~, n1 _
7数据库主从MyCAT192.168.1.111/112集群 7 P8 j( k: T, L+ ]
7容器管理Kubernetes192.168.1.1110/111/112集群
' Q" q5 g+ C# `/ `- Y9高可用KeepAlived192.168.1.110/111/112集群 ( `* v; H) S9 _
14镜像管理Harbor192.168.1.110单点 8 L Z9 h- K9 V( I( I! v. n" k
15自动部署Ansible192.168.1.119单点 $ W- k7 @9 t& }0 P4 e" \
16自动部署管理Ansible Tower192.168.1.119单点
! q, N8 l" E6 o6 ?# T17链接跟踪pinpoint192.168.1.119单点
1 o: S6 F3 Q f+ I0 D( M18日志监控elk192.168.1.119集群
( Y) a: b" J1 }, E, B19服务器监控Zabbix192.168.1.119单点 & U; g% O6 o0 d0 T) w
工具的保存是放在百度云上面: ![]()
4、规划平台非功能性需求组件,包括基础组件等 功能重用,组件重用,目前最好的技术承载就是微服务了,这也是这几年才出现,这样规划研发平台构架,对我而言,微服务架构自然成为不二的选择(后面的中台业务也是在微服务上进行进程创建) 服务设计原则 服务单库设计,以减少迁移,服务之前影响等;
* X6 @6 w0 J+ r- J, a4 ~5 F& d基础服务只为调用设计,位于服务的底层或者中间层,基础服务禁止调用业务服务;
, B& D5 Z' T4 F业务服务调用基础服务,或者其它服务,业务服务为服务的顶层,用于定制化业务;4 ^; z. v% N9 t F/ |% ]. B; n& N
同一级服务之间可以互相调用,只能自下往下调用,平级调用,禁止自下往上调用,以避免服务混乱及维护混乱。
( h% I' ^" U1 A5 ]$ f% f) x$ ]每种服务目录按999个服务规划 服务设计规划 类型 目录名称 说明 备注
- W5 w- h) i {教程示例服务做示例工程,包含有所有服务调用示例
$ f( E* v8 X3 N" v! E; g前端应用门户服务与中台服务同级,用于统一门户服务
2 b# R/ U+ q. l/ B2 f1 c# M/ Y前端应用应用服务前端应用或者手机应用
1 \' N' O1 Q/ z1 X- |* B4 h0 H0 u网关应用网关服务对外网关服务,与平台组件同级,但仅做为网关部分
. b( |% C9 i4 j: X6 k: R* E中台服务中台服务服务于前端应用,处理业务,可以服务之间互相调用,或者调用基础服务 / F6 [) I- T" P2 G2 J
基础服务基础服务公用基础组件,只能被调用或者调用公共或者组件包,不能主动调用其它服务 2 o4 Y/ L# m5 z( v: b3 [6 F
基础服务公共服务基础公共包,所有工程的基础,包括配置,页面,核心包等 2 q4 U; X' R6 L; A( n5 _5 v2 z1 D8 s
基础服务组件服务基础组件包,用于第三方等,组件包不能单独运行,只能被依赖 ' C% q2 c5 q3 E; l1 C; V: T( c( f+ l
运维环境监控服务监控平台,用于运维平台,目前仅规划,有可能与平台服务合并一起 / {! ?5 I2 u) I8 j8 i
运维环境平台服务包括注册中心,配置中心等
; x& W0 k7 b, s( D$ S工程目录规划 关于命名方向,一直不知道用什么名字比较合适,所以使用自己网站的域名。 序号 目录名称 目录规划 端口规划 权限 备注
) b9 Q/ r& D- I5 r) r1公共服务alinesno-cloud-common 研发
5 ~( S! a( E- V/ W! N2组件服务alinesno-cloud-component 研发 & x0 z' k1 @. I$ W: D9 r( x6 w/ C
3平台服务alinesno-cloud-platform24000+研发
4 C: S- u, H/ W3 o. x: A: @ h, e4基础服务alinesno-cloud-base25000+研发
, Y# b3 ?' Q# f* l5业务服务alinesno-cloud-business26000+开发
$ }+ O, v5 ~0 {1 R& R+ ]. A6门户服务alinesno-cloud-portal27000+研发 . U* }7 Q4 h- J: ^# ]/ u i9 ?! g. E- `' t
7网关服务alinesno-cloud-gate28000+开发
- `- \6 M: X7 e8应用服务alinesno-cloud-web34000+开发 ) ?; s7 o5 m" Y" d4 n) ]0 o0 w
9监控服务alinesno-cloud-monitor35000+研发 9 s8 V' W8 N9 B4 T) Z2 t
10示例服务alinesno-cloud-demo30000+研发置于guide基线% Z* } E* b+ C& _8 X+ V6 U
5、提取出业务中台规划,并完善组件,打磨中台业务产品 上面也提到,业务中台也是在微服务上面构建,设计原则加上了几个点,分别如下: 按“重中台”+”轻应用”设计,业务应用逻辑思路放在前端应用,推荐是尽量减少或不拆分前端服务;
# t. m1 b* [' c% k9 l重中台的建设,在于前端应用共性部分的抽取和后期的沉淀,形成中台业务服务;
1 V$ D; c$ ?' l7 o7 s中台服务调用基础服务,或者其它同级服务,中台服务为服务的中层,用于业务共性(共享)抽取; 整体中台的业务架构如下: ![]()
中台业务架构设计 中台业务建设目标如下 ![]()
中台业务建设目标 6、统一和通用的权限配置系统和界面设计 这个就是通用的,只需要在配置平台添加好菜单,分配好账号权限,本地开发只需要账户就可以进行本地开发,配置平台包括的一些功能规划如下: 应用管理:用于配置系统应用,添加和删除管理。
: r. Y! \% R: a用户管理:用户是系统操作者,该功能主要完成系统用户配置。
- e: Z" N1 b( W: j+ f部门管理:配置系统组织机构(公司、部门、小组),树结构展现支持数据权限。0 y0 ]5 r- C; i8 A
岗位管理:配置系统用户所属担任职务。6 w, m0 q- W- x) u: O
菜单管理:配置系统菜单,操作权限,按钮权限标识等。, F0 d" o0 A7 [' I0 G) p
角色管理:角色菜单权限分配、设置角色按机构进行数据范围权限划分。
- z# r9 R# J; R; S字典管理:对系统中经常使用的一些较为固定的数据进行维护。4 C0 h9 {% E& k! [/ V \ F
参数管理:对系统动态配置常用参数。3 J) h" a4 e5 w
通知公告:系统通知公告信息发布维护。* y8 a; H9 P o, z1 s G) T
操作日志:系统正常操作日志记录和查询;系统异常信息日志记录和查询。
6 t- Y3 \* \8 o- A; k/ D# ]登录日志:系统登录日志记录查询包含登录异常。
) G; G( a! W7 z& T$ D5 j; M1 ]2 y6 ?在线用户:当前系统中活跃用户状态监控。
9 g, Z; o: k/ K) e: i8 H9 k4 I定时任务:在线(添加、修改、删除)任务调度包含执行结果日志。
/ ?+ V3 ]8 X/ N4 E- d3 ^7 m代码生成:前后端代码的生成(java、html、xml、sql)支持CRUD下载 。 然后大概的设计如下: ![]()
开发人员的开发流程如下: ![]()
7、完善软件组件辅助,包括测试、运维、环境管理 以上组件的搭建过程,如果一个人管理,会产生很多问题,同时延伸出其它方向的建设,其中包括最基础的服务器管理和服务预警方向,安全策略管理,平台整体入口和常用文档,功能,平台组件的质量保证,即运维、机房环境,测试这几块。在建设统一研发平台的同时,也自然包括建设这些内容,大概做了一些建设工作,以下为一些设计的示例。 机房服务器管理系统 ![]()
机房管理系统,针对云系统和服务部署的管理 平台统一门户管理 ![]()
* f3 }6 D! H, E# l1 c7 Z5 ^: F2 e+ x
其它的建议,如包括人才培养,大数据,人工智能,项目管理,都是在研发平台中慢慢积累和培养的产物,而最终的结果是为了整理出一套完整的企业统一研发平台。 四、总结以上为目前搭建整体个人整体研发平台的思路和设计,一个优秀的研发人员的工作并非只是编制代码,更多的是自己能做什么,完成什么,有什么价值,能帮别人做什么。
$ V! j! g2 r+ P, Z |