找回密码
 注册
关于网站域名变更的通知
查看: 404|回复: 1
打印 上一主题 下一主题

开发为什么要从零开始搭建属于自己的统一研发平台和中台架构

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2020-8-13 13:54 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x
一、个人为什么要搭建一个统一研发平台

1、为了有方向感,不迷茫,不浪费时间,有可行的学习计划

上大学的时候,就开始学习计算机,从基础的Java到Java web,再到框架,再到在学校接一些小项目,如企业网站,兼职网,报名网站等,这几步路大概走了2年左右,而在学完两年之后,人还是很迷茫,方向感还不是特别强,而在找方向和突破迷茫上面,走过了很多弯路,终于找到点方向。后来才发现,很多这个专业的同学,可能毕业几年之后,依然还找不到方向和定位,东学一点西学一点,很浪费时间,可能醒悟的时候,已经过了3~5年,很难再转回头。

2、为了在工作和学习过得中不断积累和提高学习效率

学习和工作的几年里,几乎每个项目,资料,文档,规范都是有共性的,而由于各个项目的不统一,在接收新项目的,几乎都从零开始,一些非功能性需求的建设已经占去了实际项目的很多时间,投入需求建设的时间其实没多少,最简单的,代码的CURD都是一样,自己在做的时候,针对每个项目都有改进,比如这个项目统一了CURD,那个项目梳理出了公共代码,但是项目是分开的,最终新的项目,也是从零开始或者复制,再加上人工,手工,人肉运维,不断的繁琐而简单的工作的学习中无法脱身,影响进入下一步学习。这类似于温水煮青蛙,没有感觉,可能慢慢拖死自己,特别是做项目的前两年,除了数据的添加删除,还是这些。重复开发,无法共用这些都消耗了很长的时间。比如一直想学大数据,但是由于没有好的平台依托,目前还是无法投入学习。

3、为了可以总结和反思,可以不断的打磨出一个平台,一个产品或者一个精品

这几年的工作和学习中,有很多都是在学习,在努力,也很上进,资料有不计其数,但是却在用的时候,没有深入或者精通某一个模块,最常见的,连自己精通的模块都无法界定,不自信,没有自己的深入心得,比较浮在表面上。自己近乎有两年的状态如此,一直在努力,但是却一直没有达到预期的,别人认可的效果,接触的面好像很多,但是却没有哪一样是完全吃透的。最终发现的原因是没有做好总结和复习,反思,一个知识点以为看过了就懂,但是没有结合实际进行提炼与打磨,没有吃透,就往下一个模块,最终导致好像不断的在捡东西,但最终这些东西都不是自己的。所以需要打磨自己的东西,能谈出自己心得,这就是自己的产品,就是自己的精品,或者自己就一个精品。

4、为了扩大自己的视野和学习心态,开放心态

学习中最怕和就是无沟通与交流,没有他人的指点和自己的固步自封,坐井观天等心态,在学得一些技术之后,开始自以为自,然后偏向于安逸。明显,这种心态自己曾经有过,而且持续很长一段时间。这间接造成不管是沟通、技术方面都慢慢出现问题。自己一直相信,心态有多开放,有多宽容,帮助的人越多,自己也才更好的成长,不管是技术还是管理,包括生活等。

二、个人需要搭建怎么样的研发平台来学习

1、可以随时随地的学习,只要有网络和电脑,就可以学习

闲碎的时间常常存在,比如学校上机,看手机,还有一些无聊的聚会,甚至上厕所,这些都要能可以用来学习,网络现在无处不在,有个手机就可以上网,所以这些时间要能充分利用起来。

2、可以好的工具和学习环境

学习过程,工具的成熟度和熟练程度很多时间影响到自己的学习效率。比如vim的配置使用,熟练之后,不管在编辑和代码方面,速度都比一般的操作快得多。还有jenkins,在这个工具上不断的学习和积累,不管是配置和权限,发布,运维,分布式都能很大的帮助,同时节省很多时间。

3、可以不断的学习目标,最好从基础程序员到总监

学习有一个从零开始,到不断往上的过程,并且有目标,知道每个目标阶段需要什么样的技术,能力,成长时间等,做到心知肚明,不浪费多余时间 。可以不断的有学习积累,在积累上由量变到质变

5、可以不断的跟外界沟通交流,避免闭门造车,固步自封

需要不断的与外部学习,获取到外部的建议,看到自己的不足,同时也看到自己的优点。在自己不断学习的过程中,同时不断的成果,并让别人看到,给自己提建议,在自己把自己的思路成果对外贡献的同时,别人也一样帮自己提升。

三、研发平台怎么搭建,搭建到什么样的程度

搭建的思路都是先有一稿,然后再后期慢慢在这一稿上面做好优化,同时参考当前社会主流技术,便于学习。

1、制定整体学习规划和学习路线,技术路线和成长规划

平台构建过程中,产生大量的技术产物和管理产物,而在大量的项目过程中,同时也会产生大量的问题导致过程中细节的不完善,人为的不完善及限制,导致平台无法正常管理和运维,开发平台的管理规划即针对整体平台的运维管理进行的建议,以达到管理统一有序,过程明确,产物明确,目标明确

需求->准备->组织->开发<->内部测试<->用户测试<->自动测试->生产(试运行)->生产->运维整个流程完善,每个流程中又包括多个工作,如需求管理,同时每个工具必然有一定的产物,如需求管理的产物是需求管理基线和需求文档。

序号
模块
功能
产物
备注
' f& \% w* M% c4 ^6 p
1需求需求管理管理基线
" i8 t- R0 J; }/ h2需求组织分工需求人员管理表
! l0 t( l/ c* h1 d3 O" e3需求需求变更
1 c& g/ T" t% e' S4需求需求确认需求文档 0 z7 g. e+ v% J1 B$ X1 i# s) c
5需求需求分配
0 O* u# r3 P$ G, |1 c6准备工具准备工具管理文档
  h% V' }' B, \. ?7准备组织结构人员资源清单
0 L) n1 c2 G6 t, S8准备环境准备开发基线/文档管理基线 1 e7 P3 I" [4 A) G& h" K
9准备资源准备 2 A1 D+ d* R- Z3 L( m, \
10准备基线准备 - j6 R: j$ W4 J2 n& d3 U
11组织人员资源人员资源准备
7 h5 C; t! Y" |$ B& M+ a5 R12组织开发管理 7 I0 @/ ~5 j( v2 C/ R- A& M
13组织沟通管理
6 K! s* x, ^4 A14组织角色分工角色分工及联系沟通表
) `8 l  s) o+ J" Q; b. U15组织版本管理 8 b; F. u! @0 o
16开发开发培训 , T" w7 J! M. j* T' L6 ?, F# d5 \
17开发开发管理 $ F: w. w( M9 |8 S
18开发单元测试
; Z; }: t! N8 \/ h19开发开发流程
! v$ s+ o4 s4 |5 ?( Z' r20开发部署管理 ! v. {" q; F0 x; R3 t( x+ `
21开发问题处理 - B/ ]: U1 j  C
22测试(内部)内部测试
2 ^2 B# G* S! K5 u' B23测试(内部)组织机构
! L  O. a( M- K1 k. I, y/ ?6 S+ Q24测试(内部)问题反馈
: @) [3 r. v; K$ l25测试(内部)Bug管理
9 A/ r8 T( F2 r8 s7 S/ G26测试(内部)接口测试
, C, G, l7 t6 z, b' y) l; Z27测试(内部)功能测试
- v( J# }) w/ f+ z: J! X: }28测试(内部)集成测试 $ f/ y0 b: N* t5 r3 a8 Y$ P
29测试(用户)业务测试 " h/ N0 A/ k) ~* ^' W
30测试(用户)问题反馈 4 e4 {2 T; k- ?: ]0 z
31测试(用户)Bug管理 8 B; p2 Y! |& ~6 z- x
32测试(用户)问题反馈 , x* M5 S1 Z8 x3 u# y
33测试(用户)测试报告 ! a4 h8 X! `7 R6 k1 U
34测试(用户)版本管理
5 {4 i) {: W8 P& b' K7 j35测试(自动)测试配置 # v- l7 H* O# W9 k* _
36测试(自动)压力测试 ( g2 v3 N1 {! a8 l. t
37测试(自动)安全扫描 . L0 K" b  h: X* k5 k9 F+ `3 F1 U2 s
38测试(自动)功能测试测试报告
1 P6 Q) ^2 O8 b4 Z39测试(自动)安全测试安全报告
. |4 c6 B! W; i40测试(自动)压力测试压力报告
- D/ ?7 q2 q& v: X1 O- h41生产(试运行)切换计划
" D4 A' p. a* G9 L: O* O42生产(试运行)工单管理 " K# I: F: W2 v
43生产(试运行)账号管理
0 p4 T+ w8 c4 l2 `/ a$ S44生产(试运行)安全管理
/ o3 F9 S$ y' @0 J45生产(正式)运维监控
3 @( V4 p% E1 `$ L" I1 j/ s46生产(正式)工单管理
$ e: I6 `7 ^- ^7 j4 r5 j" |6 Z% @47生产(正式)日志管理
8 ?5 b1 ^2 t/ v# E: p" _% e1 R

为达到以上的要求,也为了过程有记录和沉淀,考虑一些必要性的管理工具,暂时考虑以下几个工具:

序号
说明
技术
版本
备注

) ^2 p, A1 _8 @% M2 F+ z1文档管理GitBook 企业内部做好考虑,团队未必每个人都能接受markdown
* y8 z  ^! `% S2Wiki管理GitBook 企业内部做好考虑,团队未必每个人都能接受markdown* @. p. }  u" h' B
3开发过程管理Jira
' ]9 a& B9 s4 G5 M- O# O4开发工具管理百度网盘 公司内部建议使用FTP或者内部文件系统1 a. u+ z( g: C
5邮件通知163邮箱 建议使用企业内部邮箱
& @% i! j/ a0 S- I

以下为文档管理基线示例

2、制定持续集成环境,为学习提供基础的准备和提升效率

持续集成他一套比较成熟的自动化研发解决方案,使用也有几年时间,不同的人有不同的设计,有些可能只是发布工程,这里针对于需求、开发、测试、文档、运维几个维度,进行了整合,同时也制定和管理方案,以达到基础规范组织结构基础架构业务开发持续集成自动化部署自动化测试生产运维监控在线升级 几个方向自动化,这里不得不提一下Jenkins+git,确实是整个自动化的核心。目前考虑了一下这些工具,针对于开发的:

序号
说明
技术
版本
备注

2 ?% ~# w8 ~9 O$ V5 v8 g2 r1 l1代码管理Git(gitee)2.17.1企业内部建议使用gitlab(更能满足需求)$ u# ~8 l( u9 e
5代码管理客户端SourceTree2.7.6 8 a' F( M. f  m5 [* J" z8 s
2自动部署工具Jenkins2.107.1不建议使用太新版本7 B' H' q' k0 K5 k/ n. j
3私服库Nexus2.14.1不建议使用3.x版本
- `& [3 V  Q' v/ X* X- S! Z3构建工具Maven3.6.0
1 j! l9 d8 K0 G1 n4代码检测Sonar5.x不建议使用太新版本
. o+ e" }2 u# `; ]$ D7 A5镜像管理Harbor1.5.2
3 F9 S9 r$ d$ ~& O  W* [+ e6镜像容器Docker1.12.1
4 j3 _* n* ?% H7容器管理Kubernetes1.10不建议使用太高版本,跟着社区走

/ m, C) ?& t$ V+ ?

自动化持续集成的效果如下:

文档持续集成效果如下:

3、下载和整理软件工具,整理软件工具版本

基础环境完善及配置,为整个开发平台做基础,以环境搭建为主,为本地开发环境。

使用的阿里云服务器规划如下:

序号
作用
服务器资源(系统/内存/硬盘)
IP规划
备注
" P! v) r; {/ v2 C2 l. M
1开发服务器_masterCentOS7.4_x64_4G_40G192.168.1.110
6 p8 |0 n3 L8 V1 p! e2开发服务器_slaveCentOS7.4_x64_2G_40G192.168.1.111
7 I8 m/ b  K4 b1 b7 @) M1 K3开发服务器_slaveCentOS7.4_x64_1G_40G192.168.1.112
4 u% u2 r: Y9 O1 u

规划的使用工具如下:

序号
说明
工具
IP
是否集群
文档完善进度
备注

; `/ a/ z# |4 g! f9 n8 x1 {1基础环境JDK172.18.11.17单点已完善 6 [9 X, t5 K9 s2 f5 U0 c
8反向代理Nginx172.18.11.17单点已完善
: A% k2 |9 o- Z6 ^0 Y11自动部署工具Jenkins172.18.11.17单点完善中
! ^. O, O5 P+ G  [/ v, d: L12私服库Nexus172.18.11.17单点已完善
% H0 E: Q: P* T1 Y8 D' V9 }% [5 s17链接跟踪skywalking172.18.11.17单点
9 a& p8 j! j  f2 h/ N# J3 e13代码检测Sonar172.18.11.17单点 + b. ^: j( o% j. i: S8 m
2缓存工具Redis172.18.11.17单点已完善
( c7 O) C5 }$ U* ~3 y( j9 ?9 w4消息列表Kafka172.18.11.17单点已完善 - V+ h% k$ r! _3 i' C7 r9 i
10分布式注册中心zeekeeper172.18.11.17单点完善中
' L& i" ]' g0 n* D* S6分布式注册中心Eurake172.18.11.139单点
5 ^  G: v% l! e; b7 s& L10分页式配置中心Apollo172.18.11.139单点 0 S1 _  r# C7 `! P9 ~$ H2 C
6数据库MySQL172.18.11.139单点已完善 6 \, f3 z/ R( G
1开发过程管理Jira192.168.1.120集群 2 ~9 J8 f# J+ K
3Redis监控工具Redmon192.168.1.119单点 5 n/ u8 z/ M* c9 x
5消息管理工具Kafka-Manager192.168.1.119单点
; _$ B7 i8 [1 }' O% w: l! y5 j" u7数据库主从MyCAT192.168.1.111/112集群
1 W1 B: f% H, _; {7 ^1 d7容器管理Kubernetes192.168.1.1110/111/112集群 5 s, [$ S& |0 L* d* @) V- z5 K
9高可用KeepAlived192.168.1.110/111/112集群
1 M( C5 _6 p, w3 _0 {14镜像管理Harbor192.168.1.110单点 . a) E, G! R8 c7 z2 e
15自动部署Ansible192.168.1.119单点
4 y$ ~$ |; w* k3 m/ g- a1 f3 `2 O8 w16自动部署管理Ansible Tower192.168.1.119单点
1 E" C# o# u/ o17链接跟踪pinpoint192.168.1.119单点 5 x. `* `. ?6 v+ n5 {
18日志监控elk192.168.1.119集群
, s' V7 R' M- \" t19服务器监控Zabbix192.168.1.119单点
- |# f% F7 @5 b8 I. O

# W! P; P8 [; h! E/ Z! o( w

4、规划平台非功能性需求组件,包括基础组件等

功能重用,组件重用,目前最好的技术承载就是微服务了,这也是这几年才出现,这样规划研发平台构架,对我而言,微服务架构自然成为不二的选择(后面的中台业务也是在微服务上进行进程创建)

服务设计原则

服务单库设计,以减少迁移,服务之前影响等;
( M# D" I5 W: J6 p. u9 ^& E7 A基础服务只为调用设计,位于服务的底层或者中间层,基础服务禁止调用业务服务;" d7 p; H- a4 p9 U
业务服务调用基础服务,或者其它服务,业务服务为服务的顶层,用于定制化业务;
6 [& L8 @! a' N9 g6 s同一级服务之间可以互相调用,只能自下往下调用,平级调用,禁止自下往上调用,以避免服务混乱及维护混乱。& F$ |1 D7 q3 Z5 v# u
每种服务目录按999个服务规划

服务设计规划

类型
目录名称
说明
备注

  R! q- y' _8 V! ?2 S教程示例服务做示例工程,包含有所有服务调用示例 4 s* P, A4 X% [: r* W6 m4 c4 I
前端应用门户服务与中台服务同级,用于统一门户服务
- N. M6 x7 Z4 E+ ]& m前端应用应用服务前端应用或者手机应用
8 @) k8 o3 t* K# }网关应用网关服务对外网关服务,与平台组件同级,但仅做为网关部分
4 s* D* k1 `) K! A. L8 z# i' K: ]中台服务中台服务服务于前端应用,处理业务,可以服务之间互相调用,或者调用基础服务 9 L* E, p, x+ y  [+ G: ]
基础服务基础服务公用基础组件,只能被调用或者调用公共或者组件包,不能主动调用其它服务
: f4 L" _3 v, m1 e. c7 V/ z* y5 D基础服务公共服务基础公共包,所有工程的基础,包括配置,页面,核心包等 ! ^. {2 Z$ _* }
基础服务组件服务基础组件包,用于第三方等,组件包不能单独运行,只能被依赖
, r- J, F9 X7 L4 w% W运维环境监控服务监控平台,用于运维平台,目前仅规划,有可能与平台服务合并一起
/ F& k7 x  r0 W. E# C7 _. {& `运维环境平台服务包括注册中心,配置中心等

, B6 L. H! L/ x! }. L

工程目录规划

关于命名方向,一直不知道用什么名字比较合适,所以使用自己网站的域名。

序号
目录名称
目录规划
端口规划
权限
备注

" Z) n* C$ `# C8 @4 e1公共服务alinesno-cloud-common 研发
. G- ~% _; P  ?% z2组件服务alinesno-cloud-component 研发
$ R# }5 ?! ]6 c  ~6 X3平台服务alinesno-cloud-platform24000+研发   k7 ]8 O/ A* _3 b
4基础服务alinesno-cloud-base25000+研发
% t; e4 l2 |$ \, h% k* J5业务服务alinesno-cloud-business26000+开发
" H# Y8 N6 c  a1 i7 L4 r6门户服务alinesno-cloud-portal27000+研发
7 @/ }. f' K( L4 k( Q$ N1 @7网关服务alinesno-cloud-gate28000+开发 ' r" o7 O0 \% H4 R. V
8应用服务alinesno-cloud-web34000+开发 2 D& Y; W' J8 ?9 U
9监控服务alinesno-cloud-monitor35000+研发 * z- Y9 J1 P% k
10示例服务alinesno-cloud-demo30000+研发置于guide基线

8 K0 p! I: y3 b0 Q5 {6 b

5、提取出业务中台规划,并完善组件,打磨中台业务产品

上面也提到,业务中台也是在微服务上面构建,设计原则加上了几个点,分别如下:

按“重中台”+”轻应用”设计,业务应用逻辑思路放在前端应用,推荐是尽量减少或不拆分前端服务;" W% e* S7 h  c+ J  f
重中台的建设,在于前端应用共性部分的抽取和后期的沉淀,形成中台业务服务;  j: N* _& i: x
中台服务调用基础服务,或者其它同级服务,中台服务为服务的中层,用于业务共性(共享)抽取;

整体中台的业务架构如下:

中台业务架构设计

中台业务建设目标如下

中台业务建设目标

6、统一和通用的权限配置系统和界面设计

这个就是通用的,只需要在配置平台添加好菜单,分配好账号权限,本地开发只需要账户就可以进行本地开发,配置平台包括的一些功能规划如下:

应用管理:用于配置系统应用,添加和删除管理。
, ^3 D$ t: M! G7 \8 ~+ O用户管理:用户是系统操作者,该功能主要完成系统用户配置。1 h" m$ T, p+ ]6 h2 u0 |
部门管理:配置系统组织机构(公司、部门、小组),树结构展现支持数据权限。
6 z. o" E- a# n0 T- g6 @" V岗位管理:配置系统用户所属担任职务。
: `' J8 E8 q  k; q菜单管理:配置系统菜单,操作权限,按钮权限标识等。
" U/ a  V% y0 s+ t# Z角色管理:角色菜单权限分配、设置角色按机构进行数据范围权限划分。" U5 N6 m( c$ R
字典管理:对系统中经常使用的一些较为固定的数据进行维护。
' e) ]. f; e! V+ r4 I参数管理:对系统动态配置常用参数。! h: G6 P" U& N8 ]& w4 W( m2 n
通知公告:系统通知公告信息发布维护。
- [3 n8 O/ b. [* i) _操作日志:系统正常操作日志记录和查询;系统异常信息日志记录和查询。
  A& ~( T3 |9 B( c登录日志:系统登录日志记录查询包含登录异常。
( k4 L9 m0 `6 W2 |8 e在线用户:当前系统中活跃用户状态监控。
! l  U4 i) L0 I0 C% D定时任务:在线(添加、修改、删除)任务调度包含执行结果日志。
* @  n6 g% `) @: I% w% p代码生成:前后端代码的生成(java、html、xml、sql)支持CRUD下载 。

然后大概的设计如下:

开发人员的开发流程如下:

7、完善软件组件辅助,包括测试、运维、环境管理

以上组件的搭建过程,如果一个人管理,会产生很多问题,同时延伸出其它方向的建设,其中包括最基础的服务器管理和服务预警方向,安全策略管理,平台整体入口和常用文档,功能,平台组件的质量保证,即运维、机房环境,测试这几块。在建设统一研发平台的同时,也自然包括建设这些内容,大概做了一些建设工作,以下为一些设计的示例。

机房服务器管理系统

机房管理系统,针对云系统和服务部署的管理

平台统一门户管理


  • . W( i4 G! \- R: X$ S, `
    & Y; g+ c0 {# l7 _8 ]/ Q

其它的建议,如包括人才培养,大数据,人工智能,项目管理,都是在研发平台中慢慢积累和培养的产物,而最终的结果是为了整理出一套完整的企业统一研发平台。

四、总结

以上为目前搭建整体个人整体研发平台的思路和设计,一个优秀的研发人员的工作并非只是编制代码,更多的是自己能做什么,完成什么,有什么价值,能帮别人做什么。


/ F) g' m: @$ y! V+ r) j

该用户从未签到

2#
发表于 2020-8-13 14:44 | 只看该作者
一个优秀的研发人员的工作并非只是编制代码,更多的是自己能做什么,完成什么,有什么价值,能帮别人做什么。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-6-10 20:42 , Processed in 0.093750 second(s), 23 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表