后端开发除了增删改查还有什么?
本篇博客的视频教程首发于 Youtube:科技小飞哥,加入 电报粉丝群 获得最新视频更新和问题解答。
背景
很多刚接触后端开发的同学,会发现,后端开发不就是增删改查吗?的确,如果你做的东西只是一个很小的流量的一个网站/平台的后端,用户量低,每秒钟访问量低,对数据的一致性和服务的稳定性要求也没那么高。那就是简单的增删改查,一台服务器连接数据库,API直接读写数据库。 可是日子久了,你发现你的网站/平台用户量和流量都上来了,代码越来越复杂,这就涉及到服务扩展,业务拆分,架构设计。
很多人找工作,公司会要求,高并发工作经验者优先,可是只做过几千几万人的服务,只是简单的增删改查,根本没接触过高并发。怎么办?
本人目前在新加坡 某电商平台 做后端开发,服务十亿级别用户,数据量百亿级别,QPS 千万级别,说一下我的经验。
后端开发,说到底,就是增删改查。但是一千用户的小网站的增删改查,和10亿用户的增删改查,是两件事情。
后端开发
起步
比如很多计算机专业的学生,大学的时候做过 图书馆管理系统,我们当那是最简单的增删改查。 这个有多简单呢,网页连接一台服务器连接数据库查询。 这就是最简单的后端,性能,一致性,扩展性,并发性都不需要考虑。数据正确就行了。
分布式
一台机器不够用了,需要多台服务器,需要分布式集群吧。
负载均衡
数据库
使用什么数据库,MySQL, TiDB, Redis等等。
部署
Jenkins
容器技术
Docker/K8s
性能监控/报警
需要监控很多东西,服务的内存/CPU/带宽使用,QPS,错误率,延迟等等。Prometheus+Grafana
日志平台
当我们的分布式部署之后,怎么统一的查看日志来定位问题。怎么把日志收集在一起,用什么储存方便搜索。ES?
微服务
业务解耦,比如登陆注册业务和订单业务就可以解耦,通过调用来获取数据。 服务注册与发现
数据拆分
服务拆分隔离了,那么数据库也要开始拆分了。 怎么拆分,分库分表,水平切分,垂直切分。
数据库性能优化
数据库性能瓶颈了,需要怎么优化,读的瓶颈怎么优化,写的瓶颈怎么优化。
缓存设计
当DB有读写性能压力的时候,需要加缓存,怎么保存缓存的一致性。
消息队列设计
同时使用人数过多,是不是有些地方可以异步,比如异步DB存储。有很多消息队列,RabbitMQ/RocketMQ/ActiveMQ/Kafka,各自怎么实现的,用哪种。
数据实时性
websocket/netty了解下。
热点数据
比如微博热点新闻,双十一0点流量。这种热点数据,你用缓存一样的解决不了,怎么办。上内存缓存吧。数据分散,担心内存太大,LRU吧。
服务限流
上游某个业务突然流量增大,影响了其他核心业务的调用,
最终保证
作为后端人员,不仅仅停留在用户端侧体验以及交互形式,更重要的是从用户的数据模型、业务场景、业务模型、系统架构设计、领域建模、业务流程以及高并发、高可靠、规模化等稳定性角度,去提升产品整体的体验和价值,解决用户的诉求。
我们只需要写好SQL语句,去数据库查到数据,返回到页面中展示就可以。
如果你经历从0到亿级别的数据增长,你一定会面临很多挑战,重构和优化,因为当我们从0开始的时候,一定不会考虑一亿的时候怎么设计。考虑的太远,严重浪费资源和增加复杂度,一定是业务量带动需求。随着系统承载的瓶颈,来带动我们对增删改查的优化。
比如如何设计?
如何设计表结构。 用户增长之后,读的瓶颈如何解决,写的瓶颈如何解决。 怎么提升缓存命中率,分库分表的原则是什么,读写分离怎么设计。 热点数据怎么储存。 数据不一致怎么保证。 服务怎么拆分,数据怎么拆分。 大促的时候更新QPS超出DB的性能瓶颈,怎么处理。流量削峰怎么设计,MQ怎么使用。 1千用户增长到1百万用户,你的数据怎么处理。DB查询速度会不会变慢,10个亿的用户呢。 为什么我明明设置了索引,却没生效? 怎么处理高并发?
1万QPS的时候怎么处理。 1百万QPS的时候怎么处理。 1千万QPS的时候怎么处理。 大促期间(双十一)的流量增长怎么解决? 微博突发热点(明星出轨)怎么保证服务器不挂? 在你增删改查的过程中,怎么去实现一些方案:
实现一个分布式ID生成方案。ID需要保证全剧唯一。 实现一个在亿级数据里面支持分页查询。(最简单的例子,朋友圈分页去查看好友动态)。 如何实现高可用?一台机器宕机之后不影响其他机器和的运行和整个服务的可用性。 如何实现服务降级和服务限流。 写增删改查简单,写好增删改查却不容易。作为后端程序员,你我要学的都还有很多。