← 返回列表

从删库到跑路:我的Python全栈踩坑实录

单站 放之 发布 Thu, 04 Sep 2025 17:54:00 +0800 入库 2026-11-18T14:34:58

原创 放之 2025-09-04 17:54 上海

再也不说一次打包,到处部署了。

收集需求,拆分需求,保留预算,编写需求说明书(BRD),制作HLS,同时绘制了一套UI(使用Figma)。但是因为种种原因,预算失效。只能自己下场编写。

因为需要自己编写,所以需要重新设计研发里的技术架构,我这里选型是以python技术栈,采用flask提供web服务。通过celery提供异步调度的任务。但由于CFCA平台只有Java SDK,所以需要重新wrap业务流程为API服务。同时,需要从flask调用该API Services。链接数据库采用ORM框架,便于测试和迁移。测试开发时选择Sqlite,生产部署时选择Postgres。

前端的结构拆分并没有画,主要包含User Panel, Key Management Panel, Certificates Management Panel,Crypto Box Panel,Financial Panel等,每个Panel里面是list of key/certificate, 之后顶部为search box。点进每个list的item里,可以进入详情页,管理操作等。

因为公司内的资源申请流程复杂,也不能使用AI,同时我这个平台的设计不涉及到公司内部平台的数据。于是自掏腰包,通过Google云来搭建一套基础设施。出于编码需求,直接选择了Code Server作为IDE,便于随时随地编辑。之所以选择GCP是因为之前都是用AWS和Azure、Aliyun,而且早年用GCP体验不好,导致放弃了。最近重新捡起来对GCP的学习,因此也把这一套搭建在了GCP上。

// 中间还用Cloud Run和Cloud Build搭建了一个微服务应用。值得一提的是在GCP在设计上给用户的安全感是要强于其他云的。这也印正了早年被面试时问到的一个问题,如何让用户觉得你的产品是安全的,只有在GCP上体验到了。无论是创建Compute Engine时,还是解析绑定DNS给Cloud Run用时,都有一种感觉,平台在帮你做一些默认安全的事情。这一点值得称赞。

其他需要使用到的工具

注意: 这里有个问题就是Code Server不支持多用户。

从方法论上推荐TDD,测试驱动开发,这样确保一个小的单元内的代码没有太多错误。具体怎么实现就不多赘述,参考之前总结的软件工程实践:以Python为例, 尤其是AI编程下的部分。

不过这里还是会提一下关于配置分离方面的实现。(其实是因为踩了一些坑)

文件目录结构

通过start.sh传参的形式,实现生产环境或配置环境的服务启动,例如 ./start.sh dev 或 ./start.sh prod, 命令执行后会分别会去读取对应的文件,例如docker-compose.prod.yml或docker-compose.dev.yml 。以下为start.sh内容和docker-compose.yaml文件

之后根据docker compose文件去加载对应的参数

然后config.py 会根据 crypto_env去加载对应的settings文件, 例如settings.prod.yml或者setting.dev.yml

最后在app.py里面调用config.py导入配置。

另外值得一提的是,最开始采用了单文件存两份环境的变量,但导致了环境变量覆盖(不过更可能是没有设计好)。还有一点就是因为Sqlite是文件型数据库,Celery和Flask都会读写该数据库,但由于Celery和Flask是运行的两个容器,通过共享Volume挂载的形式读取到的Sqlite的文件,导致出现了锁的问题,而由于没处理好锁的话,便会一直出现报错。

部署实际是我与工单不得不说的故事,当然这不是意味着设计的流程和工单非常严谨。而是说明了在金融企业里,大家习惯了沉闷,把慢的离谱的手动的流程都当作是一种可以接受的合理的合规的存在。另外就是因为快速迭代并不是这里的优先级,稳定才是。所以更加导致了流程和制度的层层加码。即便应该使用更好的方法去实现控制。就像之前提到过的实现安全的纵深防御,但不是重复防御一样的道理。这么多工单,真的是有必要的吗?

工单举例(仅我能想起来的,中间有的要开几遍):

还不包含以下等等

看到这里,我在想如果我是一个研发,可能我也要骂DevSecOps。如果不是经历了一遍研发设计和部署,那么这些安全控制的东西可能还会令人沾沾自喜。但实际看下来,则是非常影响研发效率的。但快速迭代和安全之间一定是要取得一个平衡的,如何实现,值得思考。

这里记录一下,从研发之初到部署时遇到的过的Bug,以及如何解决的。

工具或平台(Platform)类:

关于Docker/Podman:

OS的版本,测试时用的Ubuntu, 部署时用的Rocky。另外现在用docker compose不用docker-compose了。另外部署时(Rocky8 Linux)遇到的dockers问题,开发时(Ubuntu Linux)一次也没遇到过。

Windows:

编码(Coding/Programing)类:

人为疏忽类:

AI类:

先看AI,在整个研发过程(业余耗时2月)中。AI体现出了无比高效率的编码和排错思路,尤其在前端代码的编写上。让人非常舒服的同时也暴露了一个问题,那就是只会对AI提问但不会动脑的话自己也会降智。

再看部署,对Docker的一处build处处运行过于自信。以至于预估的一天内部署完成,实际花了3天左右的时间。

再回到安全,从研发而言来看DevSecOps对技术的成熟度和研发人员素质的要求确实有点高了。企业里连devops的人员能力都没有,还谈DevSecOps,痴人说梦。

最后不得不说,最不安全的就是做安全的,一点不假了。

最后的最后,一些技能真的是时间久了不用就忘。所以熟能生巧又何尝不是一种本领。

原文链接:https://mp.weixin.qq.com/s?__biz=Mzg3ODAzNjg5OA==&mid=2247485401&idx=1&sn=2dc6e42f780c7ba8ce429b0b6931fd1d