从19年开始使用华为云(4核8G)到20年使用阿里云(1核2G),从基于spring cloud 按照自己对微服务的理解做了一套完整的CMS系统(虽然细节处理不怎么丝滑,不过也算微服务入门吧)到依赖成熟(开源)的解决方案快速搭建个人网站。自我评价也算是云服务的入门级用户了吧。目前在我的小小云上部署了太多的服务,出现系统资源不太够用的情况,特别是内存资源(使用率长时间在90%上下浮动)。
因此是时候整理下当前小云上运行的服务了,也当做是一个阶段性总结吧,顺便看看还能不能挤牙膏。
从19年开始使用华为云(4核8G)到20年使用阿里云(1核2G),从基于spring cloud 按照自己对微服务的理解做了一套完整的CMS系统(虽然细节处理不怎么丝滑,不过也算微服务入门吧)到依赖成熟(开源)的解决方案快速搭建个人网站。自我评价也算是云服务的入门级用户了吧。目前在我的小小云上部署了太多的服务,出现系统资源不太够用的情况,特别是内存资源(使用率长时间在90%上下浮动)。
因此是时候整理下当前小云上运行的服务了,也当做是一个阶段性总结吧,顺便看看还能不能挤牙膏。
今日折腾之心又扑腾扑腾的支楞起来了,脑子一热想在小云上再搭一个授权服务中心和服务注册中心,这样从别的地方白嫖过来的服务器资源就可以和我的小云联动了。
在《利用Aria搭建离线下载工具》一文末尾给自己留了一个待办事项
配合下载工具实现下载完成后自动切片,以支持HLS在线播放
其实很早就在摸索落地方案了,但是最近工作确实特别忙,一边忙工作一边断断续续的探索,直到现在,基本上方案可以定型了。方案还是遵循一个原则:低代码开发,有现成的就用。
有了一朵小云之后就忍不住去折腾。现在云上已部署静态Blog系统(Hexo),搭建有在线爬虫运行环境(在线Selenium)并且由此衍生出了一个简单的数据分析工具(二手房热力图),通过设置CRON(趟坑之旅)任务,尽可能利用夜间空闲时段进行数据爬取与分析。看上去好像小云需要执行的任务蛮多了,可实际上还远远没到小云的极限呢。
最近内卷传得越来越厉害,回头看看自己从毕业到现在这十几年,似乎也没存下啥东东,如果哪天裸辞(或被炒掉),身上这点积蓄好像也坚持不了太久呢,就这样中年危机的感觉忽如其来。
很早之前也了解过基金、股票这类的投资理财产品,但是由于各种原因,也只是时不时的在网上随便挑几支,买一点,几年过去了,好像也没赚到什么钱,看来投资这事儿还真不是随手买买,佛系理财能干得了的,是时候认真学习理财了。
曾经在《搭建在线Selenium执行环境》中树了一个Flag。
可以通过将脚本上传至服务器上,让服务器自动挂机执行。一夜爬遍某乎也不是梦了(还不用担心妈妈让我关电脑了)
唉,Flag立得倒是挺轻松的,先看看我的小云已经有了那些功能吧,当前前端已能在线编辑并运行Python脚本,后端可通过Docker执行Selenium爬虫脚本,似乎万事具备,只欠整合了。那今天就来填坑吧,看看怎么让服务器(云)挂机执行爬虫吧。
在《搭建在线Selenium执行环境(一)》中描述了如何利用websocket和codemirror搭建一套Python远程执行环境,但是文章仅完成了前端与后端的数据通道,并没有让Python脚本真正的执行起来,那么今天就来实现后端实时执行这个关键需求。
要完成远程执行Python这个目标,至少需要完成以下几点:
早先用Docker在云服务器上搭了一个《Selenium 执行环境》,可以通过将脚本上传至服务器上,让服务器自动挂机执行。一夜爬遍某乎也不是梦了(还不用担心妈妈让我关电脑了)。
但是这套环境有个最大的问题,脚本怎么上传呢?紧接着还有一个更大的问题,上传之后怎么自动触发执行呢?为了上传文件这么一件小事,难道还得搞个Apache?那多麻烦呀,而且我那朵小云可只有1核2G呢。还是想个更轻量的解决方案吧。
&emsp在《SIFT+KNN加持下的Android测试自动化脚本》中介绍了利用特征点来快速匹配图形的方法。但是在实际使用中,特征点匹配的结果可能存在离群点,即某些特征点由于受环境的影响会远离大多数匹配上的特征点。下图展示了在Settings界面下特征匹配时出现的离群点(红框处)