• 有了云服务器可以做什么

      从19年开始使用华为云(4核8G)到20年使用阿里云(1核2G),从基于spring cloud 按照自己对微服务的理解做了一套完整的CMS系统(虽然细节处理不怎么丝滑,不过也算微服务入门吧)到依赖成熟(开源)的解决方案快速搭建个人网站。自我评价也算是云服务的入门级用户了吧。目前在我的小小云上部署了太多的服务,出现系统资源不太够用的情况,特别是内存资源(使用率长时间在90%上下浮动)。

    memory

      因此是时候整理下当前小云上运行的服务了,也当做是一个阶段性总结吧,顺便看看还能不能挤牙膏。

    挤牙膏

  • Spring cloud gatway使用Spring security适配Keycloak

      今日折腾之心又扑腾扑腾的支楞起来了,脑子一热想在小云上再搭一个授权服务中心和服务注册中心,这样从别的地方白嫖过来的服务器资源就可以和我的小云联动了。

    白嫖怪

  • 让小云支持视频在线播放

      在《利用Aria搭建离线下载工具》一文末尾给自己留了一个待办事项

    配合下载工具实现下载完成后自动切片,以支持HLS在线播放

      其实很早就在摸索落地方案了,但是最近工作确实特别忙,一边忙工作一边断断续续的探索,直到现在,基本上方案可以定型了。方案还是遵循一个原则:低代码开发,有现成的就用

  • 云上利用Aria搭建离线下载工具

      有了一朵小云之后就忍不住去折腾。现在云上已部署静态Blog系统(Hexo),搭建有在线爬虫运行环境(在线Selenium)并且由此衍生出了一个简单的数据分析工具(二手房热力图),通过设置CRON(趟坑之旅)任务,尽可能利用夜间空闲时段进行数据爬取与分析。看上去好像小云需要执行的任务蛮多了,可实际上还远远没到小云的极限呢。

    尽管作

  • 向着人生自由前进一小步

      最近内卷传得越来越厉害,回头看看自己从毕业到现在这十几年,似乎也没存下啥东东,如果哪天裸辞(或被炒掉),身上这点积蓄好像也坚持不了太久呢,就这样中年危机的感觉忽如其来。

      很早之前也了解过基金、股票这类的投资理财产品,但是由于各种原因,也只是时不时的在网上随便挑几支,买一点,几年过去了,好像也没赚到什么钱,看来投资这事儿还真不是随手买买,佛系理财能干得了的,是时候认真学习理财了。

  • cron趟坑之旅

      cron是Linux上的定时任务服务,可提供类似Windows上计划任务的功能,嗯,似乎cron的功能会更强大一些。为了能尽可能压榨我那可怜小云的算力,我需要定时运行一些高负载的计算任务,比如XX爬虫(参考《二手房热力图》一文),那么自然就趟了cron的坑。

    心塞

  • 利用爬虫生成二手房热力图

      曾经在《搭建在线Selenium执行环境》中树了一个Flag。

    可以通过将脚本上传至服务器上,让服务器自动挂机执行。一夜爬遍某乎也不是梦了(还不用担心妈妈让我关电脑了)

      唉,Flag立得倒是挺轻松的,先看看我的小云已经有了那些功能吧,当前前端已能在线编辑并运行Python脚本,后端可通过Docker执行Selenium爬虫脚本,似乎万事具备,只欠整合了。那今天就来填坑吧,看看怎么让服务器(云)挂机执行爬虫吧。

  • 搭建在线Selenium执行环境(二)

      在《搭建在线Selenium执行环境(一)》中描述了如何利用websocket和codemirror搭建一套Python远程执行环境,但是文章仅完成了前端与后端的数据通道,并没有让Python脚本真正的执行起来,那么今天就来实现后端实时执行这个关键需求。

      要完成远程执行Python这个目标,至少需要完成以下几点:

    1. 完整获取前端脚本文本内容(包括文本缩进格式)
    2. 将执行结果完整返回至前端
    3. 将错误信息完整返回至前端
    4. 主机安全保障
  • 搭建在线Selenium执行环境(一)

      早先用Docker在云服务器上搭了一个《Selenium 执行环境》,可以通过将脚本上传至服务器上,让服务器自动挂机执行。一夜爬遍某乎也不是梦了(还不用担心妈妈让我关电脑了)。

    从此走上人生巅峰

      但是这套环境有个最大的问题,脚本怎么上传呢?紧接着还有一个更大的问题,上传之后怎么自动触发执行呢?为了上传文件这么一件小事,难道还得搞个Apache?那多麻烦呀,而且我那朵小云可只有1核2G呢。还是想个更轻量的解决方案吧。

  • 过滤离群点让特征匹配更精确

     &emsp在《SIFT+KNN加持下的Android测试自动化脚本》中介绍了利用特征点来快速匹配图形的方法。但是在实际使用中,特征点匹配的结果可能存在离群点,即某些特征点由于受环境的影响会远离大多数匹配上的特征点。下图展示了在Settings界面下特征匹配时出现的离群点(红框处)

    离群点