简介
Scrapy 是目前使用最广泛的爬虫框架之一,只需要编写非常少的代码就能实现需要的爬虫功能。
这篇博客主要介绍 Linux 服务器如何连接浙大 VPN。
Ceph 是一个分布式文件存储系统,具体工作原理可以参考官方文档。本博客主要介绍如何使用 ceph 实现多服务器之间的存储共享。这样一来,在使用 pycharm 进行 python 开发时,只需要与其中一台服务器进行文件同步。由于服务器之间的存储是共享的,所有需要用来跑代码的服务器都同步更新了所有最新修改,这能极大提高 python 多进程运行的效率。
目前的一个研究课题,需要求解一个大规模的线性规划问题,变量规模至少在 10 万的水平,需要找到找到一个高效的求解器。为此,专门花时间对比了 CBC, GLPK 等开源求解器和 CPLEX, GUROBI 等商用求解器,并对比了求解器官方 Python 接口及 CVXOPT, CVXPY, PuLP 等第三方 python 接口的求解效率。
这篇博客将介绍 MySQL 的安装,配置及其使用方法,另外,还会介绍如何使用 phpMyAdmin 这个工具来实现 MySQL 数据库的网页管理。
在代码调试过程中,我们使用最多的方法是 print 函数,在我们需要知道中间变量的值时,插入一句 print 函数即可。但这种方法存在一个问题,那就是在程序调试完以后我们需要一个一个把 print 函数删掉或者注释掉。logging 模块能非常好得解决这个问题,通过设置 severity level,我们可以方便得控制在控制台打印的信息,另外我们也可以同时把日志信息输出到多个目的地,比如控制台,日志文件,网络位置等。