Columns
学习专栏
长文与备考笔记。免费部分可直接读，完整版单篇解锁后永久可读。
共 428 篇 · 第 40 / 43 页
Exam Calendar
按考试月份找专栏
专栏按年度考试月历聚合；点击考试查看相关文章，表外内容归入 12 月「其他」。
4 月
咨询工程师（投资）5 月
监理 · 建筑师 · 二建 · 二造9 月
一建 · 城乡规划 · 设备监理10 月
一造 · 中级注安 · 试验检测10.31–11.1
勘察设计注册工程师11 月
一级注册消防工程师12 月
其他Python数据分析及可视化实例之异步编程asyncio
最近需要采集一个目标网站的数据（MP3），该网站不限速，于是试过了 多线程 ，多进程，都不尽人意，最后祭出大杀器：asyncio ¥88.00 去购买 需要安装库： pip install asyncio -i https://pypi…
Python数据分析及可视化实例之多线程、进程
1.给虫虫们的建议 多线程 ，多进程，分布式采集， 一般不建议使用， 很容易被远程服务器封杀，甚至击穿底线， 当然，用在本地环境做一些处理可以随意！ 此外，免费代理池每天就那么十来个， 还不怎么稳定，访问速度也比较垃圾。 最后，关于 验证码…
利用python request Selenium cookies 交互DIY（爬虫）采集器
我不是在为这个八爪鱼打广告，而是有一个由来已久的副业想法，先看看技术实现。如果你对Python的爬虫技术有一定基础，那么请看： http://chromedriver.storage.googleapis.com/index.html …
Python数据分析及可视化实例之爬虫源码（05）
1.背景介绍 （1）在注册了某网站之后，发现站内个人页面有个关于京杭大运河的征文。再加上之前，九寨沟地震第一时间机器人写了一篇通讯稿。于是我就在想，既然机器可以写通讯稿，那么是不是也可以用来写篇关于京杭大运河的征文？有个大概思路，那么就开撸…
Python数据分析及可视化实例之Selenium、PantomJS
一直以来我觉得用在运维的Selenium、PantomJS是一个重器， 不到万不得已的时候不要祭出这个大杀器， 但是涉及到JavaScript及Ajax渲染的时候，Requests就完全懵逼了！ 最近回过头来重新审视这货， 这个重器用反倒轻…
Python数据分析及可视化实例之爬虫源码（04）
1.背景介绍 （1）接上一弹留下的作业，使用Cookies免密码登录今日头条，并针对上一节采集的URL自动POST一条回复，经测试，今日头条的回复频率过快（3条），提交按钮就挂了。所以，本文旨在说明如何进行POST，Login登录也是一个道…
Python数据分析及可视化实例之爬虫源码（03）
1.背景介绍 （1）话说今日头条在我乎挖走了‘三百勇士’，于是就想知道这些勇士中有木有练Py大法的，是不是真的勇士。本着我不入地狱，谁入地狱的精神，注册并体验了一下，我曹，这不就是微信公众号、快手、 秒拍 、斗鱼、陌陌、淘宝客网站的杂交嘛。…
Python数据分析及可视化实例之爬虫源码（02）
1.背景介绍 （1）今天有人问怎么采集这个网站；本打算讲Cookies免密登录今日头条，但一看这个网站刚好是Table表单，顺便讲一下CSV的保存也是不错的，当然Cookies还得预习一下。 （3） 源码重点掌握： Requests请求，B…
Python数据分析及可视化实例之爬虫源码（01）
1.背景介绍 （1）这是随便找的，贴吧不用headers就可以访问： 【美图】杂图_美图吧_百度贴吧 （2）原本也打算抓点妹子图，但我乎这么纯净的界面，还是别污了。 （3） 源码重点掌握： Requests请求，Re正则提取标签，Beaut…
Python数据分析及可视化实例之Request、BeautifulSoup
这一节看似好讲实则难以表述清楚， 讲不到的地方请别较真，也不要问爬虫哪家好？ 我只说我知道的，怎么选择，兄弟们请随意。 1. WEB请求 第一段就难倒我了，非要讲述Web8种http请求方式， 无异于孔乙己知道 茴字 的N种写法(关键我也不…