Columns
学习专栏
长文与备考笔记。免费部分可直接读，完整版单篇解锁后永久可读。
共 63 篇 · 第 6 / 7 页
Exam Calendar
按考试月份找专栏
专栏按年度考试月历聚合；点击考试查看相关文章，表外内容归入 12 月「其他」。
4 月
咨询工程师（投资）5 月
监理 · 建筑师 · 二建 · 二造9 月
一建 · 城乡规划 · 设备监理10 月
一造 · 中级注安 · 试验检测10.31–11.1
勘察设计注册工程师11 月
一级注册消防工程师12 月
其他Python数据分析及可视化实例之多线程、进程
1.给虫虫们的建议 多线程 ，多进程，分布式采集， 一般不建议使用， 很容易被远程服务器封杀，甚至击穿底线， 当然，用在本地环境做一些处理可以随意！ 此外，免费代理池每天就那么十来个， 还不怎么稳定，访问速度也比较垃圾。 最后，关于 验证码…
Python数据分析及可视化实例之爬虫源码（05）
1.背景介绍 （1）在注册了某网站之后，发现站内个人页面有个关于京杭大运河的征文。再加上之前，九寨沟地震第一时间机器人写了一篇通讯稿。于是我就在想，既然机器可以写通讯稿，那么是不是也可以用来写篇关于京杭大运河的征文？有个大概思路，那么就开撸…
Python数据分析及可视化实例之Selenium、PantomJS
一直以来我觉得用在运维的Selenium、PantomJS是一个重器， 不到万不得已的时候不要祭出这个大杀器， 但是涉及到JavaScript及Ajax渲染的时候，Requests就完全懵逼了！ 最近回过头来重新审视这货， 这个重器用反倒轻…
Python数据分析及可视化实例之爬虫源码（04）
1.背景介绍 （1）接上一弹留下的作业，使用Cookies免密码登录今日头条，并针对上一节采集的URL自动POST一条回复，经测试，今日头条的回复频率过快（3条），提交按钮就挂了。所以，本文旨在说明如何进行POST，Login登录也是一个道…
Python数据分析及可视化实例之爬虫源码（03）
1.背景介绍 （1）话说今日头条在我乎挖走了‘三百勇士’，于是就想知道这些勇士中有木有练Py大法的，是不是真的勇士。本着我不入地狱，谁入地狱的精神，注册并体验了一下，我曹，这不就是微信公众号、快手、 秒拍 、斗鱼、陌陌、淘宝客网站的杂交嘛。…
Python数据分析及可视化实例之爬虫源码（02）
1.背景介绍 （1）今天有人问怎么采集这个网站；本打算讲Cookies免密登录今日头条，但一看这个网站刚好是Table表单，顺便讲一下CSV的保存也是不错的，当然Cookies还得预习一下。 （3） 源码重点掌握： Requests请求，B…
Python数据分析及可视化实例之爬虫源码（01）
1.背景介绍 （1）这是随便找的，贴吧不用headers就可以访问： 【美图】杂图_美图吧_百度贴吧 （2）原本也打算抓点妹子图，但我乎这么纯净的界面，还是别污了。 （3） 源码重点掌握： Requests请求，Re正则提取标签，Beaut…
Python数据分析及可视化实例之Request、BeautifulSoup
这一节看似好讲实则难以表述清楚， 讲不到的地方请别较真，也不要问爬虫哪家好？ 我只说我知道的，怎么选择，兄弟们请随意。 1. WEB请求 第一段就难倒我了，非要讲述Web8种http请求方式， 无异于孔乙己知道 茴字 的N种写法(关键我也不…
Python数据分析及可视化实例之正则Re
网上免费的爬虫教学内容很多， 作为一个资深爬虫，就不赘述各家优缺， 但建议大家在爬取的时候别肆意： 如果别人允许你爬取， 也适可而止， 至于多线程，分布式爬虫，俩字：慎用！ 还有，GET之外的POST， 用来做各种群发机，也悠着点，嘿嘿..…
生财日历数据分析代码及数据集【完整】
打赏后可以查看完整代码、停用词、数据集。 #!/usr/bin/env python # coding: utf-8 # In[1]: import os,re import pandas as pd import numpy as np…