场景有些场景,为了方便、高效,需要脱离scrapy框架使用spalsh 配置代理:隧道代理为佳 在宿主机上找个位置,新建文件/root/splash/proxy-files/cip.ini 注意:区别于官方文档,ini应该为小写[proxy]; requiredhost=你的配置port=你的配置; ...
selenium 使用代理的方法汇总
在docker中启动selenium gird使用扩展,并使用隧道代理,比如阿布云、多贝云、蘑菇代理。how to set proxy with authentication in selenium chromedriver python proxy with authentication(账号密码 ...
项目管理碎碎念:自动生成周报
项目管理碎碎念:自动生成周报需求管理2-3个人的团队,需求如下: 需要明确团队的任务 将团队的任务wbs,分解成每个人的任务 每周对上级进行周报汇报 想得到的目标: 明确的看板任务,提升团队效率 写总结报告的时候,不用纠结回忆,节省时间和心力,也不会遗漏 主角Trello + Planywa ...
02Python中一切皆对象——Python高级编程和异步IO并发编程
02Python中一切皆对象——Python高级编程和异步IO并发编程2.1 Python中一切皆是对象讲解动态语言和静态语言的区别Python的面向对象更彻底函数和类也是对象,属于Python的一等公民1、赋值给一个变量2、可以添加到集合对象中3、可以作为参数传递给函数4、可以当做函数的返回值2. ...
01课程介绍——Python高级编程和异步IO并发编程
01课程介绍——Python高级编程和异步IO并发编程为什么需要进阶Python高级工程师会面试什么我们只需要知道当前的Python知识就够了吗?语言本身的进阶知识优先于框架,大公司更注重语言本身的功底 如何进阶和大神一起阅读优秀源码、懂原理面试、多做项目 你是否遇到看不懂优秀库和框架的源码不知道如 ...
scrapy-spalsh使用UA和IP代理
scrapy-spalsh使用UA和IP代理核心设置UA,优先在lua脚本中使用splash:set_user_agent(“{ua}”) 设置ip代理,使用SplashRequest的proxy 代码pip install fake-useragent # -*- coding: utf-8 -* ...
00 机器学习概述、特征工程、机器学习算法
00 机器学习概述、特征工程、机器学习算法引入:”人工智能之父“ 艾伦图灵:图灵测试 马文·李·闵斯基(英语:Marvin Lee Minsky,1927年8月9日-2016年1月24日),科学家专长于认知科学与人工智能领域,麻省理工学院人工智能实验室的创始人之一,著有几部人工智能和哲学方面的作品。 ...
在Centos7使用supervisor
在Centos7使用supervisor置顶:推荐使用pip install supervisor安装最新版supervisor,yum install supervisor最高版本3.1.4,有很多bug 名称解释supervisor:要安装的软件的名称。supervisord:装好supervi ...
在Centos7安装python3、配置zsh、虚拟环境
安装python3参考:https://www.yuzhi100.com/tutorial/centos/centos-anzhuang-python36CentOS7系统自带的Python版本是Python2.7,如需使用Python3.6,需要自行安装Python3.6。 (1)安装IUS软件源 ...