一、前言 scrapy是基于twisted的异步处理框架，与传统的requests爬虫程序执行流程不同，scrapy使用多线程，将发送请求，提取数据，保存数据等操作分别交给Scheduler（调度器），Downloader（下载器），Spider（爬虫），Pipeline（管道）等爬虫“组件”来完成。多线程的运行框架使得爬虫的效率大大提升，让爬虫程序变得更快，更强。基于以上特点，本文将以爬取豆瓣图…
[转帖]SAP固定资产的几个相关日期 1. 遗留数据转帐日期 (Legacy Data Transfer Date) 在系统切换前,需要指定资产转帐日期，配置路径请参考会计核算-〉资产数据传输-〉数据传输参数-〉日期说明指定转帐日期/最后结算的会计年度，系统设置资产转帐日期为2006.09.30，资产初始主数据的建立可使用AS01/AS91,不同AS91可输入结管价值(包括原值,累计折旧和本年折旧…
之前git clone 项目的时候报错fatal: unable to access 'https:// github .com/.......': OpenSSL SSL_read: Connection was reset, errno 10054 产生原因:一般是因为服务器的SSL证书没有经过第三方机构的签署,所以会报错 首先需要解除ssl验证后,再次git即可 解除ssl验证:git co…
<dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.15.5</version> </dependency> @Configuration public class LockC…
Nosql概述 一、缓存的发展历史 1、MySQL单机时代 90年代，当时一个基本的网站访问量一般不会太大，单个数据库完全够用了。 那个时候，更多使用静态网页html，服务器根本没有太大的压力。 这种情况下，整个网站的瓶颈是什么 数据量如果太大，一个机器放不下了 数据的索引（B+Tree）一个机器内存也放不下 访问量（读写混合），一个服务器承受不了 只要出现以上三种情况之一，那么就必须要晋级了 2…
Charles 中国特惠 Charles 正版 五折优惠活动 （限时：2015 年 11 月 14 日 – 30 日），仅限中国区购买， 点击购买 。在活动期结束后，价格将从 169 元上涨到 199 元。 手机 / 微信读者，复制以下内容，然后打开「淘宝客户端」即可看到商品： Charles 网络封包分析工具，使用￥Charles 特惠￥抢先预览（长按复制整段文案，打开手机淘宝即可进入活动内容）…
RocketMQ中broker配置brokcerIP1和brokerIP2的作用 brokerIP1 当前broker监听的IP brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步。 默认不配置brokerIP1和brokerIP2时，都会根据当前网卡选择一个IP使用，当你的机器有多块网卡时，…
1.官网下载jdk，linux64位，rpm格式的。 2.提取下载的文件，提取到一个目录下，我的是提取到了usr目录下了 3.终端输入：sudo gedit ~/.bashrc 会打开一个文本，在文本的最后添加： export JAVA_HOME=/usr/java/jdk1.8.0_101 export CLASSPATH=${JAVA_HOME}/lib export PATH=${JAVA_…
HTML5确实非常强大，我们之前也分享过很多基于HTML5 Canvas的动画特效。但是你是否知道我们可以利用纯CSS制作一些很酷的动画效果？对，CSS3可以做到，下面分享的7款炫酷动画应用就是用纯CSS3实现的，一起来看看吧。 1、纯CSS3实现人物摇头动画 这次我们要来分享一款超级可爱的纯CSS3人物摇头动画，初始化的时候人物的各个部位是利用CSS3动画效果拼接而成，接下来就是人物听音乐的场景…