每月存档:八月 2023

一、背景 随着 Spark 以及其社区的不断发展，Spark 本身技术也在不断成熟，Spark 在技术架构和性能上的优势越来越明显，目前大多数公司在大数据处理中都倾向使用 Spark。Spark 支持多种语言的开发，如 Scala、Java、Sql、Python 等。 Spark SQL 使用标准的数据连接，与 Hive 兼容，易与其它语言 API 整合，表达清晰、简单易上手、学习成本低，是开发者…

高中政治课上，大家一定都听过，唯物辩证法中讲，万事万物都处于普遍的联系之中。 从数据分析的角度看，所有事物之间存在着两种关系：函数关系和统计关系。 函数关系 是指两事物之间存在着一种一一对应的关系，当一个X确定，对应的变量Y也可以随之完全确定（即有唯一值）。比如乘车计费，里程数和费用之间，当行驶的里程确定，也可以得到唯一确定的收费数。 然而现实生活中，事物之间并不全都是一一对应的关系，因此另一种统…

Sometimes we will get a column which contains a series of calculation such as ‘ + ‘or’ - ‘or’ * ‘or’ / ‘, meanwhile, we need use this result to do some other calculations as a result to be a final col…

背景： 项目需要某个区县的天气数据，需要从中国气象局的官网中进行爬取。但是，中国气象局服务器调用接口返回的数据没有我想要的信息，比如说是未来24小时的天气温度，气压，风速等信息，这些数据接口中都没有，那么只能从页面中进行获取，所以使用了Jsoup，有一些信息是图片的形式返回，需要将图片下载下来存储到数据库中，用到的数据库是postgres数据库。工具类是Hutool和Jsoup 爬取的目标信息 t…

销售： SAP销售方案： 转载于:https://www.cnblogs.com/sap-ronny/p/9676445.html

server.properties #此服务器的代理ID，默认为-1 broker.id=-1 #外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务，格式为:协议://ip:port,默认协议为PLAINTEXT，可以将主机名指定为0.0.0.0以绑定到所有接口listeners=PLAINTEXT://IP:9092 # 这组监听器是 Broker 用于对外发布的，主要用于外网…

前言 笔者是某211非计算机相关专业2018届本科生，在校期间有半年多的互联网小公司实习经历。 毕业之后投递360 ,入职了360企业安全成为专门的前端开发工程师,有幸进入一个很赞的团队，遇到很棒的导师和leader ，成长杠杠的。 跳槽计划 工作一年多后，于今年七月有明确的跳槽计划，这个想法的导火线是4月份薪资不太理想。 此外，北京环境不太好，反正我是不太喜欢，待着也不舒服，当时就开始断断续续的…