Python爬虫数据到sqlite实例

  • Post author:
  • Post category:python

参考链接: https://blog.csdn.net/qq_45775027/article/details/115319253 最近需要使用到爬虫+数据库,原文中作者有些没补齐,略作修改之后跑通了。 主要修改: 1.调整了数据获取的正则表达式; 2. 改了一下数据库的table名和定义名字; 3.加了数据清洗的模块; 实现了爬取qs大学排名,以及存储数据到数据库。 1.效果如下图: 2.使用工…

继续阅读 Python爬虫数据到sqlite实例

2019年用户流失分析(四)——Python实现

  • Post author:
  • Post category:python

(3)、随机森林模型 随机森林属于一种集成算法,指的是利用多棵树对样本进行训练并预测的一种分类器。随机森林的混淆矩阵如表格 6所示。 表格 6 混淆矩阵表 predictedclass 类=0 类=1 actualclass 类=0 545(TP) 498(FN) 类=1 421(FP) 1185(TN) 随机森林的ROC曲线如图 9所示。 图 9 (4)、SVM模型 支持向量机(support …

继续阅读 2019年用户流失分析(四)——Python实现

python中调用C语言动态库的方法,以及指针、引用、数组指针、结构体指针、字符串等参数的传递(新增回调函数用法)

  • Post author:
  • Post category:python

原文连接: python中ctypes使用:指针和指针数组的调用 目录 导入C语言动态库 参数传递问题(指针、引用、数组指针、结构体指针、字符串) 接收函数的非空返回值的问题 导入C语言动态库 # coding=utf-8 import os os.add_dll_directory("动态库所在的绝对路径") test = cdll.LoadLibrary('动态库名称.dll') 参数传递问题…

继续阅读 python中调用C语言动态库的方法,以及指针、引用、数组指针、结构体指针、字符串等参数的传递(新增回调函数用法)

VsCode —— 配置Python开发环境

  • Post author:
  • Post category:python

前言 1、安装 vscode 2、安装 Python 安装Python后在终端进行如下图操作查看是否安装成功。 开始 1、打开vscode,按住 ctrl+shift+x ,搜索框内输入"python“,点击 安装 。下图为已经安装后的效果。 2、桌面创建"PYTHON"文件夹,在vscode中选择该文件夹。用来存放python文件存放 3、在vscode中创建py文件并运行 笔者 笔者 - jx…

继续阅读 VsCode —— 配置Python开发环境

Python对数据shape的常见操作总结

  • Post author:
  • Post category:python

这一阵在用python做DRL建模的时候,尤其是在配合使用tensorflow的时候,加上tensorflow是先搭框架再跑数据,所以调试起来很不方便,经常遇到输入数据或者中间数据shape的类型不统一,导致一些op老是报错。而且由于水平菜,所以一些常用的数据shape转换操作也经常百度了还是忘,所以想再整理一下。 一、数据的基本属性 求一组数据的长度 a = [1,2,3,4,5,6,7,8,9…

继续阅读 Python对数据shape的常见操作总结

Python小技巧之locals()

  • Post author:
  • Post category:python

在 Python 中字典对象是很重要的概念,因为 Python 程序运行中的各种变量名与变量值都统一存储于字典中进行管理。该字典的键由程序中变量名组成,而键值则是这些变量相对应的值,有时也被称为名字空间。 一个 Python 程序中通常存在着多个名字空间,主要分为三大类: 局部名字空间——当前函数或类的名字空间,记录了函数中的参数与函数内定义的变量。 全局名字空间——模块的名字空间,包括了模块中定…

继续阅读 Python小技巧之locals()

Nextcloud批量添加用户(http访问,Python实现)

  • Post author:
  • Post category:python

使用https访问的朋友可能参考这个项目来批量添加用户:https://github.com/t-markmann/nc-userimporter 1.分析 在chrome浏览器打开用户管理页面,右键选择“检查”,切换到Network选项,这里可以看到浏览器请求的各个文件的信息。 在管理用户的页面中添加一个用户testuser09,分组为class01,配额为1GB,请求的数据如下图所示。 在Ne…

继续阅读 Nextcloud批量添加用户(http访问,Python实现)

python item()和items()_Python爬虫–Items(三)

  • Post author:
  • Post category:python

一、Items简介 爬取的主要目标就是从非结构性的数据源提取结构性数据,例如网页。 Scrapy提供 Item 类来满足这样的需求。 Item 对象是种简单的容器,保存了爬取到得数据。 其提供了 类似于词典(dictionary-like) 的API以及用于声明可用字段的简单语法。 1. 声明Item Item使用简单的class定义语法以及 Field 对象来声明。例如: import scra…

继续阅读 python item()和items()_Python爬虫–Items(三)

python requirements.txt问题

  • Post author:
  • Post category:python

# 进入虚拟环境 source venv/bin/activate # 退出虚拟环境 deactivate # 控制台进入venv环境中,生成项目需要用的python第三方包的文档; pip3 freeze > requirements.txt # 安装所需要的第三方包; pip3 install -r requirements.txt 版权声明:本文为weixin_44894162原创文章…

继续阅读 python requirements.txt问题

python获取文件属性

  • Post author:
  • Post category:python

获取文件属性#coding=utf-8import time import os file_path = r'D:\安装包\传智播客python\1第一天\01-课程介绍.mp4' #读取的文件路径 file_path = file_path.decode('utf-8') statinfo=os.stat(file_path) 转载于:https://www.cnblogs.com/tester…

继续阅读 python获取文件属性