提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 思路 一、案例介绍 二、具体步骤 1.编写scala程序完成从mysql讲数据导出成csv文件 2.打包成jar包提交到集群上 3.将hdfs上的这个文件下载到本地目录下 4.将本地数据文件的数据加载到hive中 总结 思路 spark抽取mysql中的数据到hive中，可通过以下2步完成： 1.先将mysql中的数据抽取…
1.鼠标右击【Mysql8.0】压缩包选择【解压到Mysql8.0】。 2.双击打开解压后的【Mysql8.0】文件夹。 3.鼠标右击【mysql-installer-community-8.0.17.0】选择【安装】。 4.勾选【I accept the license terms】然后点击【Next】。 5.选择【Custom】然后点击【Next】。 6.双击【MySQL Servers】。 …
数据库系统原理 转载： https://github.com/CyC2018/CS-Notes 数据库系统原理 一、事务 概念 ACID AUTOCOMMIT 二、并发一致性问题 丢失修改 读脏数据 不可重复读 幻影读 三、封锁 封锁粒度 封锁类型 封锁协议 MySQL 隐式与显式锁定 四、隔离级别 未提交读（READ UNCOMMITTED） 提交读（READ COMMITTED） 可重复读（R…
开发中经常提到数据库的事务，那你知道数据库还有事务隔离的说法吗， 事务隔离还有隔离级别，那什么是事务隔离，隔离级别又是什么呢？ MySQL 事务 本文所说的 MySQL 事务都是指在 InnoDB 引擎下，MyISAM 引擎是不支持事务的。 数据库事务指的是一组数据操作(例如新增、修改、删除、添加索引、修改索引等操作)，事务内的操作要么全部成功，要么全部失败。全部失败，什么都不做，其实不是没做，是…
CREATE TABLE `studen` ( `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id', `name` varchar(64) NOT NULL COMMENT '姓名', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf…
//sql原生锁表 mysql_connect('localhost','root',''); //连接数据库 mysql_select_db('test'); //选择数据库 mysql_query('lock table a wriet'); //加写锁 $sql = 'select * from a'; $data = mysql_query($sql); //执行 $res = mysql…
很简单吧，不过对于要说明这个问题，已经足够了。如果你在查询时常用类似以下的语句： SELECT * FROM mytable WHERE category_id=1; 最直接的应对之道，是为category_id建立一个简单的索引： CREATE INDEX mytable_categoryid ON mytable (category_id); OK，搞定？先别高兴，如果你有不止一个选择条件呢？…
一、下载并解压数据库驱动 下载地址：http://www.mysql.com/products/connector/，本文下载 mysql-connector-java-5.0.8.zip。将解压后的mysql-connector-java-5.0.8-bin.jar复制到D:\Program Files\Weka-3-6\lib中(lib为自己新建文件夹)。 二、设置环境变量 WEKA_HOME…
前言 MySQL 8.0.30，这个版本没有 MGR 方面的重大修改，为什么我说值得上车 MGR 呢？ GIPK 只因为 8.0.30 新增了 sql_generate_invisible_primary_key 参数，以下我简称为 GIPK 模式！ GIPK 模式下，创建表时如果没有显式定义主键会自动添加一个不可见主键索引，请参考以下两张表: ## sql_generate_invisible_…
在我们开发的过程中，经常会遇到一些疑问。当然我也不例外，今天就遇到一个令自身头疼的问题。 正如标题所说，下面配图说明： 图片右边显示我已经设置了不是null 为什么我进行postman测试的时候 或者说页面添加的时候，什么都不写，竟然能够添加进去，且数据库也不报错。 这时候比关键的问题出现了，我们应该纠正自己的一个观点或者一个自身问题。 not null != 空 吃鱼不忘打鱼人， 参考链接 下面…