每月存档:九月 2023

对于大数据来说，数仓的作用不言而喻，承载着整个公司全业务线的数据，现阶段，在hadoop上的数仓主要是用来解决企业内部数据的分析，尤其是各种各样的统计分析报表。本文主要结合自己公司目前数仓的结构设计和现阶段解决的问题而叙述和分享，如有不明，错误之处，各位看官可指出，非常感谢！ 下图为数仓整体的技术架构： 一个优秀可靠的数仓，一定要结构、分层清晰，而不是越多的分层和主题越好，保障清晰的状态下，能够快…

测试 代码必须做以下几件事情: 准备测试所需的条件 调用要测试的方法 验证被测方法的行为和期望的行为是否一致 完成后清理各种资源 为了使用NUnit框架，需要做这些 工作 ： 1.使用using声明引用必要的NUnit类（并添加一个指向NUnitDll的引用） 2.定义一个测试类，必须是Public的、包换一个public的没有参数的构造函数，并且在类定义上加上[TestFixture]attri…

关于js的防抖和节流 看例子： 当鼠标在橙色区域来回移动时 可以看到数值在不可控的快速增加，说明该函数被频繁触发。 对于这种快速连续触发和不可控的高频率触发问题，我们有 防抖(debounce) 和 节流(throttle) 这两种解决方法。 防抖（debounce） 所谓防抖，就是指触发事件后在 n 秒内函数只能执行一次，如果在 n 秒内又触发了事件，则会重新计算函数执行时间。 防抖函数分为非立…

（给 Python开发者 加星标，提升Python技能 ） 转自：机器之心（ID：almosthuman2014） 本文用可视化的方式介绍了 NumPy 的功能和使用示例。 NumPy 软件包是 Python 生态系统中数据分析、 机器学习 和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。Python 的一些主要软件包（如 scikit-learn、SciPy、pandas 和 tenso…

在T+11.5的版本中，恢复帐套的时候，提示”文件与帐套版本不上致“，请问这是什么原因？ 在T+11.5的版本中，恢复帐套的时候，提示”文件与帐套版本不上致“，请问这是什么原因？ 及时更新11.5的软件补丁环境。可能备份账套补丁和软件补丁不一致，建议您到社区—产品更新，对11.5更新上最新的补丁之后在恢复。我已经打了补丁啊@胡宏AjQ:那您是否登陆了账套之后恢复的账套，需要admin登陆到系统管理…

pandas中文网： https://www.pypandas.cn/ 1、什么是pandas? Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。 2、pandas所能处理的数据类型？ 与 SQL（structured query language结构化查询语言) 或 Excel 表类似的，含异构列的…

DAG的最小路径覆盖 定义： 在一个有向图中，找出最少的路径，使得这些路径经过了所有的点。 最小路径覆盖分为 最小不相交路径覆盖 和 最小可相交路径覆盖 。 最小不相交路径覆盖： 每一条路径经过的顶点各不相同。如图，其最小路径覆盖数为3。即1->3>4，2，5。 最小可相交路径覆盖： 每一条路径经过的顶点可以相同。如果其最小路径覆盖数为2。即1->3->4，2->3&…

ClickHouse 是 Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快 100-1000 倍。 ClickHouse 的性能超过了目前市场上可比的面向列的 DBMS，每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。 # ClickHouse 是什么？ ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理…

Hbase有一个叫做Meta的特殊的目录表，用于保存集群中regions的位置信息（region列表）。ZooKeeper存储着Meta表的位置。 Hbase Meta结构如下： 具体含义 ： rowKey:([table],[region start key],[region id]) column family：info column：regioninfo、server、serverstart…