-
[bigdata-031] python3+selenium 做抓取
所属栏目:[大数据] 日期:2021-01-01 热度:158
1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩,然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-impor[详细]
-
logminer挖掘
所属栏目:[大数据] 日期:2021-01-01 热度:174
1.???? Logminer介绍 LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 重做日志文件(归档日志文件)中的具体内容,LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成,它作为Oracle数据库的[详细]
-
有了ERP,还缺什么?
所属栏目:[大数据] 日期:2021-01-01 热度:190
一、报表分析方面需要优化 ERP是一个事务处理系统,它的重点在于进行业务的过程记录与控制,在报表分析处理方面有着先天的缺陷: (1)无法实现不同管理角色的分析要求 中虽然有着大量的报表,却无法按不同管理角色来个性化设置分析平台,同时,繁琐的查询[详细]
-
BI离不了报表
所属栏目:[大数据] 日期:2020-12-31 热度:172
前不久写了一篇文章:报表?VS BI,指出,报表不等于BI。这几天碰到一个客户,让我不得不说出另外的一句话,那就是,BI离不了报表。 ? ? ??演示中,客户的领导发表意见:你们这个还是报表,我们要的不是报表。比如库存,不同的地方的库存标准是不一样的,有[详细]
-
企业是否真的需要BI?
所属栏目:[大数据] 日期:2020-12-31 热度:52
这是一个发人思考的问题。BI对很多人而言或许还是太过高深,换个角度来问比较容易理解:贵公司需要数据分析吗?财务分析、成本分析或者市场分析?贵公司需要好的分析工具来加速分析的速度吗?如果上述的两个答案是肯定的,贵企业是需要BI的。 ?简单地说,B[详细]
-
BI工具选型指标,如何选择好的BI工具
所属栏目:[大数据] 日期:2020-12-31 热度:114
随着信息化的发展,越来越多的企业将商业智能BI的部署列入了企业信息化建设的下期目标,BI市场需求的日益旺盛,也催生了BI厂商激烈的市场竞争,带动了国内BI工具技术的发展及成熟。 那么作为一个正在或者即将要进行BI工具选型的企业,面对百花齐放的BI市场[详细]
-
如何正确理解商业智能(BI)?
所属栏目:[大数据] 日期:2020-12-31 热度:111
为了让读者更加清晰地把BI与MIS系统区别开来,本文讨论了BI与DSS(决策支持系统)、EIS(经理执行系统)的主要区别。最后,本文分析了制约BI健康发展的若干因素。 引言 ??? 商业智能(BI)是目前在国外企业界和软件开发界受到广泛关注的一个研究方向。可以[详细]
-
BI选型流程建议
所属栏目:[大数据] 日期:2020-12-31 热度:112
一、成立选型小组 ? ? ? ? 成立选型小组是企业确定进行软件选型所需要做的第一步。选型小组将负责整个软件选型过程的执行。选型小组成员至少包括公司副总以上领导一名、 CIO 一名、业务负责人一名。 二、评估需求 ? ? ? ?评估需求是指企业成立BI选型小组之[详细]
-
[bigdata-005] 用docker搭建oracle 11g并提供python3 开发
所属栏目:[大数据] 日期:2020-12-31 热度:175
参考资料 http://www.bubuko.com/infodetail-401514.html 1. docker上的oracle 11g https://hub.docker.com/r/alexeiled/docker-oracle-xe-11g/ 安装和启动命令: 1.1 docker pull alexeiled/docker-oracle-xe-11g 1.2 docker run --name dck-oracle-11g -[详细]
-
[bigdata-006] 工作流 tez和oozie
所属栏目:[大数据] 日期:2020-12-31 热度:92
1.? 基本状况 Tez是Hortonworks开发的。 董西成的分析 http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://zh.hortonworks.com/blog/introducing-tez-faster-hadoop-processing/ tez运行在Yarn上的,DAG工作流,底层设计,对Map和Reduce进一步[详细]
-
HDoj1047Integer Inquiry(大数连续相加)
所属栏目:[大数据] 日期:2020-12-31 热度:199
Integer Inquiry Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 19438????Accepted Submission(s): 5087 Problem Description One of the first users of BIT's new supercomputer was Chip[详细]
-
读取csv数据并保存成图像
所属栏目:[大数据] 日期:2020-12-31 热度:112
int main(int argc,char* argv[]){ifstream file("******.csv");string value;int i = 0;int j = 0;while (file.good()){getline(file,value,'n');//cout string(value,value.length()) endl;if (i 0){value.erase(0,2);value.erase(value.length() - 9);[详细]
-
几种大数阶乘算法效率比较(Java)
所属栏目:[大数据] 日期:2020-12-31 热度:167
完整代码: package bigdatamul;import java.math.BigInteger;/** * 大数阶乘 * * @Description: TODO(大数阶乘) * * @author yzy * @date 2016-12-20 上午9:31:14 * */public class Test { public static void main(String[] args) { //单位:ms //fun1(5[详细]
-
报告一:知识工程与大数据分析
所属栏目:[大数据] 日期:2020-12-31 热度:133
报告一:知识工程与大数据分析 报告人:漆桂林博士,东南大学教授 主要内容:知识工程是人工智能的重要分支之一,知识的获取和基于知识的推理能力是人类高级智能的体现。知识工程涉及到机器学习、知识表示与推理、自然语言处理和数据存储等技术。本报告将[详细]
-
数据处理之one-hot
所属栏目:[大数据] 日期:2020-12-31 热度:110
分类方法,通常需要把数据的各个属性转换为一个向量表示,这样每条数据的特征就是一个向量,向量上的每个维度就表示了一个特征属性。 但是如果要转换的数据包含了3种属性,比如身高,体重,年龄。A是女,168cm,70kg,30岁;B是男,180cm,90kg,20岁,那么[详细]
-
米斯特白帽培训讲义 挖掘篇 厂商寻找
所属栏目:[大数据] 日期:2020-12-31 热度:143
米斯特白帽培训讲义 挖掘篇 厂商寻找 讲师:gh0stkey 整理:飞龙 协议:CC BY-NC-SA 4.0 厂商是什么 厂商可以是一个网站(Web 应用),或者一段程序(PC、移动应用)。从白帽子的角度来说,两个都是厂商,都可以挖掘。 基于漏洞平台的寻找 现在国内有三大[详细]
-
七牛数据处理再添新兵——图片瘦身
所属栏目:[大数据] 日期:2020-12-31 热度:183
副标题#e# 我们现在已经很难想象,图片的出现,竟然只是作为分割文字和缓解疲劳的工具。 随着智能手机的普及,以及像 in、nice 这样以分享图片为主的应用的流行,人们记录生活、分享感悟的方式不再局限于文字,而是逐渐被拍照取代,拍照也不需要那么刻意为[详细]
-
[bigdata-007] Hortonworks HDF搭建流程
所属栏目:[大数据] 日期:2020-12-31 热度:157
1. hdf docker搭建 1.1 hdf的镜像xemuliam/hdf 镜像链接 https://hub.docker.com/r/xemuliam/hdf/ 下载镜像: docker pull xemuliam/hdf 1.2 创建容器 docker run --name dck-hdf-8080 -p 8080:8080 -d xemuliam/hdf 1.3 进入容器bash交互 docker exec -it[详细]
-
太多选择——企业如何选择合适的BI工具?
所属栏目:[大数据] 日期:2020-12-31 热度:103
副标题#e# 文 | keira-杨红 在没认清现状前,企业当然不能一言不合就上BI。 BI不同于一般的企业管理软件,不能简单归类为类似用于提高管理的ERP和WMS,或用于提高企业效率的OA、BPM。BI的本质应该是通过展现数据,用于加强企业各环节的管控,帮助快速制定科[详细]
-
[bigdata-016] python happybase 操作hbase
所属栏目:[大数据] 日期:2020-12-31 热度:163
1. 用happybase库 操作 hbase ??? http://happybase.readthedocs.io/en/latest/ 2. cdh集群的hbase集群有三个节点 ??? hbase的版本是HBase 1.2.0 3. hbase base的log目录小于5g,导致报警,目录在/var/log/hbase,准备清空它。 ?? 删除不需要的log之后,所[详细]
-
22本数据分析、挖掘的好书推荐—绝对干货,不看后悔!
所属栏目:[大数据] 日期:2020-12-31 热度:142
1. 深入浅出数据分析 这书挺简单的,基本的内容都涉及了,说得也比较清楚,最后谈到了R是大加分。 难易程度:非常易。 2.啤酒与尿布 通过案例来说事情,而且是最经典的例子。 3.数据之美 一本介绍性的书籍,每章都解决一个具体的问题,甚至还有代码,对理[详细]
-
分析工具很难选? 看他们如何挖掘大数据价值
所属栏目:[大数据] 日期:2020-12-31 热度:190
副标题#e# 点击上方蓝色字体关注。 您还可以搜索公众号“ D1net”选择关注D1net旗下的各领域(云计算,数据中心,大数据,CIO,企业协作,网络数通,信息安全,企业移动应用,系统集成,服务器,存储,呼叫中心,视频会议,视频监控等)的子公众号。 ======[详细]
-
传统企业在大数据分析上所面临的关键问题
所属栏目:[大数据] 日期:2020-12-31 热度:142
实现数据驱动有两个关键环节:一是数据采集,二是数据分析。对于传统企业来说,往往是这两点都不太具备条件。? 数据采集的痛点 前一段知乎上有人提问,说大家都在讨论大数据与互联网、金融、政府等领域的结合,为什么谈农业大数据的这么少?相关的公司这么[详细]
-
[bigdata-017] 用Hive操作hbase
所属栏目:[大数据] 日期:2020-12-31 热度:166
1. 在hbase创建一个表 ivt_mny_pro 2. 在hive创建一个外部表ivt_mny_pro_2_hive create external table ivt_mny_pro_2_hive(key string,idx bigint,beginTime timestamp,endTime timestamp,userid string) row format serde 'org.apache.hadoop.hive.hbase[详细]
-
FP-Growth序列频繁模式挖掘
所属栏目:[大数据] 日期:2020-12-31 热度:164
副标题#e# 1算法设计目标 输入不同的命令是用户使用Linux服务器的基本途径,通过长时间采集不同用户在使用服务器过程中所使用的命令序列,挖掘其中频繁出现的命令序列,可以帮助我们了解用户使用该服务器的基本规律。 此外,如果存在多台服务器,那么我们可[详细]

浙公网安备 33038102330484号