-
【快讯】R语言在大数据统计分析中的应用及前景
所属栏目：[大数据] 日期：2021-03-08 热度：150
2016年6月8日下午，数据观—清华大数据“技术·前沿”系列思享会在清数D-LAB顺利举办。本次活动有幸邀请到美国普度大学统计系教授及清华大学统计学研究中心兼职教授朱宇进行R语言在大数据统计分析中的应用及前景主题分享。 本次讲座分别介绍了统计分析语言[详细]
-
精准测试新玩法の基于犯罪心理学挖掘代码风险
所属栏目：[大数据] 日期：2021-03-08 热度：144
副标题#e# 前言 ? 犯罪心理学还能用于挖掘代码风险？ 挖掘出来的东西是什么？ 挖掘出来的东东长什么样子? 挖掘出来能用来做什么？ 具体怎么样挖掘呢? 这是本文的主要探讨的内容． ? 在大型的项目中,代码和模块的复杂度在很大程度上决定了测试任务的时间,?[详细]
-
常用的数据标准化方法
所属栏目：[大数据] 日期：2021-03-08 热度：127
数据的标准化（normalization）是将数据按照一定规则缩放，使之落入一个小的特定区间。这样去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是0-1标准化和Z标准化，当然，也有一些其他的标准化[详细]
-
BI Intelligence 报告：2016 年 5 大数字化趋势（附下载）
所属栏目：[大数据] 日期：2021-03-08 热度：124
副标题#e# C新智元编译?? ? 来 源：Business Insider 译者：闻菲 【新智元导读】Business Insider 网站日前公开了旗下调研团队 BI Intelligence 去年 2 月发布的调查报告，成功预测了消息APP成为新的OS和Bot的崛起。报告还预计物联网是下一场工业革命，将颠[详细]
-
HDU 1212 Big Number（大数取模）
所属栏目：[大数据] 日期：2021-03-08 热度：160
Big Number Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 7063????Accepted Submission(s): 4866 Problem Description As we know,Big Number is always troublesome. But it's really imp[详细]
-
R语言：SMOTE - Supersampling Rare Events in R:用R对非平衡数
所属栏目：[大数据] 日期：2021-03-08 热度：156
副标题#e# SMOTE - Supersampling Rare Events in R:用R对稀有事件进行超级采样 在这个例子中将用到以下三个包 {DMwR} - Functions and data for the book “Data Mining with R” and SMOTE algorithm:SMOTE算法 {caret} - modeling wrapper,functions,com[详细]
-
寻找第K大数的方法
所属栏目：[大数据] 日期：2021-03-08 热度：147
寻找一堆数中第K大的数，第一感觉是排序，然后将排序之后的值取第K个。但是实际上，这种方式最少的时间复杂度是O(nlogn)。有更简单的方式可以实现线性的时间复杂度。 算法总是有穷尽的，而思想无穷尽，而实用算法的本质是用空间去换取时间。 这里的方案是[详细]
-
大数据分析界的“神兽”Apache Kylin初解
所属栏目：[大数据] 日期：2021-03-07 热度：170
副标题#e# 转自李栋，来自Kyligence公司，也是Apache Kylin Committer PMC member，在加入Kyligence之前曾就职于eBay、微软。 今天分享的主题是：聊聊“神兽”Apache Kylin的最新特性。本次分享将首先对Apache Kylin进行基本介绍；接下来介绍1.5.x最新版本[详细]
-
kylin-BI工具-tableau9
所属栏目：[大数据] 日期：2021-03-07 热度：180
副标题#e# Tableau 9 Tableau 9.x has been released a while,there are many users are asking about support this version with Apache Kylin. With updated Kylin ODBC Driver,now user could interactive with Kylin service through Tableau 9.x. Apac[详细]
-
基因数据处理26之avocado运行snap-basic有问题
所属栏目：[大数据] 日期：2021-03-07 热度：60
hadoop@Master:~/xubo/data/testTools/se$ avocado-submit /xubo/avocado/hs2.fq /xubo/avocado/hs38DH.fa /xubo/avocado/test20160527NUMhs2snap /home/hadoop/xubo/data/testTools/se/snap-basic.propertiesUsing SPARK_SUBMIT=/home/hadoop/cloud/spark[详细]
-
工具 | R高效数据处理包dplyr和data.table，你选哪个？
所属栏目：[大数据] 日期：2021-03-07 热度：167
副标题#e# dplyr和data.table是R的两个高效数据处理包，这两个包有它们各自的优点。dplyr包的语法更加优雅，提供了更易于人类所能理解的自然语言。data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率[详细]
-
如何挖掘大数据“钻石矿”? 李克强绘四大路径
所属栏目：[大数据] 日期：2021-03-07 热度：133
副标题#e# 中新社 刘震 摄 有人将大数据比喻为“21世纪的钻石矿”。如何在新一轮信息化潮流中抢得先机，掘得富矿？中国国务院总理李克强25日在中国大数据产业峰会暨中国电子商务创新发展峰会(以下简称：数博会)上发表致辞时，为此描绘出四大清晰路径。 路径[详细]
-
数据处理的 9 大编程语言
所属栏目：[大数据] 日期：2021-03-07 热度：199
副标题#e# （点击上方公众号，可快速关注） 英文：Anna Nicolauo 译者：伯乐在线 - 胡波 链接：http://blog.jobbole.com/100732/ 有关大数据的话题一直很火热。伴随着信息的爆炸式增长，大数据渗透到了各行各业，广泛应用于公司中，同时也使得传统的软件比[详细]
-
基因数据处理28之avocado运行
所属栏目：[大数据] 日期：2021-03-07 热度：153
需要注意的是如果使用avocado的命令行，fs和fq为hdfs路径，properties为本地路径： hadoop@Master:~/xubo/data/testTools/se$ avocado-submit /xubo/avocado/hs1.fq /xubo/avocado/hs38DH.fa /xubo/avocado/test20160527 /home/hadoop/cloud/avocado/basic[详细]
-
LightOJ 1370 Bi-shoe and Phi-shoe（欧拉函数）
所属栏目：[大数据] 日期：2021-03-07 热度：111
题目链接： LightOJ 1370 Bi-shoe and Phi-shoe 题意： 给出n个数，要求对每个数a[i]找一个数x[i]使得小于x[i]且与x[i]互素的数的个数不小于a[i],求出所有x[i]的最小和。 分析： 和最小则每个数对应的x[i]应最[详细]
-
基因数据处理26之bcftools安装和使用
所属栏目：[大数据] 日期：2021-03-07 热度：191
1.下载： https://github.com/samtools/bcftools 2.安装 make make install 3.结合samtools使用 对排序好的bam数据用samtools生成bcf文件： xubo@xubo:~/xubo/data/testTools/se$ samtools mpileup -ugf ../hs38DH.fa hs2.sort.bam hs2.bcf 由于生成的是二[详细]
-
基因数据处理30之avocado运行avocado-cli中的avocado问题1和2
所属栏目：[大数据] 日期：2021-03-07 热度：186
问题1： avocado中的run方法中： println("stats.coverage:" + stats.coverage) 调用的是： lazy val coverage = ComputingCoverage.time { ScoreCoverage(inputDataset) } 然后报错： Exception in thread "main" java.lang.UnsupportedOperationExceptio[详细]
-
文本挖掘分析《欢乐颂》到底谁和谁堪称好闺蜜、谁和谁又最为般配
所属栏目：[大数据] 日期：2021-03-06 热度：82
? 听说最近大家都在看《欢乐颂》，这部热剧里，女性可谓是绝对的主角，22楼5个女房客的互动好像把男性角色们的风头都抢光了；但是热门剧中又总是不能缺了言情戏的点缀。所以，《欢乐颂》到底谁和谁堪称好闺蜜、谁和谁又最为般配呢？还是让文本挖掘为你揭晓[详细]
-
用户研究基础流程和 SPSS 快速数据处理
所属栏目：[大数据] 日期：2021-03-06 热度：154
副标题#e# 本公众号为阿里巴巴集团 CCOUX 所属，我们会定期为您推送一些用户体验相关的原创以及一些国外文章的翻译，希望您会喜欢并关注我们。请点击上方「37点2度体验」关注我们吧！ 尽管基于在线行为监测的业务数据分析越来越被企业重视，在用户研究领域[详细]
-
机器学习中的相似性度量：距离，原来还有这么多类
所属栏目：[大数据] 日期：2021-03-06 热度：115
副标题#e# 来自：苍梧 - 博客园 链接：http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html 在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法[详细]
-
大数相加，大数相乘和100！
所属栏目：[大数据] 日期：2021-03-06 热度：68
副标题#e# ???????????? 自从腾讯HR面试被刷后，也就不想找实习了，记住教训吧，没事还有九月份，现在和其他人几个人都加进去了linux3+1实验室，暑假好好干一个暑假。 ??? 大数相加虽然之前写过，但是现在写代码起码也应该有自己的风格和规范了，其实大数相[详细]
-
大数据处理语言：U-SQL 介绍
所属栏目：[大数据] 日期：2021-03-06 热度：64
副标题#e# 微软宣布了新的 Azure 数据湖（Azure Data Lake）服务，该服务被用于云分析，包括了一个超大规模信息库；一个在 YARN 上建立的新的的分析服务，该服务允许数据开发者和数据科学家分析全部的数据；还有 HDInsight，一个全面管理 Hadoop、Spark、St[详细]
-
大数定理_介绍和证明
所属栏目：[大数据] 日期：2021-03-06 热度：94
? ? ? 证明： 其实仔细看看公式下面的一句话： X的方差越少，事件{|x-u|e}发生的概率越大。 由于n无限的接近 总的变量数，导致X无限的接近期望u,所以方差约等于0 所 p{|x-u| =1-0/(e 2 )=1-0=1 (概率p的最大值＝1) ? 伯努利定理： ? ?[详细]
-
机器学习中距离和相似性度量方法
所属栏目：[大数据] 日期：2021-03-06 热度：68
副标题#e# 在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量[详细]
-
为什么在大数据处理中Cassandra与Spark如此受欢迎？
所属栏目：[大数据] 日期：2021-03-06 热度：119
随着现代云应用对正常运行时间及性能水平的要求逐步提高，已经有越来越多用户开始将注意力集中在Apache Cassandra数据库身上。 那么，为什么要选择Apache Cassandra？这套分布式OLTP数据库能够带来高可用性与线性可扩展能力。在说起Cassandra的用途时，我[详细]
浙公网安备 33038102330484号