自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

aiwen2100

专注NLP/推荐系统/数据挖掘

  • 博客(12)
  • 资源 (16)
  • 论坛 (1)
  • 收藏
  • 关注

原创 016-Storm借助tick消息定时器统计统计周期性业务

在实际业务中,经常需要定时做一些业务逻辑,如每1分钟做一些统计数值。普通业务做法是启动一个Timer线程或者使用Quartz来做定时触发。在Storm中,可以通过让Topology的系统组件定时发送tick消息,Bolt接收到消息后,触发相应的逻辑来完成使用方法分。使用Storm组件的定时器需要为bolt重写下面的方法:public Map getComponentConfigur

2016-02-23 00:41:15 4612 2

原创 9.在Tachyon上运行Spark

9.1    Spark与Tachyon兼容性如何你计划在Tachyon上运行Spark,请参考下面Spark和Tachyon之间版本兼容性列表。Spark Version    Tachyon Version1.0.x and Below    v0.4.11.1.x    v0.5.01.2.x    v0.5.01.3.x    v0.5.01.4.x    v0

2016-02-18 13:36:21 546

原创 8.在Tachyon运行MapReduce

1.1  使用HDFS做UFS首先要让hadoop正常识别tachyon文件系统,需要做如下工作:1)编辑conf/core-site.xml文件,添加如下内容fs.tachyon.impltachyon.hadoop.TFS 2)向lib目录放入对应的依赖包(在tachyon-0.5.0/client/target目录下找),名称为tachyon-client-0

2016-02-18 13:35:24 623

原创 7.Tachyon命令行使用

Tachyon的命令行接口可以让用户通过命令访问FileSystem。Tachyon基本命令format [-s]           格式化Tachyonbootstrap-conf         Generate a config file if one doesn't existtfs                    Comma

2016-02-18 13:34:12 586

原创 6.Tachyon文件存储以及读写过程

1.1  Tachyon文件存储方式为了高效地对文件进行管理,Tachyon文件在内存中按块(Block)组织。文件和块信息保存在Master端,每个Worker以块为单位进行存储和管理,一个块可以同时被缓存在不同Worker的内存中。在UFS中,以文件形式对Tachyon文件进行备份。1.2  Tachyon读写过程由于Tachyon文件存储位置的多样性(内存,UFS),Ta

2016-02-18 13:32:24 804

原创 5.Tachyon参数配置

1.1  基本配置属性名默认值含义tachyon.home"/mnt/tachyon_default_home"Tachyon的安装目录tachyon.underfs.address$tachyon.home + "/underfs"底层文件系统目录

2016-02-18 13:29:44 625

原创 4. Tachyon安装-Tachyon集群模式搭建

tachyon默认支持hadoop-1.0.4版本,如果需要使用更高版本需要重新编译打包。如果使用maven打包,命令如下:mvnclean package -Djava.version=1.7 -Dhadoop.version=2.6.0  -DskipTests 本文采用默认版本进行安装,步骤如下: 1.1.1      Hadoop-1.0.4安装注意:需要实现做好免

2016-02-18 13:25:23 743

原创 4. Tachyon安装-Tachyon本地模式搭建

1)    下载$ wget ./downloads/tachyon-0.5.0-bin.tar.gz$ tar xvfz tachyon-0.5.0-bin.tar.gz$ cd tachyon-0.5.02)    配置$ cp conf/tachyon-env.sh.template conf/tachyon-env.shvi tachyon-env.sh 并

2016-02-18 13:23:45 480

原创 3.Tachyon系统架构

1.1  Tachyon的整体架构Tachyon整体架构采用Master-Worker模式,运行中的Tachyon系统由一个Master和多个Worker构成。Tachyon Master支持Zookeeper进行容错。  Tachyon有三个主要的组件:Master,Client,Worker。 1)       Master节点:主要职责是保存并维护文件系统的元数据信息

2016-02-18 13:16:53 426

原创 2.Tachyon实现原理

Tachyon的实现原理,我们可以关注四点:1)       Tachyon在内存中只保存一份数据2)       将Spark的容错lineage思想引入存储层3)       通过依赖关系重算进行容4)       用了Linux文件系统Ramfs做存储 Ramfs是什么?Linux有一种基于RAM做存储的文件系统,叫做Ramfs。 它是基于与Linux文件系统缓存

2016-02-18 13:12:33 516

原创 1.Tachyon简介

Tachyon是以内存为中心的分布式文件系统,能够为集群计算框架(如:Spark,MapReduce等)提供内存级速度的跨集群文件共享服务。 1.1  Tachyon特征1)       Tachyon‘s的原生API类似JAVA的文件API2)       兼容性:Tachyon实现了HDFS接口。故MapReduce和Spark无需任何修改可以运行在Tachyon上。3) 

2016-02-18 13:11:23 495

原创 HBase-8.phoenix介绍

1、phoenix是什么?Apache Phoenix 是运行在Hbase之上的高性能关系型数据库,通过Phoenix可以像使用jdbc访问关系型数据库一样访问hbase。Phoenix,操作的表以及数据存储在hbase上。phoenix只需要和hbase进行表关联。然后在用工具进行一些读写操作。可以把Phoenix 只看成一种代替Hbase语法的工具。虽然Java可以

2016-02-12 10:18:18 3797

Solr数据库插入(全量和增量)索引

Solr数据库插入(全量和增量)索引,全量一般用于第一次创建索引情况,批量一般更新数据部分创建索引。

2013-11-19

pytorch-flask-api.zip

本章节中,我们将使用Flask 部署一个Pytorch模型,并未模型预测提供一个REST API 接口。下面,我们部署一个预训练好的模型DenseNet 121,该模型用于检测图片

1942-08-31

word2vec-sentiments-IMDB-Data.zip

词向量在NLP被广泛应用,通过引入Doc2Vec,不仅可以对单个词进行词向量表示,而且可以对整个句子或文章进行表示。 想象一下,能够使用固定长度的向量表示整个句子,然后我们可以使用标准的分类算法去分类。是一件很神奇的事情。 本章以Word2Vec 为基础,使用Doc2Vec 来做些情感分析的任务问题。 IMDB预料 进行分类(积极or消极),可以提供的数据集

2019-07-26

积分商城基于Solr的搜索引擎优化

基于solr服务器搜索引擎框架,让大家了解solr,认识solr,解决电子商务网站性能问题。

2013-11-13

BeautifulSoup解析HTML

上传Python培训课件,关于文件相关ppt和相关代码如有需要请多多关注csdn博客http://blog.csdn.net/shenfuli

2015-09-22

solr搜索自动补全

类似京东,淘宝搜索自动补全功能。通过suggest.js插件来完成功能开发。

2013-11-19

CDH的安装和使用

开源的hadoop生态圈的安装和维护很难,通过cloudera公司的cdh来管理,但是对于CDH的安装对于初学者总会存在一定的困难,本文档详细介绍CDH的离线安装和使用

2015-12-08

solr搜索引擎-课程文件培训

本文档包括以下内容,通过下载该内容可以让你掌握solr学习的入门和适应基本开发。 1.学员操作手册-Solr搜索自动补全 2.solr实训教程.doc 3.积分商城基于Solr的搜索引擎优化.pdf 4.基于Solr的搜索引擎优化讲义.pdf 5.课程大纲-基于搜索引擎培训.doc 6.学员操作手册-Solr数据库插入索引.doc 7.学员操作手册-部署solr服务.doc

2014-02-20

UML视图的名称

UML视图的图片,通过该图片可以很好的掌握UML视图的画法

2013-03-05

积分商城基于Solr搜索引擎PPT

1. 积分商城现状 2. 搜索领域知识、原理、应用 3. Solr简介、部署及中文分词 4. SolrJ项目中应用 5. Solr分布式应用 6. 大型网站架构分析

2013-11-19

UML工具培训

1. 初步认识rational rose 2. rational rose 在项目中应用 3. 通过uml介绍瀑布模型和RUP模型。

2013-11-19

01solr企业级搜索引擎准备阶段

开源搜索引擎免费软件基本介绍,包括:分词和基本语法。

2014-05-29

02solr企业级搜索引擎实战演练

solr企业级搜索引擎实战演练 1. 如何进行搜索 2. SolrJ用法介绍 3. Solr的实际应用测试报告

2013-11-19

solr企业级搜索引擎准备阶段

Apache Solr 是一个开源的搜索服务器,Solr 使用 Java 语言开发,主要基于 HTTP 和 Apache Lucene 实现. Solr 运行在Java的Servlet容器上,诸如: Tomcat or Jetty。 Solr 是一个免费的开源搜索引擎免费软件。 Solr 是一个基于Lucence的开源项目,可以通过下面网址下载。 http://lucene.apache.org/solr/ http://archive.apache.org/dist/lucene/solr/

2013-11-19

tachyon 介绍

Tachyon是以内存为中心的分布式文件系统,能够为集群计算框架(如:Spark,MapReduce等)提供内存级速度的跨集群文件共享服务。本文档让你快速入门

2016-02-18

Spark 读取HDFS保存mongodb

如何使用oozie来调度大数据工作任务。 本案例主要解决下面问题 1、通过idea工具创建sbt项目,并sbt进行编译,打包 2、创建spark的sbt项目。spark读取hdfs,保存mongodb程序 3、Oozie 的Spark Action的调度验证以及不足,测试是否可以入库 4、Oozie 的 Shell Action的调度 5、Oozie 的定时器调度 6、Oozie 的HiveAction调度支持外部依赖包 7、Oozie整体项目案例(Hive Action、Spark Action、Shell Action、Oozie定时调度整合)

2016-06-01

走在前方的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除