一些博客记录

  1. Elasticsearch 权威指南(中文版)
    http://wiki.jikexueyuan.com/project/elasticsearch-definitive-guide-cn/330_Geo_aggs/60_Geo_aggs.html
  1. 有时候,使用mvn assembly:assembly打包会出现找不到非maven管理的jar中的类, 这个时候再次运行mvn assembly:assembly命令就可以了

Path must not end with / character
这个问题可能是kafka的topic是null,或者无效的.
http://blog.csdn.net/ado1986/article/details/50147693

阻塞队列
http://wiki.jikexueyuan.com/project/java-concurrent/blocking-queues.html
http://wiki.jikexueyuan.com/project/java-concurrency/queue-stack.html

优先级队列:PriorityQueue

程序员你在迷茫什么
http://geek.csdn.net/news/detail/68512

几个程序员的禅师笑话
http://bbs.jointforce.com/forum.php?mod=viewthread&tid=16475&extra=page%3D1

多线程
http://www.cnblogs.com/skywang12345/p/3479024.html
http://www.cnblogs.com/skywang12345/p/3479063.html
http://www.cnblogs.com/skywang12345/p/3479083.html
http://www.cnblogs.com/skywang12345/p/3479202.html
http://www.cnblogs.com/skywang12345/p/3479224.html

在IOS 8 iOS 9 中使用CoreLocation 获取地理位置
http://www.jianshu.com/p/ce8be56845c1

SWIFT中获取当前经伟度
http://www.cnblogs.com/foxting/p/4518379.html

根据经纬度获取地点名称
http://api.map.baidu.com/lbsapi/getpoint/index.html?qq-pf-to=pcqq.group

Java SE7新特性之try-with-resources语句
http://blog.csdn.net/jackiehff/article/details/17765909

kafka文档(3)—- 配置选项翻译
http://blog.csdn.net/beitiandijun/article/details/40582541

Java工程师成神之路~
http://blog.csdn.net/i10630226/article/details/50855118

Ad hoc是什么意思?
http://simon.blog.51cto.com/80/97504/

查询ES中所有index和type的定义
GET _mapping

查询ES中nm_1605 index的定义
GET /nm_1605/_mapping

查询ES中nm_1605 index中news type的定义
GET /nm_1605/_mapping/news

安装Tomcat指定JDK
http://www.cnblogs.com/lioillioil/archive/2011/10/08/2202169.html

Kafka 设计与原理详解(一)
http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=2650342597&idx=1&sn=ec3bde92ae548a587bf8f7a53a060de7&scene=0#rd

CentOS修改主机名
修改如下三个文件中的主机名
[root@iZ25ps5j2tjZ ~]# vi /etc/sysconfig/network
[root@iZ25ps5j2tjZ ~]# vim /etc/hostname
[root@iZ25ps5j2tjZ ~]# vim /etc/hosts

Linkedin Camus,从Kafka到HDFS的数据传输管道
http://blog.csdn.net/amghost/article/details/44258817

Kafka实战-Flume到Kafka
https://yq.aliyun.com/articles/33933#

高可用Hadoop平台-Flume NG实战图解篇
http://www.cnblogs.com/smartloli/p/4468708.html?spm=5176.blog33933.yqblogcon1.5.lrywB7

Flume与Kafka整合
http://m.blog.csdn.net/article/details?id=51125987

Failed to send producer request with correlation id 2 to broker 0 with
http://10120275.blog.51cto.com/10110275/1764526
windows上的java程序直接连linux服务器的上的kafka报错,这个时候需要修改kafka的两项配置.
advertised.host.name=121.51.250.98 #外网ip
advertised.port=9092

win10怎样把应用程序加入开机启动项
http://jingyan.baidu.com/album/90895e0ff3a41f64ec6b0bc3.html

Log4j hello world example
http://www.mkyong.com/logging/log4j-hello-world-example/

kafka delete topic,marked for deletion
http://blog.csdn.net/wind520/article/details/48710043

ik如何动态添加扩展词
http://www.itzhai.com/ikanalyzer-lucene-demo-performance-test.html#直接通过Analyzer进行分词

IKAnalyzer2012_u6.jar必须和lucene-core-3.6.0.jar一块使用,和其它的lucene版本一块使用会出各种各样的问题。

spark mlib FPGrowth所用到的数据
https://github.com/apache/spark/blob/master/data/mllib/sample_fpgrowth.txt

System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.
http://blog.csdn.net/yizheyouye/article/details/50676022
ide里设置-Xms256m -Xmx1024m

Github Flavored Markdown GFM介绍
http://www.jianshu.com/p/cfPxyr

Hadoop新型数据库Kudu系列文章1:概述
http://blog.datacanvas.io/hadoopxin-xing-shu-ju-ku-kuduxi-lie-wen-zhang-1-gai-shu/

阻塞队列
http://www.cnblogs.com/dolphin0520/p/3932906.html

彻底解决安装win7、win8.1、win10系统出现“我们无法创建新的分区 也找不到现有的分区”的问题
http://www.yishimei.cn/computer/486.html

文档去重算法:SimHash和MinHash
http://blog.csdn.net/heiyeshuwu/article/details/44117473

阶乘、排列、组合、二项与多项式
http://202.113.29.3/nankaisource/mathhands/Elementary%20mathematics/0101/010108/01010801.htm

通俗理解卷积神经网络
http://blog.csdn.net/v_july_v/article/details/51812459

linux find命令
find / -name “user_model“ -print
http://www.cnblogs.com/peida/archive/2012/11/16/2773289.html

java slf4j和log4j的整合


org.slf4j
slf4j-api
1.7.13

org.slf4j
slf4j-log4j12
1.7.13

log4j
log4j
1.2.7

在log4j中不打印spring包中类的日志
log4j.logger.org.springframework=ERROR 设置级别,就不会有了

maven添加第三方jar包进本地maven库
http://blog.csdn.net/yancao952/article/details/49926623

将项目里的jar包配置为maven管理的jar包,加入到本地maven库中。

我选择了第二种方式,这样所有的jar包都由maven管理,干净整洁。

步骤如下:

1、使用maven命令将jar包添加到本地maven库,举例 maple-2.0.jar

mvn install:install-file -DgroupId=com.maple -DartifactId=maple -Dversion=2.0 -Dpackaging=jar -Dfile=maple-2.0.jar

命令解释:

mvn install:install-file install命令

-DgroupId
: groupId

-DartifactId
:artifactId

-Dversion
: jar包版本号

-Dpackaging:
要install的包的类型

-Dfile
:要install的jar包位置

执行命令后,查看本地maven库中,已经生成maven依赖pom等maven依赖文件了。

2、项目pom.xml中添加依赖关系


com.maple
maple
2.0

spark stream的提交命令
/opt/software/spark-1.6.1-bin-hadoop2.6/bin/spark-submit –class com.qctt.main.Main –master local –num-executors 1 –driver-memory 521m –executor-memory 521m –executor-cores 2 –name distribute –queue root –jars “/home/wangjunbo/distribute/distribute-3-jar-with-dependencies.jar” –files /home/wangjunbo/distribute/config /home/wangjunbo/distribute/distribute-3.jar config

JAVA_HOME的正确配置方式
JAVA_HOME=/usr/java/jdk1.7.0_67
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH

替换jar包指定的文件
http://blog.csdn.net/giianhui/article/details/10085145

jar uvf allydata_nomiss_analysis-4.jar cn/qctt/spark/Start$1.class

java数据缓存
Core Cache Stores
http://infinispan.org/tutorials/simple/remote/
http://infinispan.org/cache-store-implementations/

JUnit4单元测试入门教程
@AfterClass @BeforeClass @after @before的区别对比
http://www.jianshu.com/p/7088822e21a3

git之临时忽略文件
http://www.netingcn.com/git-temporary-ignore.html

java.ext.dirs的使用举例

#!/bin/sh
java -Djava.ext.dirs=/data/nomiss/distribute/lib cn.allydata.main.Controller /data/nomiss/distributemc/conf/config.properties /data/nomiss/distributemc/conf/log4j.properties /data/nomiss/distributemc/conf /data/nomiss/distributemc/conf/motan_client_zk.xml

jar解压
jar xf xxx.jar

jar压缩
jar cvf mysamlpe.jar *

java设置一段代码执行超时时间
http://blog.csdn.net/a9529lty/article/details/42711029

Spark运行时产生的临时目录的问题,比如local模式
http://blog.csdn.net/kwu_ganymede/article/details/49094881

JAVA8 十大新特性详解
http://www.jb51.net/article/48304.htm

HBase无法创建表
http://blog.csdn.net/lxpbs8851/article/details/8287471
最后的解决方案是重启了HBase

Share