paperen
  • 文章数 102

paperen

職業

  • web dev

聯繫我

paperenXgmail.com [X=@]

出沒領域

自我介紹

<?php
class Paperen extends Chinese
{
    function From() {
        return '广东新会';
    }
    function Skills() {
        return 'PHP,JQuery,CSS';
    }
    function Hobby() {
        return '足球,吉他,音乐,WEB前端设计';
    }
    function Graduation() {
        return '新会一中,青岛理工';
    }
    function Tags() {
        return '80后,宅';
    }
}
$paperen = new Paperen();
$paperen->sayHello();
?>

該作者最近發表的文章

hive return code 1 from org.apache.hadoop.hive.ql.
7月前
  • 0
  • 0

hive return code 1 from org.apache.hadoop.hive.ql.

调整了一个hive表的结构,跑清洗数据脚本时遇到hive报错

return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

莫名其妙,然后查阅了百度该问题,都比较复杂(看不懂...),沉下心来排查一下,定位到运行到这行时出现问题

hive -e "use data;truncate table shellda_pvuv;insert into shellda_pvuv select '$SDATE','$HOUR',count(*) as pv,count(distinct devid) as uv,channel,version from shellda_temp_result group by channel,version;"

然后我按分号来单条测试,很是奇怪,竟然问题出现在truncate table这里...如图,百思不得其解 http://paperen.com/file/205

该不会因为表为空的所以truncate就报错,不会这么无语,试着去掉truncate,竟然OK了!

所以解决方案就是去掉truncate....

是这样的,这里的truncate是为了保证清空上次清洗的临时数据影响,其实脚本后面也会在hdfs中rm掉相关临时数据(hadoop fs -rm -r 文件绝对路径),所以这里的truncate可要可不要,而现在定位是由于truncate导致出现这个无语问题,所以只能将其去掉

阅读更多
区块链知识分享
1年前
  • 0
  • 0

区块链知识分享

最近公司新方向涉及到区块链,在paperen研究了一段时间后,抽空写点关于这块的一些总结,一方面有助于自己温故旧概念另一方面也作为一个笔记

关于这个分享大概会按照以下提纲进行

  • 区块链概念
  • 区块链相关名词解释
  • 比特币交易图解
  • 以太坊
  • 以太坊开发例子
  • 参考资料

区块链概念

如果一开始觉得这个概念有点难理解那么咱们先从一个带调侃色彩的对话开始

问:什么是区块链?答:世界上最慢的分布式数据库

阅读更多
ELK架构实现实时数据报表
1年前
  • 0
  • 0

ELK架构实现实时数据报表

最近在做某个项目时客户要求实现广告实时数据报表,paperen也是第一次面对这个需求,由于本来广告就有使用nginx做监播(展示与点击日志),所以查阅了一些资料后决定使用比较轻量的ELK来实现这个需求,先放出平台实时报表的截图

http://paperen.com/file/203

ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana,都是elsatic下的产品https://www.elastic.co/products

并没有太复杂的东西,简单来说filebeat相当于是一个拉取日志数据,将数据拉到logstash,而logstash中可以配置一些过滤器对数据进行预处理或过滤,最后存到es中

阅读更多
管道+cronolog做日志切分
1年前
  • 0
  • 0

管道+cronolog做日志切分

若业务中涉及到需要记录日志的同时又需要满足日志按时切分功能的话,推荐使用管道pipe+cronolog,而落日志的媒介使用nginx或apache甚至自己写服务来实现也是可以的,paperen推荐nginx

http://paperen.com/file/201

本文按以下节奏进行:

阅读更多