qii404 | 齐士博博客

本文介绍Hadoop搭建以及周边组件使用，如sqoop、flume、hive的安装等，配置为能跑起来的最简配置，主要演示Hadoop运行过程。

WordCount单词统计是MapReduce的入门程序，用于统计文本文件中每个单词出现的个数，该文章用于记录实现过程。

平时跑模型的话，要在Ubuntu上安装机器学习环境，装过几次了，可是每次都需要查查找找，故记录下来备用。

用Electron（原名为Atom Shell）有一段时间了，周围总有人问相关的问题，今天就来总结一下。Electron的本质是提供了一个浏览器环境，并且在这个浏览器环境里，可以直接使用nodejs方法处理数据，然后渲染到dom中，就凭这一点，给开发者自由发挥的空间就相当巨大了，既可以用html来实现界面，又可以使用node相关模块调用丰富的原生（操作系统）API，相当于既是server又是client，岂不爽哉？

nw.js原名node-webkit，它通过Chromium内核，可以在node环境下模拟浏览器运行时，因此可以将js封装成独立应用如.deb, .exe, .app等，从而实现跨平台运行。此外，他还直接兼容Chrome打包程序(Packaged Apps)，尤其适合在Chrome商店2016年停止上架新的打包程序之后，可以让原程序直接运行。

ElasticSearch不用多说，全文检索领域的不二之选，基于Apache的Lucene，其分布式的数据存储基本上能够保证任何容量要求。自身提供Restful的API接口，能够满足准确、实时、快速的搜索场景，是当前流行的企业级搜索引擎。

本文为基础教程，主要用PHP实现对EXCEL文件的读取和写入。PHPExcel已经被官方弃用，并推荐换用PhpSpreadsheet来代替。我们的顺序是先读取，然后写入，最后下载EXCEL文件。

本文主要介绍基于Nginx+PHP实现的带权限验证的静态文件服务，如某些情景需要校验参数后才能进行文件下载，或者实现权限认证的图片请求，亦或是缩略图生成等静态文件服务相关。

为了代码规范，最近在公司私有Gitlab仓库中增加了CI集成，用于代码风格检测和单元测试，如果不符合某些硬性条件，那么你是没有办法创建MergeRequest的，这样就能对代码质量有一定的保障，也能让代码风格保持相对一致。

Phalcon框架和Yaf类似，是一款用C实现的拓展级别的框架，不过其功能实现更加丰富，设计思路基于依赖注入、容器等方式，更符合现代框架思想。本文主要针对Phalcon框架数据库层的读写分离进行说明，权当记录。

使用php拓展代替原生php代码来实现某些功能，这样效率必然会有明显的提升，尤其涉及到某些重复计算的特殊情景时。但传统的php拓展需要用c/c++实现，入门成本高，还容易造成内存泄露，对开发十分不友好。今天我们使用zephir工具来构建拓展，让你像写php代码一样来写拓展。

情景是有个expect脚本，通过crontab定时去某台机器上rsync拉取数据作为备份。开始的时候运行正常，后来随着需要备份的数据变大之后发现脚本执行异常，并没有按照预期得到数据。更诡异的是如果不用脚本，而是通过手动执行rsync命令的话，一切正常。

老话题了，不过最近在公司普及Gitlab的时候又提到了，索性就记录下来。原理是使用php -l phpfile对PHP文件进行语法检测，如果不通过的话，则无法继续Commit操作。

情景是使用Charles抓取手机端Https请求，至于详细步骤，网上教程一大堆，请自行搜索。Mac下无此问题，本文适用的是Windows下移动设备无法安装证书的情景。

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写，是一种高吞吐量的分布式发布订阅消息系统。由于负载能力高，存储容量大，通常被我们用在大规模的日志收集和处理上，下面就来说说如何构建Kafka集群。当然，你也可以同时参考官网的教程 http://kafka.apache.org/。

Kubernetes（k8s）是自动化容器操作的开源平台，基于这个平台，你可以进行容器部署，资源调度和集群扩容等操作。如果你曾经用过Docker部署容器，那么可以将Docker看成Kubernetes底层使用的组件，Kubernetes是Docker的上层封装，通过它可以很方便的进行Docker集群的管理。今天我们使用minikube在单机上进行Kubernetes集群的部署，目的是让我们对k8s有个初步的认识。

前两天,用4G访问自己的博客的时候,发现右下角出现了那个可恶的”流量球”,相信大家肯定有见过的,显而易见,这是运营商劫持了我的流量,并且给网站注入了一些内容,以此来推销他们的套餐. 作为一个有理想的咸鱼,怎么能让运营商如此肆意妄为?于是乎,开始了我的博客https改造之路.

今天在bash on windows鼓捣php环境的时候偶然遇到一个坑，就是nginx启动以后，访问index.html可以正常显示，但访问index.php的时候页面一片空白，啥都没有！根据以往在linux下的经验，我的配置完全正确，肯定可行，但在wsl下却跑不通，摸索过程记录如下。

5月12日侵袭全世界的“蠕虫式”勒索软件 WanaCry (也称作WannaCry或WanaCry0r 2.0)，已致中国部分行业企业内网、教育网大规模感染。这种病毒依靠美国国家安全局开发的核弹级侵入工具-深蓝 EternalBlue 在局域网内疯狂传播，即使没有连接外网也难以避免。也就是说，即使你没有点击病毒软件，只要和你一个局域网络的任何一个小白误点了病毒，那么整个网络内都会惨遭毒手。

之前做需求的时候有这么一个，输入是一个ppt文件，要求输出是每页ppt的图片格式，相当于把ppt分页转换为图片，然后图片再做后续的逻辑处理。如果在window下或者说有office的情况下，手动执行太简单，文件->导出为图片 即可实现，可视化操作，那么问题是我这个功能要作为服务运行，在非人工干预的情况下，所有操作都要由脚本实现，所以折腾了一下，这里记录下来。