dev - FullStack Yang (Page 2)

[轮子系列]Google Guava之CharMatcher源码分析

最近遇到了一些字符匹配的需求，进而仔细地看了CharMatcher的源码，发现还是有点东西值得回味，例如它为我们提供了如何在多种字符类型场景下提高灵活性从而满足不同匹配需求的优秀示范。下面就对CharMatcher类的结构，设计模式，以及几个算法做一些粗浅的分析。一、关于源码中的彩蛋 CharMatcher类中，开头部分有一张宠物小精灵“小火龙”的字符画，就像本文的封面图一样，一开始不解为何要放一只“小火龙”在这里，后来看到其英文名Charmander才明白过来。好吧，谐音梗……略冷。二、类的结构和关系下图是CharMatcher的类关系图，图中蓝色的是abstract类，

如何实现一个基本的微信文章分类器

Mar 1, 2018 dev machine learning

微信公众号发布的文章和一般门户网站的新闻文本类型有所不同，通常不能用现有的文本分类器直接对这些文章进行分类，不过文本分类的原理是相通的，本文以微信公众号文章为对象，介绍朴素贝叶斯分类器的实现过程。文本分类的科学原理和数学证明在网上有很多，这里就不做赘述，本文尽量使用通熟易懂的表述方式，简明扼要地梳理一下文本分类器的各个知识点。参考了一下Github，发现少有Java 8风格的实现，所以这里的实现尽量利用Java 8的特性，相比之前优势有很多，例如stream在统计聚合等运算上比较方便，代码不仅简洁，而且更加语义化，另外在多线程并行控制上也省去不少的工作。本项目的地址：https://github.com/fullstackyang/article-classifier

[轮子系列]Google Guava之BloomFilter源码分析及基于Redis的重构

Dec 24, 2017 dev guava 轮子系列

一、背景知识在网上已经有很多关于布隆过滤器的介绍了，这里就不再赘述，下面简单地提炼几个要点：布隆过滤器是用来判断一个元素是否出现在给定集合中的重要工具，具有快速，比哈希表更节省空间等优点，而缺点在于有一定的误识别率（false-positive，假阳性），亦即，它可能会把不是集合内的元素判定为存在于集合内，不过这样的概率相当小，在大部分的生产环境中是可以接受的；其原理比较简单，如下图所示，S集合中有n个元素，利用k个哈希函数，将S中的每个元素映射到一个长度为m的位（bit）数组B中不同的位置上，这些位置上的二进制数均置为1，如果待检测的元素经过这k个哈希函数的映射后，发现其k个位置上的二进制数不全是1，

HttpClient获取cookie及常见错误的解决方法

Sep 12, 2017 dev

在使用HttpClient进行抓取一些网页的时候，经常会保留从服务器端发回的Cookie信息，以便发起需要这些Cookie的请求。大多数情况下，我们使用内置的cookie策略，便能够方便直接地获取这些cookie。下面的一小段代码，就是访问http://www.baidu.com，并获取对应的cookie： @Test public void getCookie(){ CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet get=new HttpGet("