codingkid的专栏

上篇文章罗嗦的讲解了为何要处理海量数据。除了用数据库和调整硬件和os，软件这里可以做的工作也很多，而且也更加灵活。其实海量数据处理不外乎以下这思想：划分->处理->归并（聚集）当然有的时候根据最终目的不同，有可能处理过程中就可以扔掉很多冗余的数据了，那么经过多层处理也很快。并行处理也是一种方法，如果划分子集中没有特定的顺序要求，可以并行处理各个子文件，之后再聚集在一起去。思

session和cache的区别是什么？session是针对单个连接（会话）来使用的，主要存储和连接相关的上下文信息，比如登录信息等等。cache是应用程序级的，主要用来缓存计算或查询结果，减轻服务器负担，并加快响应速度。设计一个DNS的Cache结构，要求能够满足每秒5000以上的查询，满足IP数据的快速插入，查询的速度要快。（题目还给出了一系列的数据，比如：站点数总共为5000