Java开发人员的烦恼之处

1. 在外包公司做java开发，薪资说高不高说低不低，很尴尬有没有?但是做来做去技术方面也就那么些，技术水平停滞不前，薪水也跟着停滞不前；

2. 才刚刚毕业，缺少项目经验，在招聘信息上看到的都是要求N年的工作经验；

3. 学历不高，高中/大专/不入流二本院校毕业，好不容易有了几年经验入了行，干着同样的活，却拿别人2/3的薪水，终日愤愤却又无耐的忙得连勾搭妹子的时间都没有；

没开发经验不是你的错，诸葛亮出山打仗时还一个人都没杀过呢！非计算机专业NB科班出身也不是你现在的错，在国内，早期搞计算机的很多也是半路出家，还不是照样特别牛逼吗？以往的锻炼机会少项目很low逼也不是你的错，给个大项目或许你也能加班加点搞出来。错就错在，你太普通。会的技术太普通，做的项目太普通，导致简历太普通，面试时说的技术点也太普通！总之就是：普通！

1. 除了Java、SSH/M框架、MySQL这些别人都会的，你还会些什么？

2. 你过往的项目中，单表数据量过100万吗，过1000万吗，过亿吗？

3. 你过往的项目最多同时有多少人？并发量是多少？服务器有几台？

4. 一天10多个面试的，面试官如何才能挑中你？你有什么技能如众不同体现逼格提升档次拉升offer？

项目内容：做一个分布式的大数据爬虫

项目流程：数据爬虫、全文检索、数据可视化、爬虫监控、爬虫维护

涉及技术：Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail

项目内容（尝试列举一部分）：

1、下载、解析视频网站详情页面url，提取关键字段数据

2、抽取视频网站解析规则模板，优化解析代码

3、打通数据爬虫的下载、解析、存储流程

4、采用Hbase存储爬虫数据，详解Hbase宽表和窄表设计以及爬虫项目表的详细设计

5、解析视频网站所有分页url并优化解析实现类

6、使用Queue队列存储视频网站所有url，实现视频网站url循环抓取

7、采用高、低优先级队列循环抓取视频网站url

8、采用Redis数据库实现url抓取优先级，并支持分布式爬虫

9、采用多线程爬虫，加快爬虫效率

......

2、全文检索过程：索引创建和搜索索引

3、解决全文检索的核心问题

4、Solr+Hbase组合提升检索效率

......

1、采用SpringMVC框架编写爬虫Web项目

2、编写Hbase工具类查询Hbase数据

3、编写Solr工具类检索爬虫数据

4、采用Freemarker或者jsp展示页面

5、采用Highcharts插件展示收视指数曲线图

6、打通爬虫整个项目流程，实时查看收视排行榜以及收视指数曲线图

......

1、模拟正常用户访问，降低IP被封概率

2、采用Redis 动态IP库，降低同一IP对统一网站的访问频率

3、编写Watcher监视器监控爬虫项目生命周期

如果采用的“直播+视频+图文+答疑”的学习模式（动力节点官方网站：http://www.bjpowernode.com/?zb-hyy-BJPP0044），保证每一步操作，每一行代码都可以100% Get到。绝不走马观花，搞定大数据爬虫项目，那都不叫事儿！