What is Big Data Engineer？
当Uber用户需求量过大，比如雨天，app上会显示一个溢价金额，这个金额计算需要复杂的后台数据处理和infrastructure支撑；
Facebook 上与用户个人喜好匹配度很高的商品广告，这也是通过对用户进行大量的数据分析学习，建构模型来实现精准广告投放。
通过大数据分析，Google对其放置服务器设备的数据中心进行实时控制，实现降温系统的优化管理，节省大笔经费。
Big Data 不仅可以为公司创造营收利润，同时也能够有效降低公司成本。
很多人可能存在一个误区，认为大数据仅限于IT领域应用。大家忽视了其他行业领域对Big Data人才的大量需求，比如医疗领域，制造行业，零售行业等对大数据工程师的需求量也特别大。很多人说找不到工作，其实因为他把目光局限在了一个地方，比如铁路定期检修的预测，超市的Promotion Email等，都是大数据在背后进行驱动。
在发展机遇及薪水方面，由于Big Data Engineer通常团队小，但成果显明，工作曝光度比较大，对公司的影响巨大，因此职业发展很快。由于技术要求更高，因此薪水上也比general engineer高很多。
常见的Big Data Engineer challenge：
  • 如何实现动态定价
  • 如何应对海量数据增长
  • 如何处理海量消息
  • 如何提高数据的处理速度
  • 如何存储海量数据
  • 如何可靠的传输海量数据
  • 如何应对系统故障
  • 对BIG DATA应用技术的选择与pick up
*图片来自于Flickr
Uber为例： 需要通过KAFKA来保证用户的打车需求及时发送出去，进行可靠快速传输。通过HADOOP进行批处理来应用用户数据，由Data Scientist team与marketing部门分析并对某地区用户进行promotion;需要用到实时需求 pipeline处理的框架Storm。
如何备战求职？
准备好timeline——春招&秋招
  • 春招1月开始
  • 秋招7月开始
HeadCount 往往与Budget planning有关
当前就业市场环境
  1. New Grads目前不占优势，可以扩大选择范围到更多行业，比如医疗，金融等。
  2. 由于上个春招整体缩招，很多New Grads跟跳槽的朋友都在等待秋招，竞争会比较惨烈。
简历的普遍问题
  1. 背景比较差，尤其是转专业同学。
  2. 项目同质化比较严重，都是学校里做的项目。
  3. 对职位缺乏基础认知，简历内容不匹配职位需求。
很多同学的简历无法打动面试官，往往因为简历没有展现出更贴近岗位需求的项目经验与技术知识。
重视软实力的提升
  1. 有效利用Linkedin扩展人脉，对HR主动联系，持续不断的投递。
  2. 多参与线下Meetup活动，比如BitTiger线下活动就是非常好的资源。
  3. 通过所有关系找内推，要勇于跟校友、同事寻求帮助。
Internship Tips
  • Don’t Get Too Relaxed
    需要把握好时间的分配，以工作为主，多积累经验
  • Never Eat Lunch Alone
    多跟full-time同事学习，交流经验，作为拓展人脉的好机会
  • Explore Different Technologies  
    往往公司想去explore新技术，由于没有足够人力去做，会找一些intern去做，把握住快速学习各种技术的机会
  • Be Active，Not Reactive
    多跟manage去聊去学习，没人会主动care你，记得有问题先自己research后再去请教
  • Return Offer
    提前一个月主动跟manage聊return offer，一般跟budget有关，如果不行可以多接触其他组争取机会
More
  • 面试时算法题考的相对少，多为系统设计题，可以体现面试者对开源框架的熟悉程度及解决问题思路
  • Big Data Engineer对数学要求不是特别高，Data Scientist对数学要求更高
想要成为前景大好、收入又高的Big Data Engineer，路上有太多需要注意跟提高的方面。
BitTiger CS502大数据工程师直通车，帮你快速提升所需能力，知识-项目-简历-面试-求职每个环节都有助力，更有系统性的学习业界火热的技术。
Big Data Engineer直通车
项目目的
3个月成为Big Data Engineer，达到业界对Big Data Engineer的要求
项目内容
高强度专业培训
第一个月 Big Data Infrastructure强化训练
强化目标：
从大数据开源技术基础开始，学习当前最火的系统架构并亲自搭建完整的高性能数据Pipeline。
内容包括：
  • Docker封装
  • Apache Zookeeper，Kafka，Cassandra
  • Spark基本原理，以及用Spark Streaming library和Spark运行Data Computation Layer
  • AWS及在AWS上部署Mesos， Spark
  • 使用Redis，Node.js运行Data Visualization Layer
第二个月 Apache开源项目强化训练
强化目标：
熟练掌握Hadoop的基本Use Case，基于Hadoop的数据分析，Pig/Hive的编程。第二月后，不仅可以获得真实大数据系统的实战经验，同时还将具备开源软件的开发能力。
内容包括：
  • Hadoop及应用Hadoop实现网络爬虫
  • Pig及Pig ETL实例
  • Hive及用Hive进行数据分析
  • Apache Project 的开发工具、流程及代码提交
第三个月 Capstone项目
强化目标：
在经历两个月高强度学习与实战之后，每位学员将被分配相应的项目目标并在老师的指导下完成。两位主讲老师将以Mentor和Manager的身份监督引导学员完成各自项目。并可以将完成项目作为实习经历写进自己的简历。
Capstone 项目方向会在课程主页上实时更新，欢迎大家及时查看课程主页。
项目实例：
  • Cloudacl 公司数据挖掘与分析系统
  • 开放数据挖掘与分析系统
  • Apache Pig和Apache Hive开源项目Contribution
  • Alluxio 开源项目Contribution
成为Apache开源项目Contributor
作为华人仅有的4位PMC Chair之一且是多个Apache开源项目的Committer的Daniel老师带领下，你将更加深入、细致地了解诸多Apache开源项目的原理、开发及其应用。同学们更可以通过在Apache开源项目强化训练中提供的项目中提交自己的代码，成为Apache开源项目的Contributor。
增添Bigdata职位实习经历
在完成第三个月的公司实战级别的Capstone项目并得到老师的认可之后的同学，将可以把这段经历作为一个在美短期实习经历写进简历。但因实习名额有限，课程将限制人数。
打造最强简历
完成第一个月的学习及项目之后，你可以将Design a Big Data Stock Platform写进简历中。完成第二个月的学习及项目之后，你将在拥有新的项目之后同时成为知名开源项目的Contributor。完成第三个月的Capstone项目之后，你将拥有资格将本次经历写成为实习经历，放进简历中。
Mock Interview
学员在直通车期间可预约一次1h的mock interview。学员预约前需提交更新后的简历。Mock interview之后1周内，学员将收到反馈和具体的意见。学员须提交文字版mock interview reflection, 分析自己在过程中的不足之处，并提出改进方案。
强大面试指导
直通车课程名师组将从BigDataEnginner面试常见考点，面试必备知识技能，面试流程，职业发展等多方面为学员们做详细的面试指导。并详细分析所学项目在面试中的常见考点，解答以及拓展延伸。同时分析并评估当前Big Data Engineer相关职位的最新最全的招聘信息，提供面试技巧，面试过程中的注意事项，所需的知识能力训练方法和取得成功的步骤等，使得学员们能在面试官前留下最佳的印象。直通车课程组将发挥BitTiger广大社交网及BitTiger内部资源竭尽全力帮助本项目优秀学员内推，从而赢得心仪offer。
课题组
Daniel Dai
Principal Software Engineer @ Hortonworks
是Hortonworks初创团队的23个员工之一，目前担任Apache Pig的PMC Chair, Apache Hive的Committer，多个Apache项目的Champion和Mentor，是O’Reilly 《Programming Pig》一书的作者。
Uncle Barney
Sr. Software Engineer @ AutoDesk
Uncle Barney 热爱研究学习各种分布式系统，现于Autodesk Cloud Infrastructure组担任高级软件工程师，从事分布式系统和云计算相关工作，曾就职于MathWorks，开发了Matlab的HDFS/Cassandra/MongoDB connector。
Zhe Wang
Apache Ambari Project Committer
曾任硅谷大数据公司Hortonworks软件工程师。博士期间曾在BBN Technologies、华为Research Lab和JPMorgan Chase &Co多家科技公司实习, 并拥有Web Service方向3项专利。
JZ
分布式存储系统方向博士，毕业前主要研究如何提高大数据（分布式）存储系统的可靠性，可扩展性和节能。现在主要负责针对对各种大数据平台系统的评测，开发，部署以及大数据应用的开发。
往期学员评价
Daniel老师超级赞！我原先以为我在这里学到的东西可能会对我职业生涯前几年产生重要影响，但现在发现，可能对我整个职业生涯都有重要影响。老师的debug方法真的先进又实用，很多工业届人士还仍然只会肉眼debug。
——学员王同学
巴叔讲的理论实战课非常有用，尤其是把数据流的整体架构讲的很清楚。 实践部分的内容非常好，能够帮助更有效的理解理论课的知识点，而且完成实践作业的过程也是一个很好的学习机会，尝试解决遇到的各种问题同样能够提高自己的能力。
——学员Jack
巴叔真男神，讲课深入浅出，细致到位，答疑也耐心细致，及时帮我解决问题，谢谢巴叔！
——学员吴同学
最新Offer英雄榜
注册第一节公开课(免费)
查看课程详情
第一节课时间
美西时间：8月19日 7pm
美东时间：8月19日 10pm
北京时间：8月20日 10am
复制链接或点击“阅读原文”
https://www.bittiger.io/livecourses/F4bqAZdRLDDyJTJZ8
点击“报名第一节课（Free Lecture）”，填写资料即可报名
课程咨询及报名申请流程
将简历发送至课程老师Davy邮箱[email protected]
并回答：微信ID，你的目标公司和为什么要参加这个直通车项目
课程组老师会在收到简历后24小时内进行简历背景评估，并电话回访及Career指导
查看课程大纲，公众号后台回复“CS502”
继续阅读
阅读原文