机器学习工程师与大数据分析师的区别与联系

　　自2013年以来，随着其受欢迎程度激增，大数据分析行业一直在飞速发展，但逐渐趋于融合为更具体的角色。不可避免地，这会导致其成长过程中的工作混乱和不一致。例如，看似有许多完全相同的角色或具有不同角色的相同标题：
 

　　机器学习大数据分析师，大数据分析工程师，数据分析师/科学家，机器学习工程师，应用科学家，机器学习科学家…
 

　　清单继续。甚至对大数据分析专业人来说，招聘人员也向他们伸出援手，担任大数据分析师，机器学习(ML)专家，数据工程师等职位。显然，这个行业很困惑。差异如此之大的众多原因之一是，公司对大数据分析的需求和用途截然不同。无论出于何种原因，看来大数据分析领域正在分支并合并到以下几类：分析、软件工程、数据工程和研究。无论类似的标题怎么说，它们通常都属于这些类别。这种专业化在负担得起的大型科技公司中最为真实。
 

　　在机器学习与大数据分析的区别与联系中，我们将首先研究大数据分析行业的整体趋势，然后更深入地比较机器学习工程师和大数据分析师的区别与联系。小编并不是要提供广泛的历史，而是要叙述作为大数据分析师在一线城市居住时的所见和经历。
 

　　大数据分析产业趋势
 

　　在深入探讨之前，请看一下我在招聘网站上找到的以下两个职位描述。尝试猜测这些描述的标题。
 

机器学习工程师
 

大数据分析师
 

　　非常不同，对不对?令人惊讶的是，两者都适合大数据分析师的职位。我并不是说一个比另一个更好。重点是看它们有何不同。
 

　　即使在工作中，人们也进行了积极的讨论，试图弄清楚究竟是什么定义了大数据分析师。我见过有人将大数据分析师描述为计算机科学博士或新数据分析师。这是因为不同的公司将术语“大数据分析师” 用于非常不同的职位。但是，我相信行业一直在学习变得更加具体和具有更加专业的作用，而不是将所有内容都放入大数据分析的广泛领域。
 

　　那么，大数据分析师可以暗示什么不同的角色?在很大程度上，我认为他们是软件工程师，数据分析师，数据工程师和应用/研究科学家。我见过具有相同大数据分析师头衔的朋友，但他们的角色是四个角色之一。在大数据分析的早期，一位大数据分析师可能已经扮演了这四个角色。今天的职位变得越来越具体和专业。
 

　　大数据分析师趋势
 

　　大数据分析师最基本的通用技能是编写代码的能力。这可能在五年后变得不那么真实了，那时会有更多的人的名片上标有“大数据分析师”的头衔。
 

　　正如文章所暗示的那样，您今天没有理由成为一名出色的大数据分析师。以前，用于分析大数据和讨厌数据的工具和方法以前没有像以前那样易于访问和用户友好。这要求大数据分析师在其他技能之上必须具有相对较强的工程技能。但是用于ML和大数据分析的工具发展很快，并且比以往任何时候都更易于访问，因此您只需几行代码就可以访问最新(SOTA)模型。这使得将角色分离到分析或工程中变得更加容易。现在，我们不必专注于学习所有的分析，工程和统计数据就可以成为大数据分析师，这与以前一样。
 

　　例如，Facebook引领了这一趋势，在该趋势中，数据分析师的工作已经发展成为数据科学家。这是自然过程，因为随着数据量的增加和更具挑战性的数据问题，需要更多的技能和培训来进行良好的分析。不仅是Facebook，还有其他许多公司，例如Apple和Airbnb，都在将分析/产品大数据分析师与ML大数据分析师区分开来。
 

　　公司规模如何影响角色
 

　　值得一提的是，专业化更多地出现在大型科技公司中。与各种规模的科技公司都需要的软件工程师不同，并非所有这些公司都需要专门的研究科学家或ML工程师。拥有几个大数据分析师可能就足够了。因此，在较小的公司中，仍然有可能在这四个角色中都发挥作用的大数据分析师。
 

　　今天的经验法则是，大公司(FANG)中的大数据分析师通常与高级分析师相似，而小公司中的大数据分析师与ML工程师更相似。这两个功能都很重要，也很需要。展望未来，我将坚持我的新定义，即大数据分析师暗指的是分析功能。
 

　　不同的大数据分析师以及如何选择它们
 

　　DS的四个支柱
 

　　求职-选择哪个标题以及如何准备?
 

　　如果您想进入这一领域，无论是作为ML工程师还是大数据分析师，您都可能想知道应该选择哪个。让我列出与ML相关的四个主要角色的简化(和定型)描述，以帮助您阐明。尽管我还没有亲自担任所有这些职务，但我已经从各个领域的朋友那里学到了见识。我还在括号中提供了潜在的采访内容(将其视为四轮采访)。
 

　　大数据分析师：您是否想分析大数据，设计实验和A / B测试，构建简单的机器学习以及统计模型(例如，使用sklearn)来推动业务战略?这个角色的结构较少，不确定性更大，您将推动项目的叙述。 (访谈：1个可能/统计，1个Leetcode，1个SQL，1 ML)。
 

　　ML工程师：您是否要在生产中构建和部署最新的机器学习模型(例如Tensorflow，PyTorch)?您不仅关注构建模型，还关注运行和支持模型所需的软件。您更多是软件工程师(SWE)。 (访谈：3 Leetcode，1 ML)。
 

　　研究科学家：您是否拥有计算机科学博士学位，并且在ICLR中发表了几本关于ML的出版物?您是否想突破机器学习研究的界限，并在被引用论文时感到兴奋?这些是稀有品种，您已经知道自己是谁。这些人大多数都去Google或Facebook。同样，无需博士学位即可进入该实验室，但很不幸。 (访谈：1 Leetcode，3 ML /研究)。
 

　　应用科学家：您是ML工程师和研究科学家的混合体。您不仅关心代码，还关心使用和推动最新的(SOTA)机器学习模型。 (访谈：2 Leetcode，2 ML)。
 

　　显然，这些描述并不详尽。但是，当我与朋友交谈并查看许多工作说明时，我发现这些想法很普遍。如果不确定要应用的角色，请参考以下提示以了解更多信息：
 

　　阅读职位描述：老实说，头衔并不重要。它可能被称为同一位“大数据分析师”，但职位描述可能有很大不同。
 

　　招聘网站跟踪：如果您不确定Apple的大数据分析师是什么样的，只需查看一下Apple大数据分析师在招聘网站上拥有什么样的背景。他们主要是CS博士吗?本科?他们接受什么样的培训?这将帮助您获得更好的主意。
 

　　面试：如果您认为自己的角色是技术角色，但尚未接受编码方面的采访，则可能不会获得技术角色。您的面试内容反映了工作性质。
 

　　ML工程师与大数据分析师
 

　　好的，那很长。现在回到我们的主题。近年来，我开始听到人们对大数据分析工作发表更多负面看法。造成这种情况的一些原因是，越来越多的大数据分析师工作似乎不再具有很酷的机器学习因素，而且似乎更容易获得。也许是五年前，大多数职位描述至少都需要硕士学位才能获得大数据分析师的职位，但现在情况不再如此。不管人们为什么认为(至少是过去的)大数据分析已经结束的原因，让我们来看一些数据。
 

　　即使两个职位的平均工资相似，您也可以看到大数据分析师在2015年和2016年的平均工资有所下降。也许这就是人们对大数据分析师的好日子已经过去了。就数量而言，大数据分析比机器学习工程学要大得多，但是您可以看到机器学习工程师的成长更快，薪水更高。
 

　　几个与ml相关的位置的摘要统计信息
 

　　我学到了一些有趣的见解：
 

　　总体而言，数据科学家比大数据分析师还多，但这在2019年会发生变化!这是否表明数据分析师被重新命名为大数据分析师?
 

　　机器学习工程师的薪水略高于大数据分析师，但该领域的机器学习工程师却少得多。这是因为ML工程师的正式头衔通常只是软件工程师。
 

　　研究科学家的平均水平令人惊讶地低。我发现这是因为数据库可以包括许多其他类型的研究科学家，而不仅仅是技术ML研究的科学家。因此，我为一个高科技公司提供了一张桌子，以减少这种噪音。正如预期的那样，研究人员登上了微软最高薪水的宝座。
 

　　数据工程师的基本工资为130万美元，这让我感到惊讶。这很疯狂!也许您应该考虑这个职业。
 

　　请记住，此数据集仅包含基本工资，股票通常在科技界扮演着重要角色。而且，它不能全面描绘就业市场。但是，考虑到我们在技术领域拥有多少外国工人，这应该仍然是一个很好的代理。
 

　　根据这些数据，我不能说大数据分析行业是萧条。它仍在增长，但可能会更加关注分析。从我的观察来看，确实有更多的大数据分析工作需要更少的先决条件，但这并不是一件坏事。
 

　　结论
 

　　我写这篇文章是因为我自己对行业中正在发生的所有变化感到困惑。而且，对于大数据分析，人们似乎有很多不同的看法。无论谁是对是谁，我希望您能看到趋势并自己决定。
 

　　最后，不要选择一个工作或行业，因为它的平均薪水更高或因为流行语。您的头衔是大数据分析师还是ML工程师还是数据科学家都没有关系。有人说大数据分析师是工程师还是分析师都没关系，因为两者都是正确的。
 

　　尽管可以轻松比较基于薪资的职位，但选择自己喜欢并擅长的职位更为重要。关注您所做的实际工作，并确保它适合您。仅仅因为平均工资可能会更低，这并不一定意味着您实际上会获得较少的收入。如您先前所见，我讨论的所有角色的最高薪资都很高。