搜故事,从300万个故事到海量知识百科的华丽转变!

极客故事:这个深度学习和NLP研究员 展示了NLP领域的学习故事

时间:2014-07-10

但实际上,如果没有网上整个学术社区和大家的帮助,这是不可能完成的

提示:本文共有 3285 个字,阅读大概需要 7 分钟。

我最近在自学机器学习方面有所进展。但实际上,如果没有网上整个学术社区和大家的帮助,这是不可能完成的。我和那些给予我灵感的人们交谈,他们都是值得尊敬的前辈。在过去的一些交谈中,我有幸接触到一些Kaggle竞赛大牛、技术主管和从业者。

之所以分享给大家这些对话,是希望大家从这些我有幸接触到的大牛身上学到一些东西,发掘一些共有的特质。

这一次非常荣幸能和Sebastian Ruder交流,他是一名我认为在整个Fast.AI社区都很杰出的自然语言处理(NLP)研究员。Sebastian是AYLIEN(爱尔兰一家NLP公司)的一名科学研究者,还是都柏林大学洞察力研究中心数据分析组的博士生。

Q:你好,Sebastian。感谢你忙中抽闲。

A:我还要感谢你邀请我呢。

Q:你目前在AYLIEN作为一个研究者,还是都柏林大学洞察力研究中心数据分析小组的博士。能告诉我们你是如何开始学术之旅的吗?什么让你对NLP和深度学习产生了兴趣?

A:我高中的时候对语言和数学非常感兴趣,参加了很多竞赛。对于学业,我想将数学的逻辑和语言的创造力结合起来,但是当时还不知道这个领域的存在。那时我突然发现了计算语言学,这是一个研究计算机科学和语言学很好的交叉学科。

我在德国海德堡大学完成了计算机语言专业的本科学习,并且对机器学习产生了极大兴趣,所以通过实习和网上的课程充分接触机器学习的知识。

2015年我硕士毕业的时候,还只知道word2vec这个算法,后来读了深度学习的博士。一年后,我觉得这是一个有趣的方向,于是决定专注在这个方面。

Q:你在毕业之后马上开始了科研。什么让你选择了学术界而非工业界呢?

A:毕业之后,我开始计划去一些初创公司工作以获得经验。博士一直是我的梦想,但是那时我还没有认真考虑这个选择。当我面试都柏林一家NLP初创公司AYLIEN的时候,他们向我介绍了在职博士培养计划,一个由大学和公司共同发起的项目,感觉非常适合我。

虽然兼顾科研和业界工作极具挑战性,但整体上来说,这给我带来了极大的收益。最重要的是,我认为那家公司也非常适合我。

Q:你现在已经作为研究者3年了,这几年最喜欢的项目是什么?

A:就学习而言,深入一个我不太了解的新领域,阅读论文,与伟大的人合作。本着这种精神,我在哥本哈根大学从事多任务学习的项目是一次伟大的、非常刺激的经历。

就影响而言,能够与Jeremy合作,与Fast.AI社区的人互动,并看着人们发现我们在语言模型方面的工作很有用。

Q:NLP领域一直有争议,说落后于计算机视觉领域。你对现状有什么看法呢?现在是从事NLP研究的好时机吗?

A:我认为是的。和前几年只是用词嵌入或者现成的模型相比,现在的技术已经趋于成熟,你可以结合不同的成分组成自己的模型,比如运用不同的层结构,预训练模型以及辅助损失函数,等等。

现在领域内越来越多的人认为一些典型问题已经被解决了,比如词性标注、在“宾州树库”上的依赖性分析、情感分析以及电影评论分析等,所以我们希望在更多有挑战性的问题上取得进展,比如进一步的自然语言理解或者创造出可以充分泛化的模型。从这些问题的角度来看,我认为NLP研究员能从大家新的思考角度和想法中获益。

另外,因为我们在为很多实际的项目训练模型,比如实现高精度的语句分类和序列标注,需要把这些技术应用到其他语言。如果你说着其他一门语言,完全可以创建一个别人可以拿来评估、训练模型的数据集。

Q:对于那些对NLP感兴趣的读者、初学者,你有什么好建议呢?

A:通过浏览NLP发展历程,先找到一个感兴趣的任务。如果你喜欢做科研,选择一个不是大家都在做的、特别的子任务。比如,情感分类是基于对话的,所以不适用于电影评论任务。

总的来说,读一些过去的论文而不是新论文。读一些和自己研究领域相关的论文,尝试着理解那些先进的算法是如何工作的。尝试那些有开源代码的、你自己可以实现的任务。一旦你对这些基本的原理有了大体了解,对于科研,想一想你是否被某篇论文所启发。想一想你的模型会出什么错误,并想方设法地解决它们,比如我们可以尝试错误分析,并使用一些合成工具来判断模型是否包含了某种信息。

如果你有想法建立一个更加现实而充满挑战性的任务,那么尝试建立一个数据集,并用现有的模型跑一遍。尝试将这些数据集翻译成自己的语言,再看看是否得到了相同的结果。

Q:很多深度学习、机器学习的岗位都要求博士文凭且一定的科研经验。对于想要把机器学习作为职业道路的读者,你觉得科研经历是必须的吗?

A:我认为科研经历能够证明你对基本的模型有熟悉度,并能创新地提出自己的解决方案。你不需要读个博士或者科研研究员来掌握这些技能。积极主动一些,主动学习、亲身实践感兴趣的问题,尝试优化你的模型,把自己的经验写下来,也是起步的方法,这能使你获得上述一样的技能。

在很多应用型机器学习的模型中,你不会被允许完全用一个新的方法。参加一些机器学习和数据科学的竞赛,同样的,也能够帮你把自己理论所学应用于实际。

Q:考虑到学术研究的迅猛发展,如何时刻保持在领域前沿呢?

A:我每天都会去arXiv看日常更新,添加一些相关的论文到我的阅读清单里,成批地完成阅读。Jeff Dean最近在一个深度学习大会上说,粗略地读10篇论文比精钻1篇论文要好。

我非常赞同他的看法,你要尽可能多地阅读,这样心中就能了解大概,并能在日后的工作中获得启发。有一个良好的论文管理体系也是关键,我一直都在用Mendeley。最近我在用arXiv的整理工具来保存相关的论文。

Q:你一直坚持写博文,我也是拜读者之一。请问你能分享一些高效书写科技类文章的经验吗?

A:写博客是一种能使我加深对某个特定领域理解的绝好方式。如果你发现自己要费很大劲才能培养学术直觉,或者要做大量研究才能掌握一门学科,那么,把这个过程写进博客,这样你就能在将来加速其他人的学习。

科研论文通常没有足够的篇幅,详细阐述进行的工作,充分说明自己灵感来源和学术直觉。而博客就能让这些技术部分显得更加易于接受与了解。写博客好的地方是它不苛求完美。你可以用他来提升自己的沟通能力,也可以得到关于自己想法的反馈,防止遗漏掉自己没有考虑的事。

就写作而言,我认为应该要尽可能保持语言的准确,不能模棱两可。去掉没有意义的句子,去掉很泛的形容词。数据告诉你什么,你就写什么,而到推测的部分,就直接说你是猜测得出的。从朋友、同事那得到初稿反馈。不要总是苛求完美,达到一个满意的点即可。最后发布的那一刻,感到焦虑是件很正常的事,而且那种焦虑感会持续很久,但从长远角度来看这是非常值得的。

Q:你认为机器学习被吹过头了吗?

A:没有。

Q:总结之前,有什么建议给那些因为感觉深度学习是高技术含量领域,而迟迟不敢开始的初学者呢?

A:1.不要相信别人跟你说你做不到。

2.上网课加深自己的理解。一旦你感觉自己已经入门了,有时间就读论文以获得启发。

3.选择你感兴趣的领域,然后立即开始工作。

4.不要觉得解决有意义的问题需要大量计算,特别在NLP领域,很多问题只需要少量标记数据就能解决。

5.把自己在做的、在学的写下来。

6.和那些有相同兴趣或研究领域的人多多交流,比如fast.AI社区,我觉得很赞。

7.上推特。推特上有很棒的机器学习社区,你能比发邮件更快地得到大牛的回复。

8.找个导师。如果你咨询某人,一定要注意他们的时间。

9.尊重并乐于帮助他人。

10.看淡褒奖,也要警醒批评。

来源:Hackernoon作者:Sanyam Bhutani智能观 编译

—完—

扩展阅读:

人工智能领域,这14个人的技术博客一定不能错过!

30本最受欢迎的人工智能书籍(Stack Overflow数据)

亲爱的朋友:如作者所说,之所以我们每周分享一篇人物访谈,是希望你能从这些大牛身上找到启发,近而作出行动,让自己有所进步。周末愉快! 智能观 灵米2018-10-13 于北京中关村

声明:编译文章旨在帮助读者了解行业新思想、新观点及新动态,为原作者观点,不代表智能观观点。

看到此处说明本文对你还是有帮助的,关于“极客故事:这个深度学习和NLP研究员 展示了NLP领域的学习故事”留言是大家的经验之谈相信也会对你有益,推荐继续阅读下面的相关内容,与本文相关度极高!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。
相关阅读
极客故事:走近微软CEO技术顾问 一个对高效工作有独特见解的人

极客故事:走近微软CEO技术顾问 一个对高效工作有独特见解的人

工作,任务,时间,研究,人们,杰米,世界,事情,智能,微软,你喜欢,人工智能,信息,文章,时候,你认为,团队,感觉,手机,方式,研究员,灵感,萨蒂亚,启动任务,工作中,最重要,会议,员工,办公室,工作效率

2010-08-10 #故事阅读

图麟科技做客《创业故事汇》:AI成就极客最好的时代

图麟科技做客《创业故事汇》:AI成就极客最好的时代

科技,技术,问题,领域,魏京,智能城市,人工智能,安防,算法,公司,发展,人脸识别,关键,深度,砖块,终端,节目,中国人,人工智能技术,解决方案,链接,艾瑞,中提,建设中,腾讯,万物,东方财经,中国,人工,交通

2016-07-04 #故事阅读

nlp

nlp

2008-02-01 #经典故事

毒辣NLP影响力课程火力加强版

毒辣NLP影响力课程火力加强版

对方,课程,技巧,影响,经验,时候,行为,讲故事,价值观,训练,信念,女生,客户,潜意识,肢体语言,命令,好处,学员,录音,装置,言谈,语言,主题,亲和力,声调,感觉,时间,答案,眼神,陷阱

2020-07-07 #小故事

小故事丨和尚在 我去哪了?——NLP自我认知

小故事丨和尚在 我去哪了?——NLP自我认知

和尚,张三,包袱,文书,光头,心理,解差,绳子,变得更好,喝几杯,每天早晨,得让,白己,又一杯,在路上,学里,改变自己,东西,上级,一面镜子,事情,内心世界,助人,深潭,所想,复杂多变,官府,心态,才能,手脚

2020-08-30 #经典故事

NLP之青蛙变王子简体中文.txt

NLP之青蛙变王子简体中文.txt

资源,本站,仅供,商业用途,发邮件,服务器,网友,版权,疑似,网警,研究,违法,所有资源,不合适,再决定,或删除,本站所有,请购买正版,请给我,过一段时间,零容忍,重试,链接

2020-05-22 #故事大全

NLP小故事大道理:一切改变都要从“破框”开始!

NLP小故事大道理:一切改变都要从“破框”开始!

老鼠,米缸,时候,资源,是多么,框架,中国,大米,壳里,意识,小鸡,悲剧,日子,食物,突破,小故事,从内部,好的,人际关系,会分,八国联军,呼呼大睡,列强,地形,地位,外国,好吃懒做,猛吃,思维,故事

2009-06-07 #经典故事

nlp小故事:两个信徒在做祷告的时候都想抽烟

nlp小故事:两个信徒在做祷告的时候都想抽烟

神父,时候,在做,培训学院,原价,中国,信徒,大会,门票,现价,微博,不可以,另一个,可以做,小故事,那当然,在任何时候

2020-08-23 #小故事