如何用和鲸heywhale加速数据研究工作和撰写论文

Mon, 19 Aug 2024 17:43:45 +0000

想学Python无从下手？数据太大拷贝使用麻烦？安装Python环境让人困扰？数据写论文来回转移平台麻烦？这些问题都可以用和鲸解决。

官网：https://www.heywhale.com/home

免安装、开箱即用的python环境

很多新手学Python经常卡在第一步环境安装。完整的Python环境需要下载Python本体，Python2，7或者Python3.6，目前常用的是Python3.6 很多学习教程也是这个版本，最新的是Python3.9，下载Python-installer.exe 安装程序点击安装后，通常会自带几个常用的库，但是这几个库对于数据分析来说不够用。所以，对于学习数据分析的新手而言，通常还需要安装额外的库，比如basemap，cartopy，pandoc，scipy等。在安装库的环节又会遇到墙的问题导致下载很慢，这时要么换源，要么下载离线的.whl包安装。某些库安装要求前置依赖，并且并不是都支持默认的最新版本号，此时还需要指定版本号安装。

终于都安装完成了，或许你已经用Ipython的界面运行了几个简单的Python代码，此时你会发现这个编辑器保存修改都不方便，你需要一款支持python语言的IDE编辑器，一般的选择有Spyder或者Pycharm，也可以用VScode。一些教程可能会推荐你用Anaconda全家桶，一次安装，啥都配好从库到IDE，安装依赖库也只需要勾选即可，前置依赖conda会自动帮你解决。但是慢慢的你会发现，conda下载依赖库并不是全都能自己解决前置和相互之间的依赖。有些需要第三方软件链接的库，并不能自动安装，如GEO，而且Anaconda整体显得十分笨重，每次启动都十分缓慢。

现在使用和鲸就可以解决。打开和鲸官网，注册一个账户就能开始编程。

点击工作台，选择基础版。

新建一个Notebook。

选择运行环境和镜像（不知道选什么就默认），点击运行。等待页面跳转到比工作台界面。

使用过Jupyter的同学应该很熟悉这个界面，在灰蓝色框内双击进入编辑状态，输入python代码，比如 print("Hello World")，然后点击左边的播放按钮或者键盘快捷键 shift+enter 即可运行当前框内的代码。

是的，就这么简单，啥都不用管，你手上的《Python从入门到精通》《一周速成Python》这样的书可以直接跳过第一章-python的安装这一环节了。从变量环境直接开始吧。

学习路径

我一般学习编程语言主要依靠在线文档而不是纸质书。互联网上Python的教程很多，有免费的也有收费的，我最开始是在上大二的时候，照着菜鸟教程网站的Python入门篇学习，然后一边学一边试着写数学分析课的作业，不懂的地方就东找找西找找，浪费了很多时间，吃了很多亏。中间因为安装依赖库把电脑环境搞崩溃的，重装电脑不下10次，还有因为看了错误的教程一直用错误的代码读数据，最后出图是错误的。现在和鲸有专业的学习路径，不用再在网上浪费时间找教程了。

和鲸有针对气象，经管，数据分析行业的路径图，直接照着地图走就行，点击图片就能打开路径图，直达专项训练营。

可以根据自己的需要，选择训练营学习。

镜像更换快速

当你学习了一段时间的Python编程后，你要用Python解决实际科研问题的时候，你发现你的笔记本读取数据，运行代码很慢，你的笔记本没有配备高性能显卡，在一些图像领域的研究，小小的笔记本严重拖满了你的工作效率。

还记得一开始的运行界面，可以选择系统和镜像吗？鼠标悬停在右上角的Python3 Kernel信息这里，可以选择切换系统和镜像。

我在工作后经常需要绘制一些大图展示数据或者作为海报，单位配置的电脑是政采的清华同方。懂得都懂，清华同方的含金量啊。那基本上就只能写写word而已，即便是标着"工作站"字样的清华同方，依旧用着GTX960的显卡。这样的垃圾货还能用掉政采全年预算的三分之一。如果想要采购一台有高性能显卡和计算能力的个人电脑，集采市场压根没有供货商。想要采购一台小型超算，政采中供货商的价格也直接让一些小的单位无法接受。如果不走集采，那么就需要动用单位本级的自有资金，对于一些本就经费紧张的单位而言，这些资金还要留着发工资，支付各种税金和保险，维持单位日常运转。

对于GPU这样的资源，一些项目研究使用该资源的需求只是爆发式的和结果式的。研究人员需要GPU运行一段时间，用得到的结果进一步研究和发表。在和鲸中就可以临时选择GPU资源，在设定好的时间内把结果跑出来，然后释放GPT资源，停止计费。不需要真的购买4个显卡。

Tips: 每周首页打卡可以白嫖3个鲸币。完成任务也可以获得鲸币。

我在制作射界图的时候就是采用了这样的方式，先选择基础资源调试代码，最后选择T4 GPU渲染单个文件大小2-3G的高清地理图。下载结果图直接发给广告公司打印即可粘贴到办公室、作业点指导实际人员作业。只需要支付打印海报的费用，不用支付设计费和图纸费了。

我还喜欢镜像更换这个功能。在分析气象数据时我通常会选择气象分析镜像Python3.7 这个镜像。可以点击详情查看镜像都安装了什么库。

3.7这个镜像已经安装了atmos-算LNP图常用的一个库；basemap好用的一批，但难装的要死的地图库，画大气环流地图什么的相当漂亮；Catopys，另一个地图库，Basemap的替代品但是我不喜欢用；cinrad，雷达数据读取画图的库，简单到令人发指，a=read("雷达数据.bin");plot(a) 就完事，不用管什么波段什么格式，只要是中国常用的雷达数据，这个库自己会判断。GDAL和gmpy2两个地理数据库，极难安装；mayavi，3D动画库，也是极难安装需要有maya，想要出图高级一点可以用这个整成3D的动图，别再傻傻的用matplotlib，那只是个基本库；Metpy气象相关计算库；siphon，研究国外一些探空站下载数据用得到，库本身似乎停止更新，也不在公开资源中提供下载了；pandas，数据读取处理软件，在没有学会pandas之前，我只是把python当Fortran的高级版用，读写数据还是用f90那一套习惯，笑死。没有学过pandas的一定要报名龙清老师的GP1训练营

顺便秀一下，我是第九名，这个训练营十分酸爽，建议学好python基础和画图的课程后在挑战。

数据拷贝

科研最重要的基石就是数据，没有数据就做不了分析，发不了Paper。和鲸平台免费版可以托管20GB的数据，但是你从本地上传20GB的数据也很慢不是，和鲸还有直接挂在数据库和OSS对象储存和NAS的功能（需要付费）。

对于医疗行业和某些可以开放共享的数据库，你可以直接链接数据库，不需要下载数据，直接读取数据库做分析。

如果你们实验室搭建了NAS，或者你个人搭建了NAS，那你可以链接到你的NAS，直接访问你NAS中的数据做分析。你可以用另一台服务器，写个脚本，每天爬取NASA，天擎的数据和其他你需要的站点的数据，下载NAS中。不用管他，让脚本自动运行。当你需要研究的时候，只需要读取本地NAS的数据即可。

除了Python，和鲸还可以写R，julia和执行shell代码。和Jupyter Lab的界面相似，使用方法也相似。

用GPT与和鲸写论文

.ipynb可以同时包含代码和markdown字符，只需要设置每个小块cell的属性即可。首先在GPT上输入要写的论文内容和题目，字数，投放的期刊级别，让GPT生成论文大纲，粘贴到和鲸的markdonw中，用ctrl shift - 三个键按段落分割cell，就可以很清爽的写论文了。

当论文需要计算数据时直接选择新增代码cell，编写python代码计算出图，然后点击右上角的隐藏按钮就可以隐藏代码，只显示出图结果，继续研究分析。

在写好所有论文内容后，点击下载导出，选择下载.ipynb文件。

下载到本地的.ipynb文件用pandoc工具导出为docx文件，方便根据投稿的期刊格式编辑修改。

在WPS中还有论文一键排版的功能，只要你的段落按照## ###的规律递进，WPS可以根据公开的几个知名大学的论文格式或者根据你上传的范文格式一键重排版。

到这一步只需要把论文投出去就行，等待期刊编辑的改稿和录用。如果投了学会年会交流的稿子，那么必然是要做一个PPT的，做PPT多麻烦能照着论文直接将多好。和鲸可以。右上角这个按钮就能按照cell直接播放幻灯片。

当然如果可以的话还是好好做个PPT好，这个偷懒的方法只能应付一下小组会，报告会之类的小场面。由于和鲸运行在浏览器上，只要有网的地方就能随时随地打开和鲸网页，进入自己的工作台，编程或者补一补论文。所以用平板或者大的折叠屏手机甚至是可以联网的电纸书就能编程和写论文。对于硬件条件不好的研究者和需要出差办公不方便携带太重的笔记本的研究者来说，非常方便。我这篇论文就是在出差途中，工作摸鱼时，还有家里床上躺着用平板和家里的台式电脑写的。

最后投了一个学会，获得了一个小奖，嘿嘿嘿。祝看到这里的各位今年论文都能发发发。在学术会议交流的时候，别的老师现场没有带电脑，只能光凭一张嘴讲，要么就是截图照片够多，专家提问的时候才不至于捉襟见肘。而我可以拿着平板演示，直接在大屏幕上现场跑代码，让专家们直接审查论文数据和结果，真实数据不怕检验。这样现场跑代码的行为也给专家们留下了深刻印象。我获得了年会论文评比的特等奖。

待改进的点

组织不能个人退出。加入过多组织就会很烦，如下图。
希望增加AI接口，可以接入GPT或者其他辅助编程的Ai。更好的编程和水论文。
希望增加移动端的适配。
怎加多种导出格式，内置pandoc直接导出docx，方便修改论文。