@ipwx #13 对于爬虫而言，网络原理只是一部分，而且对于当下环境里的大多数场景而言不会需要用到特别深的东西…真正对于大多数人和职位的关键其实在于偏安全领域的逆向，没有逆向能力基本搞不定复杂需求。

@shilianmlxg #10 Python 本来就是一个难度不高的万金油语言啊，无处不在没啥问题。

@shilianmlxg #3 学 Python 和学爬虫实际是两码事，爬虫不仅限于 Python 的。

@locoz #7 打错了，是 https://bbs.nightteam.cn

先回答一下你的问题：

爬虫领域的社区是有的，比如我们团队（ NightTeam ）搞的夜幕爬虫安全论坛 https://bbs.nightteam.com
还有我们公众号的读者群、课程的学员群、团队成员自己搞的技术交流群的交流环境也都挺好，就是读者群平时会比较冷清一些，毕竟没什么人闲聊，进群管控也比较严格，不会有打广告的混进来发些有的没的。

教程、书籍以及隐含的学习方向这方面问题的话，我已经重复回答太多次了，直接甩知乎链接你自己看吧：

请问爬虫学哪些可以就业啊？- loco 的回答 - 知乎
https://www.zhihu.com/question/460129002/answer/1894395065

python 爬虫基础学完了，我真的能找到一份工作吗？ - loco 的回答 - 知乎
https://www.zhihu.com/question/407856161/answer/1351562789

有没有关于图论的推荐书，爬虫和深度学习也可以？ - loco 的回答 - 知乎
https://www.zhihu.com/question/317802681/answer/1352294701

至于使用数据库存媒体文件这种事情...除了 MongoDB 这种有特殊优化过的还行以外，其他的都不合适，而且数据库里要存也只能存一些小文件，存大的很影响速度。最佳选择实际上是结合对象存储操作，使用对象存储来存文件，数据库中只存一个文件 ID 用来关联对象存储中的文件，这样既能方便管理，又得到了高性能。

简单使用时可以是直接 Docker 跑个 Minio 来提供对象存储，生产环境要高可靠的话就得多节点跑甚至是搞一套 ceph 或者直接用公有云的对象存储服务，具体可选方案很多，但它们基本都可以通过 S3 协议来操作，所以同时建议你了解一下 S3 相关知识（ S3 是亚马逊云的对象存储服务，它的通信协议已经成了事实上的行业规范，现在的对象存储服务基本都会兼容 S3 的协议，只不过具体实现的功能有所差异而已）。

---

然后说一下你碰到的这种情况：

其实吧…你的情况是绝大多数做爬虫的人也同样碰到过的情况，因为根据我看过的几百份投向爬虫岗位的简历来看，绝大多数人的水平其实就处于你这个阶段上下，而且其中很多人即使三五年经验了也依然因为公司项目原因而没啥长进…

这绝大多数人里，水平高一点的能会点 JS 逆向、手机端抓个包或者反编译看看代码，水平差一点的连 JS 逆向都不会，就只会 selenium 、pyppeteer 一把梭（大多数连写 JS 调原版的 puppeteer 都不会，只会用个问题一堆的 python 版本），面对现在的环境和企业招聘需求真的不太行。尤其是后者这种，企业没特殊需求的话招个这水平的人还真不如直接用傻瓜式爬虫工具，毕竟人家好歹自动处理完了反爬、能快速配好解析规则，而这水平的人基本也就只能做到这样了，可能做得还没工具快...

这种情况，究其原因其实就是有太多 Python 相关自媒体、非真正做爬虫方向的人对爬虫领域的内容灌水过多，以及无良培训机构过多，导致爬虫领域的文章、书籍、付费课程等都充斥着大量仅限于这个阶段水平的内容，罕有更进一步的。再加上很多人学习方式真的很奇葩，只想得到解决具体网站或 APP 问题的“鱼”，而非解决问题所用到原理、技巧的“渔”，这就进一步加剧了拿简单网站或 APP 水内容的现象。

我们团队（ NightTeam ）当初之所以组建，就是因为我们都看不下去这种情况，想聚集声量输出一些更具有实际价值的内容，以尽可能地改变这种情况。可惜的就是现在大家都比较忙，也没那么多时间运营，跟那些灌水的没法比，以至于这个主题发布到现在都这么长时间了，居然还没有一个人提到我们团队或团队成员发布和运营的东西...

---

最后还是建议一下楼主和其他抱着同样问题点进这个主题的人，千万别想着只要有“鱼”就行而不学“渔”。我看到过很多水平不咋地的人，他们一看个偏思路、技巧、原理性质的内容就会觉得内容水，觉得只要不是教他怎么搞定某个具体的网站或 APP 就是没意义的内容，这种学习方式真的学不到啥...别人只要改动一点细节或者换个做法，原来学到的东西就废了，知其然而不知其所以然，有啥用？

说白了，爬虫与反爬虫的本质和软件安全、网络安全是一样的，都是攻防对抗、思维碰撞，这种与人对抗较多的领域跟前后端、客户端开发这种实现功能就行的领域完全是两码事，思维、操作技巧和感觉才是根本，搞不清重点只会白交智商税还没啥长进。

月经问题，首先建议搜一下以前的类似话题作为参考…

然后你这个简历的话，我不太懂 iOS 开发，单从描述方式上来看，我和#3 的观点一致：太流水账了，没有把自己的特点和实力突出出来。

建议把一些项目选择用了啥啥啥框架之类的东西简化，重点突出一些比较难的点、花了大量精力优化的点，而不是“这个用了啥啥啥，那个用了啥啥啥”。以后如果你看过的简历比较多了的话你就会知道，这么写的人实在是太多了，这种简历真的毫无特色，你会的大家也都会，你又没给人感觉有啥特别的地方，那别人为什么一定要选择你？

像#3 举的例子就挺好，以他那段里面的第一个项目指责来说，“推动 xxx 技术落地”这个描述表现出了他对新技术的探索精神和拥有将新技术融会贯通并落到实处的能力，“大幅提升网页打开速度”、“实现了 H5 秒开”这两个描述体现了他的独特工作成果，并且也说明了他是会去思考对产品进行优化的，这都是特点，很容易让人眼前一亮，比“项目采用 xxx 进行开发”之类的好太多了。

@kervstk #15 我刚发现 tplink 京东自营也有 3000m 版本的 wifi6 ap 了，刚上架的，如果可以的话其实就没必要等 h3c 那个了。而且明天 0 点 ac 、poe 交换机、ac+poe+路由一体机都有打折，我准备搞一波试试水，你也可以看看。

找当地卫建委投诉试试？

@evilStart #93 打错了，是 gitea…这东西就是个精简的 git 服务，基本只有代码仓库功能…和 gitlab 没法比。

其实我远程办公的还好，前面靠着自己独立搭了一套用，省了一部分事情，本来是不太需要跑路的。🙃但是现在换成了个老古董管理空降的人接手部门，直接把我这边开发新系统的项目砍掉了，那人还想着继续对个七八年前 php 写的老系统修修补补，这鸟情况也没啥好留的了…

会做这种事情的产品我直接不用，毫无这方面的问题

@locoz #90 补充一下，除了上述的没有之外，还没有多环境的 K8S 集群、没有 Kibana 之类的监控，很多新项目仍然没有做容器化改造，生产环境的 K8S 集群都还只是给部分强行上容器化的项目在用。大部分项目仍然是人工手动部署的，生产环境部署个东西还得找运维，打包好东西、给个部署文档才能正常部署上。

而且吧，这些东西直接就是整个公司都没有，没有统一的一套这些东西，只能每个部门自己解决，一个亿级资本的、按楼层算办公室的大国企，管理层完全不考虑综合成本和效率，只想着堆产品、搞一些实际有现成完善产品的简单替代工具刷业绩…

没有对比就没有伤害，管理层都是 40 左右甚至更大，且不关心新技术、只想着靠加班来堆的公司（公司 CTO 以往战绩就是定一堆任务然后疯狂加班硬堆），真的太 tm 可怕了。

@evilStart #27 我曾经也是这么以为的，直到我在国企做过了才知道，原来这个世界上还有人能这么守旧，一大把服务器资源宁愿放着也不愿意布套 Gitlab 替代 Gitee，还说手动操作一下也没多麻烦…几个月搞下来我一直在推动，结果到现在都还是自动化的东西没有、日志收集的没有、异常跟踪的没有、配置管理的没有，我都快吐了。就连项目管理的东西都还是某天他们用的一个老的简陋系统崩了，我在群里说了一声可以用禅道才换的，典型的不碰到问题就压根不会想着变更。