程序员需要转变思维，互联网归根到底还是卖的服务，你难道要让商家自己去找开源工具写提示词接入 gpt 么？同样的价格下，cursor 的 token 量比厂商原生的要少五六倍，为啥会有人买呢？对于客户来说，图的是一个方便快捷，如果效果达标，根本不在意你用的是 apt 、bpt 还是 gpt ；如果效果不达标，大部分的客户可能即使不用这个服务，也不会手动去自己接入你说的这些东西

@Chihaya0824 8 张 h20 其实是不够的，只能说能跑，只支持 1 份 300k 上下文的 kvcache ，也就是说只能用来对话，如果是 agent 执行，相当于子 agent 是无缓存工作的，我试了以后很蛋疼

我用了 16 张 h20 才部署起来，而且上下文基本上是残的，kvcache 命中率感人

socket.io 不是就解决了吗，怎么现在还会有人用裸 ws

@q307990588 我是指网站风格，我自己写公司的前端项目，经常会生出非常 tailwind 或者 shadcn 风格的组件，大规模的卡片控件这种

这个怎么喂给 ai 提示词呢？我自己做的前端应用经常有股 ai 味

1.还是靠多写，多看文章，把 ai 当十万个为什么
2.拥抱云原生，云原生时代一定可以不会 k8s 、数据库调优，但是一定要知道那些云原生产品怎么用（比如阿里云的 acr/ack 这些，ci/cd 这些）
3.你如果是从头开始学习后端，现在是个很好的时候，因为你可以没有技术包袱地尽量使用新的技术，不要再使用老掉牙的 mysql5 这类的东西，直接换 pgsql 。另外我还看到你有用 django ，如果你使用 django 的话，也不要再用 django-drf 了，直接使用 django-ninja 这些现代化的库
4.尽量选择生产可用，更新频繁，用户社群大的库，有时候你的需求可能别人已经造过轮子了，在实现需求前一定要先问一下 ai 有没有现成可用的库，直接调第三方库比自己实现/ai 实现要稳定可靠的多
5.测试用例很重要，ai 时代尽量转到测试驱动开发

简直慢到没朋友啊

lz 私一下？

不用 vscode 的？ copilot 都集成两年了，现在都支持 mcp agent 了

pipeline 处理 item 比抓取还慢？那要考虑你的储存架构设计方式了，自己存东西怎么会比爬慢

如果暂时无法解决，将 item 队列从内存队列换为磁盘队列即可，这样会 spider 在 yield item 的时候，item 会被先序列化到磁盘上，就不占用内存了

还有楼上说的 io 和计算没分离纯属没怎么用过 scrapy

这种大文件，就不适合在内存中操作，正确的方法是使用虚拟内存
import mmap
可以将直接将一个硬盘文件变为虚拟内存
这样的进行写入的好处不只是省内存，还减少了一次用户态和内核态之间的切换

@feiniu 只要 app ，之前是爬阿里的也可以，现在还在招聘

@AFOX 是电商数据吗？可以加个微信聊聊？

@HenryHe613 我们这边领导没那么多条条框框，招的人能解决问题就行

copilot

APatch 自身是有这个功能的

爬虫必备的逆向技术就是指纹伪造，反混淆，指令去花，虚拟机反编译，还有汇编和脱壳，动态调试，沙盒、安卓系统二次开发，反验证码等等，这些需要你对网络协议、编译原理、操作系统、以及安全方面有深刻的理解
此外的话还需要框架开发能力，如何设计好一个高可用，支持弹性扩容和高并发的爬虫框架，并支持海量数据存储
从严格意义上来说，爬虫的逆向部分属于网络安全的属于一个子集，而框架开发技术属于后端概念

功能上一致就行了，不需要考虑那么多