爱意满满的作品展示区。
Austin2035

👏🏻 [妙笔写作助手] 基于 ChatGPT 开发的一款垂直应用,顺便聊聊如何提速。

  •  
  •   Austin2035 · Mar 5, 2023 · 2894 views
    This topic created in 1343 days ago, the information mentioned may be changed or developed.

    简介

    一个基于 ChatGPT 的小程序,目前可以帮你写周报,文章检查与润色以及写小红书文案等。 如果反响还行,后面会开发网站,并且新增功能。

    优化了一下,能秒出结果了。 输入内容不能太少,要不然就是人工智障。

    gh_cc6f69c4359c_258

    🚀 如何提速?

    我的速度,经过我和我身边人的测试还是可以的,我是这么做的。

    1. 后端服务器在国内,通过反向代理解决 OpenAI 被墙问题。
    2. 使用 OpenAI 的流式传输,也即参数 Stream=True ,这种也是 EventStream 的方式。
    3. 后端接口全异步,使用 FastAPI + aiohttp 模块。
    4. 由于小程序不支持 EventStream 的方式,所以我使用 websocket 的方式替代。
    5. 上面那样做,是为了实时渲染 ChatGPT 的返回结果。

    经过这些优化,基本可以做到秒出结果(非高并发情景,大佬勿喷)。

    10 replies  •  2023-03-06 08:12:22 +08:00
    ersic
    ersic
    Mar 5, 2023
    1
    有时确实挺智障的,经常驴唇不对马嘴😂
    Austin2035
    Austin2035
    OP
    Mar 5, 2023
    2
    @ersic 多输入点东西就好了
    Austin2035
    Austin2035
    OP
    Mar 5, 2023
    3
    @ersic 要不然 需求还没 prompt 的字数多,哈哈😄
    cyio
    cyio
    Mar 5, 2023
    4
    挺好用的,加个自定义 prompt 就更好了

    chatgpt 类应用,不知道有没有被封杀风险
    Austin2035
    Austin2035
    OP
    Mar 5, 2023
    5
    @cyio 加了自定义的 prompt 估计被封杀风险更大。
    dabaibai
    dabaibai
    Mar 5, 2023
    6
    感觉很快会全线封杀。
    jchencode
    jchencode
    Mar 5, 2023
    7
    反向代理怎么做的?
    Austin2035
    Austin2035
    OP
    Mar 5, 2023
    8
    @LiuJiang 直接用 nginx
    LeeeSe
    LeeeSe
    Mar 6, 2023
    9
    @Austin2035 国内服务器没被墙吗?能连到官方 api ?
    Austin2035
    Austin2035
    OP
    Mar 6, 2023
    10
    @LeeeSe 帖子里面说了,用了反向代理呗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1439 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 16:10 · PVG 00:10 · LAX 08:10 · JFK 11:10
    ♥ Do have faith in what you're doing.