这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
wildmaker

如何能训练 AI 操作软件?

  •  
  •   wildmaker · Sep 4, 2024 via iPhone · 3874 views
    This topic created in 805 days ago, the information mentioned may be changed or developed.

    发现一个需求,工作中要用多个仿真软件,软件操作重复性高,软件现成的接口几乎没有,求教有什么方法可以自动化?

    看了看开源项目,依然没有思路,🤣

    话说我觉得这需求可以商业化,不过容易被 AGI 一下子干死

    能搞钱的需求太难找了,现在找到的需求都 TOO HARD ,无力吐槽

    Supplement 1  ·  Sep 4, 2024
    补充:操作路径并不严格,是有“思路”的,大致相当于调参过程。
    具体例子 :用仿真软件进行换热器的设计计算,如果结果不理想,要调整参数再来一次。
    14 replies  •  2024-09-16 23:01:15 +08:00
    3IOhG7M0knRu5UlC
    3IOhG7M0knRu5UlC
    Sep 4, 2024 via Android
    1
    RPA
    sillydaddy
    sillydaddy
    Sep 4, 2024 via Android
    2
    现在的大语言模型应该就可以做到。只需要开放给它通过 UI 操作软件的权限。

    我最近正好也想找一个这样的工具,平时的开发工作,编码完成后,需要点击很多次 UI 来调试时,也可以用到。
    line
    line
    Sep 4, 2024
    3
    要直接将屏幕内容输入给 AI 目前还是很难的,AI 自主再通过操作鼠标键盘操作 PC 。 这个难度相当于:操作二维世界的机械手。
    Solix
    Solix
    Sep 4, 2024 via iPhone
    4
    通过无头浏览器操作,传统爬虫怎么搞的原理一样
    iloveayu
    iloveayu
    Sep 4, 2024
    5
    1 楼正解,对接 UI Path 这类的 RPA 软件,应该是最快的。
    windmoonwind
    windmoonwind
    Sep 4, 2024
    6
    具体啥操作啊,如果就是规律的条件化操作,感觉你这需求按键精灵类的就能做到,用不着上大模型啊....
    或者用这个水哥版 RPA
    https://github.com/xlbljz/waterRPA
    SWALLOWW
    SWALLOWW
    Sep 4, 2024
    7
    这么说我能大模型玩游戏啦
    youyoumarco
    youyoumarco
    Sep 4, 2024
    8
    按键精灵+1
    wildmaker
    wildmaker
    OP
    Sep 4, 2024 via iPhone
    9
    @windmoonwind 不是路径严格的操作,需要根据结果判断下一步动作
    cat9life
    cat9life
    Sep 4, 2024
    10
    之前记得在 hackernews 上见过一款调用 chatgpt 来操作的软件。
    windmoonwind
    windmoonwind
    Sep 4, 2024
    11
    @SWALLOWW 今天刚看到一则新闻,有个团队趁热训练 AI 打黑悟空,死了 1000 多次,把第一关过去了...
    lneoi
    lneoi
    Sep 4, 2024
    12
    向大模型解释各个参数信息,然后返回参数数据,实际调整由另外的软件去操作
    Yishanshan
    Yishanshan
    Sep 5, 2024
    13
    web 端有类似工具吗,我想让设计个 agent ,来实现类似 UI 自动化的操作
    rekulas
    rekulas
    Sep 16, 2024❤️1
    14
    你这需求似乎 cradle 很适合 https://github.com/BAAI-Agents/Cradle
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4406 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 07:46 · PVG 15:46 · LAX 23:46 · JFK 02:46
    ♥ Do have faith in what you're doing.