阿里发布了一个用嘴和 AI 对话的神器

纵然我打字的速率相较于好多别的人更为快速, （于大学那会, 仅是出于打赌的缘由, 耗费了一周时间就学会了五笔）, 然而我依旧应当算作是一个对口喷满怀热情的人（口喷爱好者）。

GPT 刚发布后很快没多久的时候, 我动手做了一个树莓派, 这个树莓派能够让和我开展语音对话。仅仅这样看的话是极其地不端到端的。然而其实它真是用纸简陋稀松糊成这样的状况, 但可以断言的, 就是我凭此应当是目前全球范围内所有已知的人当中第一个能让开口去说话出声的个体, 甚至说实在极有可能出现如此情况为非常早时就在前面了的。并且我这个公众号的前一万多位粉丝, 也是因为这样的缘故才由此从 B 站那边过来的。

本年度 3 月之际, 我撰写过一篇文章《我做了一个 AI 时代的效率神器, 已开源》, 借助一个价值 200 元的大疆麦克风以及一个按钮, 达成了全程依靠动嘴运作、无需触碰电脑就能指挥 Code 开展工作的工作模式, 并且此项目我已在 上进行开源。

那时我便讲了: 对于成天跟AI打交道的我来讲, 打字的速率已然成了信息输入输出的极限。即便现如今语音识别已成熟, 然而实际上我们却是借助键盘从事着嘴巴更拿手的事。

到如今, 我们团队一直使用的是 DJI 的方案, 人手都配备有一个麦克风, 在正常状态下, 就是一屋子人对着它叽叽喳喳小声说话……

虽然已经非常非常高效了，但这其实还有个缺点是：它是单向的。

我进行言语表达之际, 那般人工智能仅仅处于聆听状态, 而当它完成了相应工作之后, 最大程度上也不过是借助挂钩机制对我予以告知, 它并不会主动开口向我讲述, 并且自主去倾听我接下来会下达怎样的崭新指令。

之后, 我再度开展了另外一项Peeky项目, 它身为一个长久停留在桌面上的小精灵, 我原本的想法是, 要让它能够协助我去操控电脑, 还要能够阅读屏幕, 并且在恰当的时机主动张嘴跟我进行交谈:

此项目同样进行了开源, 然而实际上, 拥有的 star 数量寥寥无几, 我仅仅是在间或回想起来之时才会随口吐槽一番。至于上次提交代码的那次, 已然是上一回了, 我并未达成我所期望得到的成果。

这几天, 阿里的Qoder发布了Qoder Voice, 它极其完美且精准地解决了我始终想要达成的效果。

Qoder Voice

并非如此, 也不可以表述为完美, 仍然存在一些能够进行提升的细微之处, 关于这个我们放到最后再去谈论。

Voice

简要描述, Qoder Voice 等同于一位, 居住于那你的桌面上, 呈现实时语音状态的, 这样一位 AI 同事。

它以一种小气泡的形态, 长久地停留在屏幕之上, 你能够随心所欲地进行拖动, 并且能够在任何时候张嘴跟它说话。

它跟普通语音助手最为显著的差异所在, 在于其全双工工作模式, 当它话语表述半截时, 你能够径直打断, 并且它会在持续作业之际, 时时汇报进程或者求取协助。

并且, 要是你授予其相应权限, 它便具备读取你电脑屏幕内容的能力, 于某些情况下这般操作会极为便利, 依据实情来讲, 后续就该案例我会展开详细阐述。然而, 务必要留意避免让其接触那些敏感度较高的信息内容……

固然, 仅从名字去看便不会难以推测: 于Qoder Voice的背后之处, 存在着Qoder的齐备Agent能力。Qoder Voice承担着与你交流需求并进行汇报的职责, Qoder却在后面从事编写代码、执行任务、读取你的屏幕、操控浏览器以及应用的工作, 以此来为你效力。

介绍完了，下面我们来和它聊一聊。

02开箱第一聊

Qoder 的 Quest 模式里存在 Voice 的入口, 当前处于抢先体验版状态。

Try Now

因属首次进行尝试, 我向它询问诸如你是谁, 可不可以变换个声音这般的无趣问题。

需要注意一下, 鉴于录屏视频存在一定的时长, 我安排 Qoder 统一实施了二倍速加速操作以及字幕添加行为（注意这样的字幕可不是由我自己来完成的）, 之后顺便为我自己更改了音色。

可见, 说话结巴以及发音不准, 这并不会妨碍它稳稳地接住我的话语, 它甚至还教了我这样去使用: 直接说出「结束通话」, 或者讲出「挂断」, 就能够立刻终止语音连接。

我说「挂断」。

说完后，它的小绿球还真的当场就消失了。

这个自我消失，非常好。那种关都关不掉的霸王软件，是真的烦。

红边框

热身结束，接下来是个正经点儿的活。

背景情况是这样的, 我的使用习惯, 是去开启多个 tab, 接着, 针对每个 tab 都会借助 tmux 去开启一堆子 tab, 然后, 对于每个子 tab 又进一步拆分成几十个 pane, 通过这样的方式来达成终端的多维布局。然而, 存在一个小问题的, 那就是因为 pane 的数量实在太多了, 所以我时常会难以找寻到光标究竟处于哪一个里面。

于是我便直接问它：

这儿, 我开启了好些个tmux的pane, 我反复弄都弄不清楚光标究竟处在哪个pane单元里面。麻烦你帮我去调整一下配置, 给当下那个处于激活状态的pane添加上有红色的外边框。

不清楚究竟是我的发音存在问题, 抑或是它的英语听力欠佳……它起初将tmux误听成了一个奇怪表述……我随之径直进行插话: “并不是那个奇怪表述, 而是tmux”, 它于是当场就改正了过来, 随后继续开展工作。

并且呢, 它还主动开展了一项不在我要求范畴之内的事情, 那就是, 对于激活以及非激活的 pane, 将其背景的明暗程度做出了区分, 其中有激活状态下的背景是更深一些的状况, 还有除此以外也就是其他状态下非激活的背景呈现出浅一些的情形。

切换到Qoder, 也就能够发现, 于Voice的背后，agent切实是在开展工作的:

然而, 第一版里的红线, 实际上标红的程度可不太精细, 它在上下方向超出了方框所限定的区域。于是, 我毫不客气地喝斥它, 责令它继续去修改, 最终达成的效果便是这样子的, 不管切到哪一个 pane, 红框都会跟到那里去:

激活 pane 红框跟随

只有单一的题目是……我讲边框要做得粗一些且猛一些, 结果它确实给我弄了个极其粗猛的红色, 稍微有点过头了。

04软件指导大师

你本该与我相同, 于采用不熟悉的软件之际, 会在某些环节遭遇卡顿, 而后便去寻觅搜索引擎, 找寻人工智能, 倘若还是不行就找个人去询问。此处最大的成本在于, 清晰地表述到底碰到了何种问题……

具备屏幕查看这样一种能力的, 它的用以当作我们软件指导大师的另外有着一种用法, 在不明白的情况下就向它进行询问。是直接去进行录屏呢还是怎样呢：

呈现的情景是, 我打算针对这篇文章去剪辑几段用于演示的视频, 我所采用的方式是进行录屏, 然而实际上呢, 这款软件我基本上是不太会去运用的（我其实会使用剪映, 只不过剪映的会员已经过期了……）。

通常遇到这种状况时 , 我均会去询问Codex或者Code。详细来讲 , 我会首先进行截图 , 随后标上红圈 , 接着打很多字去描述我处于哪一步 , 点击了什么 , 卡在了哪里 , 并且最好要表述得尽可能详尽且精准 , 也就是要把准确而完备地给予AI , 这也恰是我当初打算制作Peeky使其能够直接查看我屏幕的最初想法。

但现在，我直接开口问 Qoder Voice 就好了。

先是它确认了一句能够看到我的屏幕, 并且报出我正在编辑的工程名, 接着我一路问下去, 问怎么裁剪, 问怎么剪掉其中一段, 问画面怎么裁边。

略微带有些许神奇的那个时刻是这样的, 我打算针对视频画面开展裁剪操作, 然而右边的面板, 无论我怎么去点击, 它都是呈现为灰色的状态, 于是我就向它发问了。

“ 我没有找到你说的视频选项卡，是我现在点开了这个吗？

就它看一下, 跟我讲: 您当下选中的是音频片段, 故而裁剪控件呈灰色, 烦请点击时间轴上面的 July 31 视频片段。

我一点，面板就亮了。

我尚未发出言语的时候, 它却已然寻觅得出紧接着张嘴发声讲道:「甚是美妙！当前您理应能够瞧见到裁剪方面的控制部件已是处于被激发启动的状态了。」。

果然是紧盯着我的屏幕……

导出窗口弹出之后, 我又让它对里面的每一项都给我讲述一番, 它便依照屏幕上自上至下的顺序逐项作出解释, 格式、编码质量三档的差别、分辨率如何选择、黑边选项的作用为何, 甚至连右下角的预估文件大小也讲述了一遍。

拥有这个软件指导大师之后, 往后不论何种软件不会运用, 处于哪一步骤遭遇卡顿, 直接张嘴询问它就行, 你全然无需脱离软件自身。

事实上, 存在更多诸如此类的玩法, 举例而言, 使其以高情商的方式回复微信消息, 让它自行在群里填充话语, 又或是于看文章之际助力我的屏幕自动滚动, 这些想来皆是可行的, 我暂且就不逐一进行测试以及展示了。

05自己操作自己

在进行了Qoder的下载操作之后, 我产生了安装一些skill的想法, 顿时却没能寻找到该如何付诸 行动, 然后不假思索开始直接询问它, 探看它是否能够将身为自身的事宜妥善琢磨清楚, 做到心中有数:

它的首要反应给予了我一组终端命令, 诸如npx之类的, 虽说这也并无差错, 然而我所需求的并非此物, 故而我打断了它, 说道: 「我当下需要于Qoder这个页面之中去进行操作。」。

没料到它竟然毫无缘由, 径直自行按动起来 Qoder 的界面……接着点开了页面，接着是插件的安装弹窗, 接着是设置里的页和页……

末了, 它将那整套的安装路径展开进行了一番口头的总结事宜, 之后朝着我提出反问: “你想要去安装哪一个插件呢? ”。

留意整个进程, 我的鼠标以及键盘从来都没有哪怕丝毫变动一下, 是它自身在自行操控自己。

资料整理

有条推文, 之前讲的是他运用LLM来构建个人知识库的事儿。我把那个帖子打开之后，立马跟Qoder Voice进行了确认, 我问: 「你能不能看到我当前通过系统浏览器所打开的X站推文呀? 」。

它做了一番查看之后表示能够看见, 并且还精准地归纳了推文所包含的内容。于是我紧接着说道:

“ 现在我希望你把它翻译成中文，然后保存到我的 当中。

不多会儿功夫, 约莫耗时一分钟, 一篇带有原始文本链接以及元信息的名为《LLM知识库工作流程》的作品内容加入进来, 存放在我的资料目录当中, 就是这样。

07雅思陪练

最后，来个不那么程序员的：让它来当我的雅思口语陪练。

过程上，我先是告诉它：

此刻, 你要充当我的雅思口语陪练, 先讲述一番口语考试的策略方法, 随后拿出一些题目示例, 跟着我进行仿照演练一番。

它先是把Part 1、2、3采用的方式, 用中文讲述了一回, 紧接着毫无缝隙地切换成英文, 考官说道: “Good... Can you tell me your full name?”。

期间, 我同样是毫无顾忌地随时进行打断以及随时插嘴, 比如说, 要求它将对话进程保存为文档, 跑去搜索一下近期几次考试的口语真题, 构建一个生词错题本。

它同样是不辞辛劳, 一方面陪着我进行练习, 另一方面将各种各样的杂活给做完了。与之相关的资料以及进展都依照形式落到盘上实现持久化存储, 与此同时还自动生成了一条记忆文件, 我下一次能够紧接着继续开展练习。

你可能会说：练英语不应该用豆包吗？

选用豆包或者类似的, 同样能够用于练习口语, 然而实际上, 像Qoder Voice这种语音加上Agent模式的, 那可绝对是截然不同的另一类了。

有着聊完便结束的特性因而恰到好处地适宜于即兴开展那无拘无束、任意驰骋的练习, 然而以 Qoder Voice 的模式来讲, 能够去拟定练习规划且每次依照节奏予以推进, 在这个过程当中所涉及的记录、题库以及错题本, 全部都会于我的文件系统里留存下来进而成为资产。

进而去畅想一下, 我能够使之依照错题记录, 或者依据学习计划, 给我制出每天都不一样新奇形式的游戏, 又或者是独特编排的网页, 还会有饱含趣味性的即兴专业技能的应用巩固等别样的, 充满乐趣的学习途径。

这样学起来，就是既不缺护栏，也不缺灵活了。

（我想接下来还真应该学起来了，甚至最好我能每年学一门外语）

08使用技巧

最后分享几个小技巧。

第一个是快捷键：

快捷键

首先是「我设的是」, 加上「 + V」, 然后呢, 在任何时候, 然后, 「我」按下一下, 「气泡」就出来了；接着, 做完事情后, 「并」说一句「挂断」, 它「便」退下去, 「非常」「顺滑」「乖巧」, 就是这样。

再一个, 存在着一种能够对他说话的速度予以调整的情况, 此时, 我觉得它的速度有点慢了, 于是, 现在我已将其设成Fast这种状态了。

语速调节

首先, 存在这样一种情况, 要是不小心说错话语, 或者察觉到它识别出现错误, 实际上用不着再重新来一遍, 也不必进行纠正, 因为模型对于智能处理这些微小的瑕疵, 已经完全能够轻松应对了。

09不足之处

当然了, Qodex Voice并非毫无瑕疵, 依旧存在不少能够加以改进的细微之处, 这便是我所认为的可提建议的地方。

第一个音色是固定的不能切换。

虽当下这般甜美的女声确实有着甜美的特质, 然而聆听时长凡久些许便会存有丝毫单调之感。倘若能够增添更多的音色, 像是将兄弟部门高德地图的志玲姐以及郭德纲等等一并添加入内, 那可就太棒了。

第二个是说话的情绪还偏中性，不够饱满激烈。

当然了, 大厂所生产的产品, 依旧是会存在着诸多令人有所顾虑的要点, 要是表现得太过激烈的话, 或许并不算是特别恰当。不过呢, 能够增添一些饱含感情的容量, 又或者是额外添加几个项目, 将其设定为可供选择的项目。

再一个是对于环境背景音的屏蔽。

当我于公共区域对着它说话之际, 倘若有路过之人讲了些什么, 它亦会将那话语识别收录进去, 如此便会显得有些分裂。

要不以某种途径锁定我的音色, 对其他人说话全然不予理会, 只听我的, 能不能这样。当然也可以设个开关, 在开启后便进入印随模式。

还有一个情况是, 当前的Qoder Voice处于单独工作状态, 好像还没办法使得它去创建新的Qoder, 进而并行开展工作。

最后一个是屏幕隐私方面的保护。

即便我乃是个行为端正之人, 然而, 我屏幕之上或许也会存有某些敏感的信息。还好, Qoder 是能够配置自身的自定义模型的, 有卡且是自己进行部署的那种情况是可以去尝试一番的。

屏幕查看开关

另外系统配置里有个开关，倒也可以随时关闭。

但是, 最好还是给这个开关添加另一个快捷键哩, 这个快捷键要方便我去进行开启以及关闭的动作, 以及, 在呈悬浮状态的那些小气泡上边能够有个眼睛开或者闭的那种 UI 展示情况, 要通过这个展示让我晓得它当下是不是会去看我的屏幕, 这样一种情况会比较能够使我安心些。

总归而言, 期望 Qoder 团队保留滚烫的迭代速率, 期望我文章发布完毕上述的问题便都被处理周全了。

10说回语音

几天前, 在推文中提到了, 那个人使用LLM时, 有个习惯,他要切换到语音模式, 然后靠在椅背上, 随意畅谈十分钟, 把目标,背景,约束等等, 不经过思考, 也不做精细修正整理, 就以最原始的样子, 全部丢给模型。

他发觉, 模型在从这般繁杂的长篇独白之中, 对您的意图予以精确重建这方面, 极为擅长, 甚至比您自身进行整理时还要明晰无比。

我用 DJI 边走边思考边对 AI 说

这同样契合上回我对 DJI 麦克风进行一番折腾之际的起始点, 这也类隶属卡神与我的那种共同认知之中了。

但，单向的语音，其实还只是解决了一半。

其实, DJI 远程麦克风从根本上来说, 它仅仅就是一个具备高等特性的听写设备罢了——我把话语表述完毕了, 它将声音接收完毕了, 那么后续又会怎样？

对于AI是怎样进行理解这般情况, 它又是如何去执行的? 其完成执行之后有没有反馈存在? 对此不知晓, 最终还需要靠我本人亲自来处理处理！

如此的那种单方面输出形式, 更适宜于下达命令, 适宜自身以沉浸式的姿态、独自去开展思路的梳理以及思索, 然而却不适用于协作。

有不少灵感出现, 需要有个能和你一同讨论的人, 这人既能在你停顿或不知说什么时, 补充有见解的观点, 帮你进行真实任务执行反馈结果, 又要在你插嘴打断它时, 毫不自私地把话语权交还给你, 且认真记录不会错过。

这大约便是我当下所能想到的, 人跟 Agent 之间最为应有的那种默契。

技术支撑方面, Qoder Voice全双工模式背后, 是由阿里的实时语音模型Qwen⁃Audio⁃3.0驱动, 这个模型, 在相应的to榜单上, 拿到了全球第一, 其综合得分是84.1%, 也就是说, 它是我们当前能够使用到的, 最为流畅的语音协作伙伴。

此刻, 于Qoder的Quest模式当中, 便能够将Qoder Voice打开, 此为限时免费状态。

如果看完，你有兴趣，可以去试试。

•  Qoder 下载：

•  我的麦克风方案（开源）：

•  Peeky（开源）：

•   语音漫谈：