Newshot

Show HN:全速拥有你的 AI

Translation(model translation, not the source's own text)

文章标题:Show HN: 全速拥有你的 AI

正文:


        ─ ── ── ── ── ─   ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
            ─ ── ── ── ── ─   ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
            ─ ── ── ── ── ─   ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
      

        ▓░░░▓   ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓
            ░░░▓░   ░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░
            ░░▓░░   ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░
      

        ○  ○     ○        ○  ○     ○  ○     ○  ○     ○  ○
             ○  ○     ○  ○     ○  ○     ○  ○     ○  ○     ○  ○     ○
             ○     ○  ○        ○     ○  ○     ○  ○     ○  ○     ○  ○
      

        ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
            ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
            ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
      

        ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄   ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
            ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀   ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
            ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄   ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
      

        ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄   ▄▄▄▄▄▄▄▄▄
            █████████████████████████████████████████████   █████████
            ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀   ▀▀▀▀▀▀▀▀▀
      

        ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄    ▄▄▄▄▄▄▄▄
            ████████████████████████████████████████████    ████████
            ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀    ▀▀▀▀▀▀▀▀
      

        checkpoint

                                                                         precision

             ●        ●        ●        ●        ●        ●        ●     candidates
                   ●                 ●        ●        ●        ●
                ●        ●        ●        ●        ●        ●           sampling

                                                                         batching           ↓

                                                                         prompt cache       ↓

                                                                         attention

                                                                         matrix multiply

                                                                         GPU

                                                                         memory
      

        ──────────────────────────────────────────────────┐                                         │                                                         │ ┌                 ─┐                 ───┤                                                         ├─┤                  │                    │                                                         │ └                  │                    ├──────           ────────────────────────────────────────┤                    │                    │                                                         │ ┌                  │                  ──┤                                                         ├─┤                  │                    │                                                         │ └                  │                    ├────────────────           ──────────────────────────────┤                    │                    │                                                         │ ┌                  │                 ───┤                                                         ├─┤                  ├                    │                                                         │ └                  │                    ├──────────────────────────           ────────────────────┤                    │                    │                                                         │ ┌                  │                 ───┤                                                         ├─┤                  │                    │                                                         │ └                  │                    ├────────────────────────────────────           ──────────┤                    │                    │                                                         │ ┌                  │                  ──┤                                                         ├─┤                  │                    │                                                         │ └                 ─┘                    └──────────────────────────────────────────────
      

文章标题:Show HN: 全速拥有你的 AI

正文:


        request







                                                                                            tune

                                                                                            measure

                                                                                            ship







                                                                                              tokens
      

        WEIGHTS



DECODING



SERVING



KERNELS



HARDWARE
      

Show HN:全速拥有你的 AI


        ▶

                  ◆



                            ◆



                                      ◆



                                                ◆



                                                          ◆

                                                                                            ▶
      

        ─    ── ── ── ── ── ── ──
 ─    ── ── ── ── ── ── ──
 ─    ── ── ── ── ── ── ──
      

        ▓░░░▓   ▓░░░▓░░░▓░░░▓░░░▓
 ░░░▓░   ░░░▓░░░▓░░░▓░░░▓░
 ░░▓░░   ░░▓░░░▓░░░▓░░░▓░░
      

        ○     ○  ○     ○
  ○        ○  ○     ○  ○
  ○     ○  ○     ○  ○
      

        ▌▌▌▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
 ▌▌▌▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
 ▌▌▌▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
      

        ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
      ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
      ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
      

        ▄▄▄▄▄   ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
 █████   █████████████████
 ▀▀▀▀▀   ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
      

        ▄▄▄▄    ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
 ████    ████████████████
 ▀▀▀▀    ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
      

        →         →


          checkpoint
          precision





          candidates
          sampling

  ●        ●        ●
        ●        ●
              ●        ●

          batching
          prompt cache





          attention
          matrix multiply





          GPU
          memory
      

        ─┐┌───    ─         ────────┐  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─          ───────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─         ────────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─         ────────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─          ───────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │ ─┘└───    ──────────────────┘
      

        调优   测量   交付
      请求




































        tokens
      

        权重






          解码






          服务






          内核






          硬件
      

        ▶





       ◆






    ◆






       ◆






    ◆






       ◆


      ▶
      

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗