Newshot

Show HN: Own your AI at full speed

Original text(via HN AI)

        ─ ── ── ── ── ─   ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
            ─ ── ── ── ── ─   ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
            ─ ── ── ── ── ─   ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
      

        ▓░░░▓   ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓
            ░░░▓░   ░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░
            ░░▓░░   ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░
      

        ○  ○     ○        ○  ○     ○  ○     ○  ○     ○  ○
             ○  ○     ○  ○     ○  ○     ○  ○     ○  ○     ○  ○     ○
             ○     ○  ○        ○     ○  ○     ○  ○     ○  ○     ○  ○
      

        ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
            ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
            ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
      

        ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄   ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
            ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀   ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
            ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄   ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
      

        ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄   ▄▄▄▄▄▄▄▄▄
            █████████████████████████████████████████████   █████████
            ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀   ▀▀▀▀▀▀▀▀▀
      

        ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄    ▄▄▄▄▄▄▄▄
            ████████████████████████████████████████████    ████████
            ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀    ▀▀▀▀▀▀▀▀
      

        checkpoint

                                                                         precision

             ●        ●        ●        ●        ●        ●        ●     candidates
                   ●                 ●        ●        ●        ●
                ●        ●        ●        ●        ●        ●           sampling

                                                                         batching           ↓

                                                                         prompt cache       ↓

                                                                         attention

                                                                         matrix multiply

                                                                         GPU

                                                                         memory
      

        ──────────────────────────────────────────────────┐                                         │                                                         │ ┌                 ─┐                 ───┤                                                         ├─┤                  │                    │                                                         │ └                  │                    ├──────           ────────────────────────────────────────┤                    │                    │                                                         │ ┌                  │                  ──┤                                                         ├─┤                  │                    │                                                         │ └                  │                    ├────────────────           ──────────────────────────────┤                    │                    │                                                         │ ┌                  │                 ───┤                                                         ├─┤                  ├                    │                                                         │ └                  │                    ├──────────────────────────           ────────────────────┤                    │                    │                                                         │ ┌                  │                 ───┤                                                         ├─┤                  │                    │                                                         │ └                  │                    ├────────────────────────────────────           ──────────┤                    │                    │                                                         │ ┌                  │                  ──┤                                                         ├─┤                  │                    │                                                         │ └                 ─┘                    └──────────────────────────────────────────────
      

        request







                                                                                            tune

                                                                                            measure

                                                                                            ship







                                                                                              tokens
      

        WEIGHTS



DECODING



SERVING



KERNELS



HARDWARE
      

        ▶

                  ◆



                            ◆



                                      ◆



                                                ◆



                                                          ◆

                                                                                            ▶
      

        ─    ── ── ── ── ── ── ──
 ─    ── ── ── ── ── ── ──
 ─    ── ── ── ── ── ── ──
      

        ▓░░░▓   ▓░░░▓░░░▓░░░▓░░░▓
 ░░░▓░   ░░░▓░░░▓░░░▓░░░▓░
 ░░▓░░   ░░▓░░░▓░░░▓░░░▓░░
      

        ○     ○  ○     ○
  ○        ○  ○     ○  ○
  ○     ○  ○     ○  ○
      

        ▌▌▌▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
 ▌▌▌▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
 ▌▌▌▌▌   ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
      

        ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
      ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
      ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
      

        ▄▄▄▄▄   ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
 █████   █████████████████
 ▀▀▀▀▀   ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
      

        ▄▄▄▄    ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
 ████    ████████████████
 ▀▀▀▀    ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
      

        →         →


          checkpoint
          precision





          candidates
          sampling

  ●        ●        ●
        ●        ●
              ●        ●

          batching
          prompt cache





          attention
          matrix multiply





          GPU
          memory
      

        ─┐┌───    ─         ────────┐  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─          ───────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─         ────────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─         ────────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  │├───    ─          ───────┤  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │  ││                         │ ─┘└───    ──────────────────┘
      

        tune   measure   ship
      request




































        tokens
      

        WEIGHTS






          DECODING






          SERVING






          KERNELS






          HARDWARE
      

        ▶





       ◆






    ◆






       ◆






    ◆






       ◆


      ▶
      

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗