GrundidénThe Core Idea

Diffusionsmodeller lär sig att vända en gradvis brusningsprocess. Istället för att direkt generera bilder (som GANs) lär de sig att avbrusa bilder steg för steg.Diffusion models learn to reverse a gradual noising process. Instead of learning to generate images directly (like GANs), they learn to denoise images step by step.

Framåtprocessen (lägger till brus)Forward Process (Adding Noise)

Vi lägger gradvis till gaussiskt brus på en bild över T tidssteg tills den blir rent brus:We gradually add Gaussian noise to an image over T timesteps until it becomes pure noise:

Bakåtprocessen (avbrusning)Reverse Process (Denoising)

Det neurala nätverket lär sig att förutsäga det brus som lades till, vilket gör att vi kan vända processen:The neural network learns to predict the noise that was added, allowing us to reverse the process:

Varför det fungerarWhy This Works

• Enklare inlärning: Att förutsäga brus är lättare än att förutsäga hela bilderSimpler learning: Predicting noise is easier than predicting entire images
• Stabil träning: Enkel MSE-förlust, inget adversariellt min-max-spelStable training: Simple MSE loss, no adversarial min-max game
• Hög kvalitet: Många små avbrusningssteg = finkornad kontrollHigh quality: Many small denoising steps = fine-grained control
• Villkorlig generering: Injicera bara villkoret i varje avbrusningsstegConditional generation: Just inject condition into each denoising step

Vad den gör:What it does:

• Tar 32 feature-värden som beskriver färg, ljussättning, material, form, topologiTakes 32 feature values describing color, lighting, material, shape, topology
• Genererar 256×256-bilder som matchar dessa featuresGenerates 256×256 images that match those features
• Tränad ENBART på mina egna foton (~3000 bilder från kamerarullen, glasverk)Trained ONLY on my own photos (~3000 images from camera roll, glasswork)
• Inga förtränade vikter - tränad från grundenNo pretrained weights - trained from scratch
• Ingen extern data - bara mina fotografierNo external data - only my photographs

1. ResBlock - ByggblocketThe Building Block

Varje nivå i U-Netet använder ResBlocks. De bearbetar features och injicerar tid+villkorsinformation:Every level of the U-Net uses ResBlocks. They process features while injecting time+condition information:

2. Sinusoidal Time Embedding FROM PAPER

Vi kodar tidsteget t (0-999) till en 64-dimensionell vektor med sinus/cosinus-funktioner vid olika frekvenser:We encode the timestep t (0-999) into a 64-dimensional vector using sine/cosine functions at different frequencies:

Varför det fungerar: Olika tidssteg behöver olika information. Tidiga steg (t≈0) behöver fina detaljer, sena steg (t≈999) behöver global struktur. De varierande frekvenserna kodar båda.Why this works: Different timesteps need different information. Early steps (t≈0) need fine details, late steps (t≈999) need global structure. The varying frequencies encode both.

3. Self-Attention MY CODE

Används vid 32×32 och 16×16 upplösningar. Låter modellen titta på alla rumsliga positioner när den genererar varje pixel:Applied at 32×32 and 16×16 resolutions. Lets the model look at all spatial positions when generating each pixel:

4. DDIM Sampling MY IMPLEMENTATION

DDIM (Denoising Diffusion Implicit Models) möjliggör snabb sampling på 50 steg istället för 1000:DDIM (Denoising Diffusion Implicit Models) allows fast sampling in 50 steps instead of 1000:

Problemet med semantiska beskrivningarThe Problem with Semantic Descriptions

De flesta moderna bild-AI:er använder textpromptar: "ett foto av en blå glasvas i mjukt ljus". Men textbeskrivningar är:Most modern image AI uses text prompts: "a photo of a blue glass vase in soft lighting". But text descriptions are:

• Subjektiva - "mjukt ljus" betyder olika saker för olika personerSubjective - "soft lighting" means different things to different people
• Ofullständiga - man kan inte beskriva varje visuell detalj med ordIncomplete - you can't describe every visual detail in words
• Förlustbringande - information går förlorad när man omvandlar visuellt till språkLossy - information is lost when converting visuals to language
• Partiska - tränade på internettexter med sina kulturella antagandenBiased - trained on internet captions with their cultural assumptions

Min metod: numeriska bildtokenMy Approach: Numerical Image Tokens

Idén kom från att jag försökte bakåtkonstruera bilder: tänk om man istället för att beskriva en bild med ord kunde beskriva den med siffror som fångar visuella egenskaper direkt?I got the idea by trying to reverse-engineer images: what if instead of describing an image with words, I could describe it with numbers that capture visual properties directly?

Det är som att bygga ett tokenordförråd för bilder - men istället för diskreta ordtoken använder jag kontinuerliga visuella mätningar. Varje feature är:This is like building a token vocabulary for images - but instead of discrete word tokens, I use continuous visual measurements. Each feature is:

• Objektiv - beräknad direkt från pixlar, inte tolkadObjective - computed directly from pixels, not interpreted
• Fullständig - fångar aspekter som ord inte kan uttryckaComplete - captures aspects words can't express
• Invertibel - samma features kan återskapa samma visuella stilInvertible - the same features can reconstruct the same visual style
• Språkoberoende - fungerar utan textträningsdataLanguage-independent - works without any text training data

Varför 32 features?Why 32 Features?

Jag experimenterade med olika feature-antal (16, 32, 64, 128). 32 features ger en bra balans:I experimented with different feature counts (16, 32, 64, 128). 32 features provide a good balance:

• Tillräckligt många dimensioner för att fånga distinkta visuella egenskaperEnough dimensions to capture distinct visual properties
• Tillräckligt få för att modellen ska kunna lära sig deras innebördSmall enough that the model can learn their meaning
• Varje feature är tolkningsbar och kontrollerbarEach feature is interpretable and controllable

Tänk på det som ett 32-dimensionellt visuellt rum där varje axel representerar en mätbar egenskap.Think of it as a 32-dimensional visual space where each axis represents a measurable property.

Varje bild i datamängden har 32 features extraherade. Under generering specificerar du dessa features för att styra resultatet:Each image in the dataset has 32 features extracted. During generation, you specify these features to control the output:

BakgrundBackground

Det här projektet utvecklades över flera månader medan jag studerade programmering på yrkesskola (1,5 år). Koden skrevs i dialog med AI-assistans (Claude) - jag skrev kod, diskuterade problem, förstod lösningar och implementerade dem på mitt eget sätt.This project was developed over several months while studying programming at vocational school (1.5 years). The code was written in dialogue with AI assistance (Claude) - I would write code, discuss problems, understand solutions, and then implement them in my own way.

Vad jag skapadeWhat I Created

• Kärnkonceptet: Att använda icke-semantiska numeriska features istället för textpromptar - min egen idé från försöken att "bakåtkonstruera" hur man beskriver bilder utan ordThe core concept: Using non-semantic numerical features instead of text prompts - my own idea from trying to "reverse-engineer" how to describe images without words
• Arkitekturbeslut: Kanalprogression (64→128→256→512→512), attention-placering vid 32×32 och 16×16, antal ResBlocks per nivåArchitecture decisions: Channel progression (64→128→256→512→512), attention placement at 32×32 and 16×16, number of ResBlocks per level
• 32 feature-systemet: Att välja vilka visuella egenskaper som spelar roll (färgtemperatur, topologi, krökning etc.) och hur man normaliserar demThe 32 feature system: Selecting which visual properties matter (color temperature, topology, curvature, etc.) and how to normalize them
• Projektstruktur: Organisera filer, namnkonventioner, dela upp koden i modulerProject structure: Organizing files, naming conventions, splitting code into modules
• Alla experiment: 18 misslyckade GAN-versioner innan jag bytte till diffusion, var och en med olika ansatserAll experiments: 18 failed GAN versions before switching to diffusion, each with different approaches
• Datamängd: ~7000+ egna fotografier, manuellt kureradeDataset: ~7000+ of my own photographs, manually curated

Exempel på kod jag skrevExamples of Code I Wrote

Vad AI hjälpte medWhat AI Helped With

Jag använde både ChatGPT och Claude Code under projektets gång. De gav olika perspektiv och styrkor, vilket hjälpte mig förstå problem ur flera vinklar.I used both ChatGPT and Claude Code throughout the project. They brought different perspectives and strengths, which helped me understand problems from multiple angles.

Bibliotek som användesLibraries Used

• PyTorch - Ramverk för neurala nätverkNeural network framework
• torchvision - Bildtransformationer och verktygImage transforms and utilities
• OpenCV - DatorsynsoperationerComputer vision operations
• scikit-image - BildbehandlingsalgoritmerImage processing algorithms
• NumPy - Numerisk beräkningNumerical computing
• tqdm - FörloppsindikatorerProgress bars
• TensorBoard - TräningsvisualiseringTraining visualization

Papers som refereradesPapers Referenced

• DDPM - Ho, Jain, Abbeel: "Denoising Diffusion Probabilistic Models" (NeurIPS 2020)
• DDIM - Song, Meng, Ermon: "Denoising Diffusion Implicit Models" (ICLR 2021)
• Improved DDPM - Nichol, Dhariwal: "Improved Denoising Diffusion Probabilistic Models" (2021)
• U-Net - Ronneberger et al.: "U-Net: Convolutional Networks for Biomedical Image Segmentation" (2015)
• Attention - Vaswani et al.: "Attention Is All You Need" (NeurIPS 2017)
• Group Norm - Wu, He: "Group Normalization" (ECCV 2018)