Twitter använder AI för att gräva de fruktansvärda automatiskt beskurna bilderna

twitter auto grödor förbättras med aiTwindesign / 123RF Twitter-funktionen för automatisk beskärning fungerar som en tweets karaktärsgräns för att hålla bilder på mikrobloggtjänstplattformen i linje med resten av flödet - men nu blir Twitter bättre på dessa grödor tack vare artificiell intelligens. Twitter lanserar nu en smartare automatisk skörd baserad på neurala nätverk, meddelade företaget i ett blogginlägg den 24 januari.

Den tidigare funktionen för automatisk beskärning fungerade med ansiktsavkänning för att hålla ansikten i ramen. När inga ansikten upptäcktes i bilden skulle programvaran helt enkelt beskära förhandsgranskningen i mitten medan ett klick på bilden så att användarna kunde se hela bilden. Twitter säger att beskärningsalternativet utan ansikten ofta skulle leda till besvärliga grödor, medan programvaran ibland inte identifierade ansikten korrekt.

För att fixa de obekvämt beskurna förhandsvisningarna använde Twitter-ingenjörer det som kallas framträdande bildkartor för att träna ett neuralt nätverk. Framträdande kartor använder ögonspårare för att bestämma de områden i en bild som mest fångar betraktarens öga. Tidigare forskning i området visade att tittarna tenderar att fokusera på ansikten, text, djur, föremål och områden med hög kontrast.

Twitter använde tidigare data för att träna programmet för att förstå vilka delar av bilden som är viktigast. Med hjälp av dessa data kan programmet känna igen dessa funktioner och göra den automatiska beskärningen på en plats som lämnar de mest visuella områdena inuti grödan.

Men Twitter var inte klar - även om mjukvaruprogram fungerar bra är det också långsamt, vilket skulle ha förhindrat tweets från att publiceras i realtid. För att lösa det besvärliga grödproblemet utan en avmattning förfinade Twitter programmet igen med två olika tekniker som förbättrade hastigheten tio gånger. Den första tränade ett mindre nätverk med det första bra men långsamma programmet för att påskynda dessa grödor. Därefter bestämde programvaruteknikerna ett antal visuella punkter att kartlägga på varje bild, vilket effektivt tog bort de mindre, mindre viktiga visuella signalerna samtidigt som de största områdena bibehölls.

Twitter Auto CropFöre Twitter Auto Cropefter

Den resulterande programvaran gör att bilder kan publiceras i realtid, men med bättre grödor. I en grupp före- och efterbilder visar Twitter bilder med ansikten som det tidigare systemet inte kunde upptäcka ordentligt beskurna mot ansikte snarare än fötter. Andra exempel visar bilder på objekt som klippts ut i det första programmet eftersom de inte satt mitt i bilden utan beskärdes mer lämpligt med hjälp av de uppdaterade algoritmerna. Ett annat exempel visar att programmet känner igen text och justerar beskärningen så att den innehåller ett tecken.

Den uppdaterade beskärningsalgoritmen rullar redan ut globalt på både iOS- och Android-appar samt Twitter.com.