Садржај

• Упознајте Гоогле-ов комплет за машинско учење
• Како да користим МЛ Кит АПИ-јеве?
• Препознајте текст на било којој слици помоћу АПИ-ја за препознавање текста
• Разумевање садржаја слике: АПИ за обележавање слика
• Разумевање израза и праћење лица: АПИ за препознавање лица
• Скенирање баркода помоћу Фиребасе-а и МЛ-а
• Машинско учење у облаку: АПИ за препознавање оријентира
• АПИ за препознавање језика: развија се за међународну публику
• Ускоро: Паметни одговор
• Шта је следеће? Коришћење ТенсорФлов Лите-а са МЛ Китом
• Окончање

Машинско учење (МЛ) може вам помоћи да створите иновативна, убедљива и јединствена искуства за ваше мобилне кориснике.

Након што савладате МЛ, можете га користити за креирање широког спектра апликација, укључујући апликације које аутоматски организују фотографије на основу њихове теме, идентификују и прате лице особе кроз ливестреам, извлаче текст са слике и још много тога .

Али МЛ није баш почетнички пријатељски! Ако желите да побољшате своје Андроид апликације моћним могућностима машинског учења, где тачно почињете?

У овом ћемо чланку пружити преглед СДК-а (Софтваре Девелопмент Кит) који обећава да ће снагу МЛ-а ставити на дохват руке, чак и ако имате нула МЛ искуство. На крају овог чланка имат ћете основ који вам је потребан да бисте започели са стварањем интелигентних апликација са погоном на МЛ који су способни за етикетирање слика, скенирање баркодова, препознавање лица и познатих оријентира и обављање многих других моћних задатака МЛ-а.

Упознајте Гоогле-ов комплет за машинско учење

Са издавањем технологија попут ТенсорФлов и ЦлоудВисион, МЛ се све више користи, али ове технологије нису за слабовидно срце! Обично ће вам требати дубоко разумевање неуронских мрежа и анализа података, само да бисте то постигли започео са технологијом као што је ТенсорФлов.

Чак иако ти урадите имате искуства са МЛ-ом, креирање мобилне апликације засноване на машинском учењу може бити дуготрајан, сложен и скуп процес, који захтева да набавите довољно података за обуку сопствених МЛ модела, а затим оптимизирате те МЛ моделе да се ефикасно покрећу у мобилно окружење. Ако сте индивидуални програмер или имате ограничене ресурсе, можда неће бити могуће да своје знање о МЛ-у примените у пракси.

МЛ Кит је Гоогле-ов покушај масовног учења на масу.

Под капом, МЛ Кит обједињује неколико моћних МЛ технологија које би обично захтевале велико знање о МЛ-у, укључујући Цлоуд Висион, ТенсорФлов и Андроид Неурал Нетворкс АПИ. МЛ Кит комбинује ове специјалистичке МЛ технологије са унапред обученим моделима за уобичајене случајеве мобилне употребе, укључујући вађење текста са слике, скенирање баркода и идентификацију садржаја фотографије.

Без обзира да ли сте претходно познавали МЛ, можете да користите МЛ Кит да бисте на Андроид додали моћне могућности машинског учења и иОС апликације - само проследите неке податке у тачан део МЛ Кит-а, као што је препознавање текста или идентификација језика, а овај АПИ користиће машинско учење да врати одговор.

Како да користим МЛ Кит АПИ-јеве?

МЛ Кит је подељен на неколико АПИ-ја који се дистрибуирају као део Фиребасе платформе. Да бисте користили било који МЛ Кит АПИ, морат ћете успоставити везу између вашег Андроид Студио пројекта и одговарајућег Фиребасе пројекта, а затим комуницирати са Фиребасе.

Већина модела МЛ Кит доступна је као модели на уређајима које можете преузети и користити локално, али неки су модели доступни и у облаку, што вашој апликацији омогућава обављање задатака са МЛ-ом преко интернетске везе уређаја.

Сваки приступ има свој јединствени скуп предности и слабости, тако да ћете морати да одлучите да ли локална или даљинска обрада има највише смисла за вашу одређену апликацију. Можете чак да додате подршку за оба модела, а затим својим корисницима омогућите да одлуче који ће модел користити током извођења. Алтернативно, можете да конфигуришете своју апликацију тако да одабере најбољи модел за тренутне услове, на пример само помоћу модела заснованог на облаку када је уређај повезан на Ви-Фи.

Ако се одлучите за локални модел, тада ће функције машинског учења ваше апликације увек бити доступне, без обзира да ли корисник има активну интернетску везу. Будући да се сав посао обавља локално, модели на уређајима су идеални када ваша апликација мора брзо обрадити велике количине података, на примјер ако користите МЛ Кит за манипулирање видео стреамом уживо.

У међувремену, модели засновани на облаку обично пружају већу тачност од својих колега на уређају, јер модели у облаку користе моћ технологије машинског учења Гоогле Цлоуд Платформ-а. На пример, АПИ на уређају за означавање слике садржи 400 налепница, али модел облака има више 10.000 налепница.

У зависности од АПИ-ја, може постојати и нека функционалност која је доступна само у облаку, на пример АПИ за препознавање текста може идентификовати нелатинонске знакове само ако користите његов модел заснован на облаку.

АПИ-ји засновани на облаку доступни су само за пројекте Фиребасе на нивоу Блазе, тако да ћете морати да надоградите на платан Блазе план пре него што будете могли да користите било који од модела облака за МЛ Кит.

Ако се одлучите за истраживање облачних модела, у време писања је постојала бесплатна квота за све МЛ Кит АПИ-је. Ако сте само желели да експериментишете са ознаком слика заснованим на облаку, онда бисте могли надоградити свој Фиребасе пројекат на Блазе план, тестирати АПИ на мање од 1.000 слика, а затим се пребацити на бесплатни Спарк план, без наплате. Међутим, услови и услови се имају гадну навику да се мењају током времена, зато обавезно прочитајте ситни отисак пре надоградње на Блазе, само да бисте били сигурни да вас неће погодити неочекивани рачуни!

Препознајте текст на било којој слици помоћу АПИ-ја за препознавање текста

АПИ за препознавање текста може интелигентно идентификовати, анализирати и обрађивати текст.

Можете да користите овај АПИ за креирање апликација које извлаче текст из слике, тако да ваши корисници не морају да губе време на досадан ручни унос података. На пример, помоћу АПИ-ја за препознавање текста можете да помогнете својим корисницима да извуку и забележе податке из потврда, рачуна, визиткарти или чак прехрамбених налепница просто фотографирањем предметне ставке.

Можете чак да користите АПИ за препознавање текста као први корак у преводилачкој апликацији, где корисник прави фотографију неког непознатог текста, а АПИ извлачи сав текст са слике, спреман да буде прослеђен услузи превођења.

МЛ-ов АПИ за препознавање текста на уређају може препознати текст на било ком језику који се заснива на латинском језику, док његов колега са облаком може препознати већи број језика и знакова, укључујући кинеске, јапанске и корејске. Модел заснован на облаку је такође оптимизован да екстракује ријетки текст са слика и текста из густо упакованих докумената, што би требало да узмете у обзир приликом одлучивања који модел користите у вашој апликацији.

Желите мало искуства са овим АПИ-јем? Затим погледајте наш детаљни водич за креирање апликације која може извући текст са било које слике, помоћу АПИ-ја за препознавање текста.

Разумевање садржаја слике: АПИ за обележавање слика

АПИ за означавање слике може препознати субјекте у слици, укључујући локације, људе, производе и животиње, без потребе за додатним контекстуалним метаподацима. АПИ за обележавање слике ће вратити информације о откривеним ентитетима у облику налепница. На пример, на следећем снимку екрана пружио сам АПИ-ју фотографију природе, а на њу је одговорио налепницама као што су „Шума“ и „Река“.

Ова способност препознавања садржаја слике може вам помоћи да направите апликације које означавају фотографије на основу њихове теме; филтери који аутоматски идентификују неприкладни садржај који је послао корисник и уклањају га из ваше апликације; или као основа за напредну функцију претраге.

Многи АПИ комплети МЛ враћају више могућих резултата, заједно са пратећим резултатима поузданости - укључујући АПИ за означавање слике. Ако проследите слику обележавања фотографијом пудлице, на њој ће се можда вратити ознаке попут „пудлица“, „пас“, „кућни љубимац“ и „мала животиња“, а све са различитим резултатима који указују на поверење АПИ-ја у сваку ознаку. Надамо се да ће у овом сценарију „пудлица“ имати највећу оцену поверења!

Можете користити овај резултат поузданости да креирате праг који мора бити испуњен, пре него што ваша апликација делује на одређену етикету, на пример приказивање кориснику или обележавање фотографије с овом налепницом.

Означавање слика доступно је и на уређају и у облаку, мада ако се одлучите за модел облака, добићете приступ преко 10 000 налепница, у поређењу са 400 налепница које су укључене у модел уређаја.

Да бисте детаљније погледали АПИ за означавање слике, погледајте Одређивање садржаја слике машинским учењем. У овом чланку правимо апликацију која обрађује слику, а затим враћа налепнице и оцене поузданости за сваки ентитет откривен унутар те слике. У овој апликацији имплементирамо и моделе на уређају и облаке, тако да можете тачно видети како се резултати разликују, зависно од тога за који се модел одлучите.

Разумевање израза и праћење лица: АПИ за препознавање лица

АПИ за препознавање лица може пронаћи људска лица у фотографијама, видео записима и струји уживо, а затим извлачи информације о сваком откривеном лицу, укључујући његов положај, величину и оријентацију.

Можете да користите овај АПИ да бисте помогли корисницима да уређују своје фотографије, на пример тако што ће аутоматски обрезати сав празан простор око њихове најновије слике.

АПИ за препознавање лица није ограничен на слике - овај АПИ можете да примените и на видео записе, на пример, можете да направите апликацију која идентификује сва лица у видео фееду и затим замагли све осим та лица, слично функцији замагљивања позадине у Скипеу.

Препознавање лица је увек изводи се на уређају, где је довољно брз да се може користити у реалном времену, тако да за разлику од већине МЛ Кит АПИ-ја, препознавање лица не укључују модел облака.

Осим откривања лица, овај АПИ има и неколико додатних функција које вреди истражити. Прво, АПИ за препознавање лица може идентификовати оријентире лица, као што су очи, усне и уши, а затим проналази тачне координате за сваку од ових оријентара. Ово препознавање мејлова пружа вам тачну мапу сваког откривеног лица - савршена за креирање апликација проширене стварности (АР) које додају маске и филтере у стилу Снапцхат у феед са фотоапаратом корисника.

АПИ за препознавање лица такође нуди лица класификација. Тренутно МЛ Кит подржава две класификације лица: отворене очи и насмејане.

Можете да користите ову класификацију као основу за услуге приступачности, као што су хандсфрее контроле или за креирање игара које реагују на израз лица играча. Могућност откривања да ли се неко смешка или је отворених очију такође може бити корисна ако креирате апликацију за камеру - на крају крајева, нема ништа горе од снимања гомиле фотографија, тек касније да откријете да им је неко затворио очи ин сваки појединачни снимак.

Коначно, АПИ за препознавање лица садржи компоненту праћења лица која додељује ИД лицу, а затим то лице прати преко више узастопних слика или видео оквира. Имајте на уму да је ово лице праћење а не прави фацијални препознавање. Иза кулиса АПИ за препознавање лица прати положај и кретање лица, а затим закључује да то лице вероватно припада истој особи, али на крају није свестан идентитета особе.

Испробајте АПИ за препознавање лица и сами! Сазнајте како да направите апликацију за откривање лица помоћу машинског учења и Фиребасе МЛ Кит.

Скенирање баркода помоћу Фиребасе-а и МЛ-а

Скенирање баркода можда не звучи узбудљиво као неки од осталих АПИ-ја за машинско учење, али то је један од најдоступнијих делова МЛ Кит-а.

За скенирање баркода није потребан специјални хардвер или софтвер, тако да можете користити АПИ за скенирање баркода док осигуравате да апликација остаје доступна што већем броју људи, укључујући кориснике на старијим или буџетским уређајима. Све док уређај има функционисану камеру, не би требало да има проблема са скенирањем баркода.

МЛ Кит'с Барцоде Сцаннинг АПИ може извући широк спектар информација из штампаних и дигиталних баркодова, што га чини брзим, једноставним и доступним начином за прослеђивање информација из стварног света, на вашу апликацију, без да корисници морају обављати било какав заморни ручни унос података .

Постоји девет различитих типова података које АПИ за скенирање баркода може препознати и рашчланити са баркодом:

• ТИПЕ_ЦАЛЕНДАР_ЕВЕНТ. Ово садржи информације као што су локација догађаја, организатор, као и време почетка и завршетка.Ако промовишете догађај, на плакате или летаке можете да додате штампан баркод или да на веб локацији поставите дигитални баркод. Потенцијални полазници тада могу извући све информације о вашем догађају, једноставно скенирањем његовог баркода.
• ТИПЕ_ЦОНТАЦТ_ИНФО. Ова врста података обухвата информације као што су адреса е-поште контакта, име, телефонски број и наслов.
• ТИПЕ_ДРИВЕР_ЛИЦЕНСЕ. Овде се налазе информације као што су улица, град, држава, име и датум рођења повезани са возачком дозволом.
• ТИПЕ_ЕМАИЛ Ова врста података укључује адресу е-поште, плус насловну линију и текст текста.
• ТИПЕ_ГЕО. Ово садржи географску ширину и дужину за одређену географску тачку, што је једноставан начин да локацију делите са својим корисницима или да они локацију делите са другима. Можете чак и да употријебите географске кодове за покретање догађаја заснованих на локацији, попут приказивања корисних информација о тренутној локацији корисника или као основу за мобилне игре засноване на локацији.
• ТИПЕ_ПХОНЕ. Садржи телефонски број и врсту броја, на пример, да ли је то посао или кућни телефонски број.
• ТИПЕ_СМС. Садржи нешто тела СМС-а и телефонски број повезан са СМС-ом.
• ТИПЕ_УРЛ. Ова врста података садржи УРЛ и наслов УРЛ-а. Скенирање ТИПЕ_УРЛ баркода много је лакше него се ослањати на своје кориснике да ручно утипкају дугачак, сложен УРЛ, а да притом не праве грешке у куцању или правопису.
• ТИПЕ_ВИФИ. Садржи ССИД и лозинку за Ви-Фи мрежу, као и врсту шифровања попут ОПЕН, ВЕП или ВПА. Ви-Фи баркод један је од најједноставнијих начина за дељење Ви-Фи акредитација, а истовремено у потпуности уклања ризик од ваших корисника који неисправно уносе ове податке.

АПИ за скенирање баркода може рашчланити податке из низа различитих баркодова, укључујући линеарне формате као што су Цодабар, Цоде 39, ЕАН-8, ИТФ и УПЦ-А, и 2Д формати попут Азтец, Дата Матрик и КР Цодес.

Да би олакшао ствари крајњим корисницима, овај АПИ истовремено скенира све подржане баркодове, а такође може извући податке без обзира на оријентацију баркода - тако да није важно да ли је баркод потпуно наопако кад га корисник скенира!

Машинско учење у облаку: АПИ за препознавање оријентира

Можете да користите МЛ Кит АПИ за препознавање оријентира за препознавање познатих природних и изграђених оријентира унутар слике.

Ако проследите овом АПИ-ју слику која садржи познати оријентир, онда ће вам вратити име оријентације, вредности земљописне ширине и дужине и гранични оквир који показује где је оријентир откривен унутар слике.

Можете да користите АПИ за препознавање Ландмарк-а за креирање апликација које аутоматски означавају фотографије корисника или за пружање прилагођенијег искуства, на пример ако ваша апликација препозна да корисник слика фотографије са Ајфелове куле, можда ће вам понудити неке занимљиве чињенице о овај оријентир или сугерирати сличне, оближње туристичке атракције које би корисник можда желио посјетити сљедеће.

Необично за МЛ Кит, АПИ за откривање оријентира доступан је само као АПИ утемељен на облаку, тако да ће ваша апликација моћи да детектује оријентире тек када уређај има активну интернетску везу.

АПИ за препознавање језика: развија се за међународну публику

Данас се Андроид апликације користе у свим деловима света од стране корисника који говоре много различитих језика.

МЛ Кит АПИ за препознавање језика може помоћи вашој Андроид апликацији да се позове међународној публици тако што ће преузети низ текста и одредити језик на којем је написан. АПИ за идентификацију језика може идентификовати преко стотину различитих језика, укључујући ромизовани текст за арапски, бугарски, Кинески, грчки, хиндски, јапански и руски.

Овај АПИ може бити вредан додатак било којој апликацији која обрађује текст који пружа корисник, јер овај текст ретко садржи било какве информације о језику. Такође можете да употребите АПИ за идентификацију језика у преводилачким апликацијама као први корак превођења било шта, зна са којим језиком радите! На пример, ако корисник усмери камеру свог уређаја на неки мени, тада би ваша апликација могла да користи АПИ за идентификацију језика да утврди да је мени написан на француском језику, а затим понуди да преведе овај мени помоћу услуге као што је АПИ за превођење у облаку ( можда након издвајања његовог текста, помоћу АПИ-ја за препознавање текста?)

У зависности од низа о којем је реч, АПИ за идентификацију језика може вратити више потенцијалних језика, заједно са оценама поузданости тако да можете одредити који је откривени језик вероватно тачан. Имајте на уму да у тренутку писања МЛ Кит није могао препознати више различитих језика унутар истог низа.

Да би се осигурало да овај АПИ пружа идентификацију језика у стварном времену, АПИ за идентификацију језика доступан је само као модел на уређају.

Ускоро: Паметни одговор

Гоогле планира да у будућности дода још АПИ-ја у МЛ Кит, али већ знамо за један надолазећи АПИ.

Према веб локацији МЛ Кит, предстојеће Смарт Репли АПИ омогућиће вам да понудите контекстуалне одговоре на размену порука у својим апликацијама, тако што ћете предложити исјечке текста који одговарају тренутном контексту. На основу онога што већ знамо о овом АПИ-ју, чини се да ће Смарт Репли бити сличан функцији предложеног одговора која је већ доступна у Андроид-овој апликацији, Веар ОС-у и Гмаил-у.

Следећи снимак слике приказује како тренутно изгледа предложена функција одговора у Гмаилу.

Шта је следеће? Коришћење ТенсорФлов Лите-а са МЛ Китом

МЛ Кит пружа унапред изграђене моделе за уобичајене случајеве мобилне употребе, али у неком тренутку ћете можда морати да пређете преко ових готових модела.

Могуће је креирати властите МЛ моделе помоћу ТенсорФлов Лите-а, а затим их дистрибуирати помоћу МЛ Кит-а. Међутим, будите свесни да за разлику од готових АПИ-ја МЛ Кит-а, рад са сопственим МЛ моделима захтева: значајан износ експертизе за МЛ.

Једном када направите ТенсорФлов Лите моделе, можете да их отпремите у Фиребасе, а Гоогле ће потом управљати хостингом и послуживањем тих модела крајњим корисницима. У овом сценарију, МЛ Кит делује као АПИ слој преко вашег прилагођеног модела, што поједностављује неке тешке дизалице које су укључене у употребу прилагођених модела. Најважније је да ће МЛ Кит аутоматски пребацити најновију верзију вашег модела на ваше кориснике, тако да нећете морати да ажурирате своју апликацију сваки пут када желите да прилагодите свој модел.

Да бисте пружили најбоље могуће корисничко искуство, можете да одредите услове које морају испунити пре него што апликација преузме нове верзије вашег модела ТенсорФлов Лите, на пример само ажурирање модела када уређај мирује, пуни се или је повезан на Ви- Фи. Можете чак и да користите МЛ Кит и ТенсорФлов Лите заједно са другим Фиребасе сервисима, на пример, користећи Фиребасе Ремоте Цонфиг и Фиребасе А / Б Тестинг за послуживање различитих модела различитим групама корисника.

Ако желите да пређете преко унапред изграђених модела или постојећи модели МЛ Кит не задовољавају ваше потребе, на званичним документима Фиребасе можете да сазнате више о креирању сопствених модела машинског учења.

Окончање

У овом смо чланку погледали сваку компоненту Гоогле-овог комплета за машинско учење и обухватили неколико уобичајених сценарија у којима бисте можда жељели користити сваки од АПИ-ја за МЛ Кит.

Гоогле планира да у будућности дода још АПИ-ја, па које бисте АПИ-је за машинско учење желели да додате у МЛ Кит следећи? Јавите нам у коментарима испод!