Sunderland tuvo la oportunidad de adelantarse al inicio de la segunda parte cuando Ezri Konsa fue sancionado por derribar a Dan Ballard en el área.
Arteta se mostró furioso al ver que las imágenes mostraban que Ballard también estaba sujetando al internacional inglés mientras ambos caían al suelo dentro del área de Arsenal.
La decisión finalmente tuvo poca importancia, ya que el lanzamiento de penalti de Enzo Le Fee fue detenido de forma brillante por David Raya.
Solo dos minutos después, Bruno Guimaraes adelantó a Arsenal con su primer gol para el club antes de que el penalti de Bukayo Saka sentenciara el partido en el tiempo añadido.
Pero el resultado no frenó la indignación de Arteta hacia los árbitros.
"Tenemos que analizar lo que ha ocurrido hoy, que en mi opinión no es aceptable. Lo he visto 20 veces y no encuentro la manera de entender cómo piensan que eso es penalti o por qué el VAR no ha intervenido," dijo Arteta.
"No sé qué pensar, sinceramente. Me entristece que tengamos que hablar en un partido tan bonito de algo de esta magnitud, porque eso cambia el rumbo de la temporada y puede costarte el campeonato.
"A este nivel, con todo el trabajo que ponemos, esto no puede pasar."
Guimaraes ha sido el fichaje estrella de Arsenal en el mercado, pero el refuerzo de 75 millones de libras aún no ha sido titular con su nuevo club, ya que Arteta ha mantenido la confianza en Myles Lewis-Skelly junto a Declan Rice y Martin Odegaard en el centro del campo.
El brasileño entró tras el descanso y demostró su calidad con un gran disparo para romper la igualdad y silenciar a la afición de Sunderland, que se dirigía al ex capitán de Newcastle.
Guimaraes también participó en el segundo gol de Arsenal, ya que tras su pase, Saka fue derribado y se señaló penalti.
"La personalidad que tiene. Sale al campo y este partido es especial para él también, por lo que significa, y por cómo se adueña del juego," añadió Arteta.
"Las decisiones que ha tomado y las dos acciones. El gol es increíble y la asistencia a Bukayo para dejarlo solo ante el portero también es impresionante."
La cuarta victoria en cuatro partidos de Premier League deja a los vigentes campeones con tres puntos de ventaja en lo más alto de la tabla.